iBERT: Interpretable Embeddings via Sense Decomposition

Sintesi Tecnica: iBERT: Embedding Interpretabili tramite Decomposizione dei Sensi

Problema
Gli attuali encoder neurali, come SBERT e SimCSE, producono rappresentazioni vettoriali dense che eccellono nel recupero semantico ma mancano di trasparenza. Questi modelli non offrono un meccanismo chiaro per controllare o interpretare come lo stile e il significato vengano codificati, limitando la loro affidabilità in domini che richiedono trasparenza rappresentativa, come la verifica dell'autorialità, la generazione controllata del tono e la moderazione stilistica. I metodi di interpretabilità esistenti sono spesso post-hoc (ad esempio, probing, mappe di salienza) e applicati a rappresentazioni non progettate per l'interpretabilità, producendo spiegazioni incomplete o non fedeli. Inoltre, l'apprendimento precedente delle rappresentazioni stilistiche si basa spesso su una supervisione proxy (ad esempio, l'identità dell'autore), che risulta in embedding entangled dove contenuto e stile sono inestricabilmente mescolati. Il documento pone la domanda: È possibile progettare un encoder in cui le rappresentazioni semantiche e stilistiche siano rese esplicite e controllabili all'interno dello spazio di embedding per design, piuttosto che tramite analisi post-hoc?

Metodologia
Gli autori propongono iBERT (interpretable-BERT), un'architettura di encoder progettata per produrre embedding intrinsecamente interpretabili e controllabili.

• Architettura: iBERT codifica ogni token di input come una miscela sparsa e non negativa su $k$ vettori di senso indipendenti dal contesto. A differenza degli standard embedding densi, il modello decompone le rappresentazioni dei token in $k$ sensi distinti (ad esempio, $k=8$ negli esperimenti).
  • Codifica del Token: Un token $x_i$ viene mappato in un embedding standard, poi proiettato in $k$ sensi. Un encoder transformer produce stati contestuali, che vengono poi proiettati in query e chiavi specifiche per ogni senso per calcolare i pesi della miscela ($\alpha_{\ell,i,j}$). La rappresentazione finale del token $o_i$ è una miscela convessa di questi vettori di senso indipendenti dal contesto.
  • Pooling della Frase: Per generare gli embedding delle frasi, il modello applica un pooling strutturato sulle attivazioni dei sensi a livello di token. Il documento definisce tre varianti:
    • iBERT-v1 (Mean Pooling): Media uniforme di tutte le rappresentazioni dei token.
    • iBERT-v2 (Top-Sense Pooling): Identifica il senso dominante per una sequenza e mantiene solo quel senso attraverso tutti i token (selezione hard).
    • iBERT-v3 (Softmax Blend): Interpola tra v1 e v2 utilizzando un parametro di temperatura $\tau$ per controllare la nitidezza della selezione del senso (blending soft).
• Pipeline di Addestramento:
  • Fase 0 (Pretraining MLM): iBERT è preaddestrato da zero su il 5% del corpus FineWeb (750B di token) utilizzando il Masked Language Modeling (MLM) per istanziare vettori di senso significativi. Ciò produce un encoder da 171M di parametri.
  • Fase 1 (Apprendimento della Rappresentazione Stilistica): Il modello viene perfezionato utilizzando triplette contrastive ($\langle s, s^+, s^- \rangle$) mirate alla variazione stilistica. I dati di addestramento includono triplette sintetiche da StyleSynth (Patel et al., 2025) con variazione lessicale/sintattica controllata e triplette etichettate per autore da Wegmann et al. (2022). Viene utilizzata la perdita InfoNCE per incoraggiare la vicinanza tra input stilisticamente simili e allontanare quelli dissimilar.
• Baseline: Per garantire un confronto equo, gli autori addestrano un modello BERT-base standard da zero sugli stessi dati e lo perfezionano con gli stessi obiettivi contrastivi (creando BERT-SD, BERT-WG e BERT-WG+SD) per servire come baseline dense.

Contributi Chiave

1. Architettura iBERT: L'introduzione di un encoder con rappresentazioni controllabili e decomponibili che producono embedding di token e di frase interpretabili per design.
2. Performance: Dimostrazione di una forte performance attraverso tre benchmark (STEL, SoC e PAN), raggiungendo fino a +8% di guadagni in STEL (Style Representation Effectiveness) rispetto alle baseline dense, mantenendo al contempo una performance competitiva nella verifica dell'autorialità.
3. Interpretabilità Novella: La capacità di sondare i vettori di senso per specifici tratti stilistici, ablare i sensi per identificare l'attribuzione ed editare gli embedding per il trasferimento di stile controllato. Il documento evidenzia che specifici attributi stilistici (ad esempio, uso di emoji, sarcasmo, scelte lessicali) sono assegnati a specifici vettori di senso.

Risultati

• STEL (Efficacia della Rappresentazione Stilistica): I modelli iBERT superano significativamente i modelli BERT baseline. Sotto supervisione diretta dello stile (StyleSynth), iBERT-v3-1 ha raggiunto il 38,3% di STEL (128 token), un guadagno di +6,7 punti rispetto alla baseline BERT. Le varianti iBERT-v3 (soft blending) hanno generalmente superato la selezione hard iBERT-v2, suggerendo che il soft sense weighting colma il divario tra il blending uniforme e la scarsità stretta.
• SoC (Stile-o-Contenuto): iBERT-v3-1 ha ottenuto la più alta separabilità della polarità stilistica (accuratezza del 92,8%), dimostrando che il modello può preservare la sensibilità alla polarità mantenendo l'interpretabilità.
• PAN (Verifica dell'Autorialità): Come task di stile proxy, le varianti iBERT hanno eguagliato o superato leggermente BERT su input di 128 token. Tuttavia, su input di 512 token, BERT ha leggermente superato iBERT (61,92% vs 61,07%), probabilmente perché il forte accoppiamento di feature semantiche e stilistiche di BERT beneficia maggiormente di un contesto esteso. iBERT ha mantenuto una performance competitiva anche quando la supervisione era rumorosa (solo identità dell'autore), sebbene abbia faticato più di BERT quando stile e contenuto erano fortemente entangled senza etichette di stile esplicite.
• Analisi di Interpretabilità: Il probing ha rivelato che i singoli sensi si specializzano in distinti cluster stilistici (ad esempio, il Senso $\ell=2$ si allinea con il tono affettivo come il sarcasmo; $\ell=0$ con marcatori superficiali come le emoji). Gli studi di ablazione hanno confermato che rimuovere un senso allineato allo stile riduce drasticamente la separabilità di quello specifico stile (fino al 66% di riduzione della distanza) pur influenzando minimamente gli stili non correlati, validando la località delle modifiche.

Significatività e Rivendicazioni
Il documento afferma che iBERT rappresenta un passaggio dalla interpretabilità post-hoc alla interpretabilità ancorata all'architettura. Per design, iBERT decompone i segnali discriminativi (sia semantici che stilistici) in vettori di senso modulari.

• Modularità: Il modello permette modifiche mirate negli spazi di embedding (ad esempio, cambiare la formalità o rimuovere le emoji) senza disturbare attributi non correlati, un risultato difficile per gli encoder densi.
• Generalizzazione: Sebbene valutato su task stilistici, iBERT non è limitato alla modellazione dello stile. La sua modularità strutturale è progettata per decomporre interpretabilmente i quali che siano i segnali discriminativi presenti nei dati, consentendo la generalizzazione anche quando la supervisione mescola fattori semantici e stilistici.
• Trade-off: Gli autori riconoscono un compromesso: la struttura modulare può portare a lievi gap di performance rispetto agli encoder densi in task che richiedono una profonda integrazione contestuale (ad esempio, deriva semantica a lungo termine). Inoltre, la specializzazione del senso è sensibile alla lunghezza della sequenza, e l'attuale lavoro si concentra sull'inglese.

Gli autori concludono che iBERT offre un passo verso modelli di embedding che non sono solo potenti, ma intrinsecamente comprensibili, fungendo da backbone vitale per pipeline NLP trasparenti e modulari.