Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

1. Enunciato del Problema

Il paper affronta limitazioni critiche nell'approccio standard del Decoding Probe utilizzato per analizzare i Large Language Models (LLM) e i modelli di parlato. Sebbene i decoding probe (che mappano le rappresentazioni del modello $X$ su proprietà linguistiche $Y$) determinino se un'informazione è presente, soffrono di due problemi principali:

1. Contributi delle Caratteristiche Non Confrontabili: I punteggi di accuratezza del decoding (ad esempio, 95% per l'identificazione del parlante contro il 58% per la fonetica) non possono essere confrontati direttamente per determinare l'importanza relativa perché dipendono da fattori specifici del compito, come il numero di classi e le distribuzioni delle etichette.
2. Artefatti di Correlazione delle Caratteristiche: Alte correlazioni tra le caratteristiche (ad esempio, identità della parola e categoria grammaticale) possono indurre i probe a fare affidamento su una caratteristica (identità lessicale) per prevederne un'altra (sintassi), creando conclusioni fuorvianti su ciò che il modello codifica effettivamente.

Gli autori sostengono che il campo abbia bisogno di un metodo per quantificare i contributi relativi delle caratteristiche mentre si controllano le correlazioni.

2. Metodologia: L'Encoding Probe

Gli autori propongono un nuovo Encoding Probe che inverte la direzione tradizionale del probing. Invece di mappare le rappresentazioni sulle etichette ($f: X \to Y$), l'Encoding Probe mappa le caratteristiche interpretabili sulle rappresentazioni del modello ($g: Y \to X$).

• Meccanismo Principale: Il probe utilizza una Regressione Ridge Multivariata per ricostruire le attivazioni degli stati nascosti interni ($X$) di un modello target basandosi su un insieme di caratteristiche di input interpretabili ($Y$).
• Insiemi di Caratteristiche: Lo studio utilizza insiemi di caratteristiche diversificati derivati da forme d'onda audio e testo, tra cui:
  • Acustica: Tono, formanti, MFCC.
  • Fonetica: Posteriorgrammi fonetici (PPG).
  • Identità del Parlante: Etichette di parlante codificate one-hot.
  • Sintassi: Tag POS, etichette di dipendenza, profondità dell'albero.
  • Lessico: Embedding statici di parole FastText.
• Metrica di Valutazione: Le prestazioni sono misurate dalla Varianza Non Spiegata (UV), definita come $1 - R^2$. Un UV più basso indica una migliore ricostruzione.
• Strategia di Ablazione: Per quantificare il contributo di specifiche caratteristiche, gli autori eseguono un'ablazione delle caratteristiche. Confrontano l'UV di un probe "Completo" (tutte le caratteristiche) con quello dei probe in cui vengono rimosse caratteristiche specifiche (ad esempio, $Completo \setminus Sintassi$).
  • L'aumento dell'UV al momento della rimozione di una caratteristica rappresenta il contributo unico e condizionato di tale caratteristica alla rappresentazione, indipendentemente dalle altre caratteristiche correlate.
• Modelli Testati:
  • Parlato: Wav2vec2 (Base, ottimizzato per ASR, ottimizzato per SID).
  • Testo: BERT (Base).
  • Dati: LibriSpeech (parlato) e corpora di testo standard.

3. Contributi Chiave

1. Cambiamento di Paradigma: Introduce l'Encoding Probe come strumento complementare al Decoding Probe, spostando il focus da "possiamo estrarre questo?" a "quanto questo spiega la rappresentazione?".
2. Rigor Statistico: Applica i principi standard dell'analisi di regressione (in particolare la scomposizione della varianza) all'interpretabilità, permettendo il confronto diretto dell'importanza delle caratteristiche tra diversi tipi di caratteristiche (ad esempio, acustiche vs semantiche).
3. Controllo delle Correlazioni: Dimostra un metodo robusto per disaccoppiare le caratteristiche correlate (ad esempio, separando il contributo della sintassi dall'identità della parola) condizionando la ricostruzione su più insiemi di caratteristiche simultaneamente.
4. Quadro Unificato: Fornisce un unico quadro per analizzare sia le modalità testo che quelle di parlato, rivelando come gli obiettivi di addestramento (auto-supervisionati, ASR, SID) alterino lo spazio delle rappresentazioni interne.

4. Risultati Chiave

Esperimento 1: Identità del Parlante nei Modelli di Parlato

• Decoding vs Encoding: Sebbene l'identità del parlante sia decodificabile da tutte le varianti di Wav2vec2, l'Encoding Probe rivela che il suo contributo effettivo varia drasticamente in base agli obiettivi di addestramento.
• Modelli Base e ASR: Nei modelli standard e ottimizzati per ASR, le caratteristiche acustiche e fonetiche contribuiscono in modo significativamente maggiore alla ricostruzione degli stati nascosti rispetto all'identità del parlante. L'identità del parlante contribuisce a una frazione minore della varianza.
• Modelli Ottimizzati per SID: Nei modelli ottimizzati specificamente per l'Identificazione del Parlante (SID), i livelli superiori sono dedicati quasi esclusivamente alla codifica dell'identità del parlante. Qui, la rimozione delle caratteristiche del parlante causa un enorme picco nell'errore di ricostruzione, mentre la rimozione delle caratteristiche fonetiche/acustiche ha un effetto trascurabile.
• Insight: I decoding probe hanno mostrato che l'ID del parlante è presente nei modelli ASR, ma gli encoding probe hanno rivelato che è marginale rispetto alla struttura della rappresentazione rispetto alla fonetica.

Esperimento 2: Sintassi vs Lessico

• Indipendenza: Lo studio conferma che le caratteristiche sintattiche e lessicali apportano contributi indipendenti alle rappresentazioni del modello. La rimozione della sintassi aumenta l'errore di ricostruzione anche quando sono presenti caratteristiche lessicali.
• Importanza Relativa: Le caratteristiche lessicali contano costantemente per una frazione maggiore della varianza rispetto alle caratteristiche sintattiche sia nei modelli di testo (BERT) che in quelli di parlato.
• Differenze di Modalità: Il contributo della sintassi e del lessico è più prominente in BERT (testo) che in Wav2vec2 (parlato), suggerendo che i modelli di parlato fanno affidamento più pesantemente su segnali acustici/fonetici.
• Impatto dell'ASR: L'ottimizzazione per l'ASR rende le rappresentazioni più difficili da ricostruire in termini assoluti, ma aumenta il contributo relativo delle caratteristiche lessicali e sintattiche rispetto al modello base.

5. Significato e Conclusione

Il paper stabilisce che la decodificabilità non equivale all'importanza. Una caratteristica potrebbe essere facilmente decodificabile (alta accuratezza) eppure contribuire molto poco alla struttura complessiva della rappresentazione del modello (bassa spiegazione della varianza).

• Prospettiva Complementare: L'Encoding Probe fornisce un necessario contrappeso ai decoding probe. Sposta il campo da domande binarie "sì/no" sulla presenza di informazioni a domande quantitative sulla composizione delle informazioni.
• Implicazioni per l'Interpretabilità: Controllando le correlazioni, i ricercatori possono evitare falsi positivi in cui un probe ha successo a causa di una caratteristica proxy correlata piuttosto che della caratteristica target stessa.
• Direzioni Future: Gli autori notano limitazioni, come la dipendenza dalla regressione lineare (che potrebbe non cogliere relazioni non lineari) e la natura osservazionale del metodo (mostra associazione, non causalità). Tuttavia, il quadro offre un metodo rigoroso e fondato statisticamente per sezionare il "black box" delle rappresentazioni dei transformer.

In sintesi, l'Encoding Probe è uno strumento potente per quantificare i contributi relativi e condizionati delle caratteristiche linguistiche alle rappresentazioni neurali, offrendo una comprensione più sfumata di come i modelli codificano il linguaggio e il parlato.