Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

Sintesi Tecnica: Fallimento per Interferenza nei Modelli Linguistici

Enunciato del Problema
Nonostante i significativi progressi nelle capacità di generazione di codice guidati dall'aumento della dimensione dei modelli e dei dati di addestramento, i Large Language Models (LM) continuano a faticare con compiti sintattici fondamentali, specificamente la generazione di parentesi bilanciate. Questo fallimento persiste anche in modelli all'avanguardia come GPT-4 e Phi-3. La sfida centrale affrontata in questo lavoro è comprendere i meccanismi interni che causano tali errori. Mentre la ricerca precedente ha tentato di fare l'ingegneria inversa dell'intero circuito computazionale degli LM, gli autori sostengono che anche compiti semplici comportano "sacche" di computazioni complesse, rendendo difficile l'ingegneria inversa bottom-up. Il documento postula che il fallimento non sia dovuto a una mancanza di meccanismi corretti, ma piuttosto a un fallimento per interferenza, dove meccanismi difettosi oscurano quelli validi.

Metodologia
Lo studio impiega un approccio di interpretabilità top-down per analizzare sette LM che variano da 124M a 7B di parametri (inclusi varianti di GPT-2, CodeLlama-7b, Llama2-7b e Pythia-6.9b). La metodologia prevede tre fasi primarie:

1. Decomposizione del Compito e Identificazione dei Meccanismi:
   Il compito delle parentesi bilanciate viene scomposto in quattro sottotitoli basati sul numero di parentesi di chiusura ($N=1, 2, 3, 4$) richieste, come determinato dal comportamento del tokenizer. Gli autori utilizzano la tecnica "logit lens" per proiettare le attivazioni dei singoli componenti (teste di attenzione e neuroni Feed-Forward) nello spazio del vocabolario.

   • Algoritmo 1 misura la correttezza del compito controllando se la proiezione del logit di un componente produce il valore più alto per il token ground-truth rispetto ai distrattori.
   • Algoritmo 2 identifica la promozione del token controllando se un componente promuove un target token sopra una specifica soglia.

2. Caratterizzazione dei Meccanismi:
   Gli autori categorizzano i componenti in "meccanismi validi" (affidabili, generalizzabili tra i sottotitoli) e "meccanismi difettosi" (inattendibili, che introducono rumore). Analizzano la precisione e il richiamo di questi componenti, osservando che gli LM si affidano pesantemente alla "promozione rumorosa", dove i componenti si attivano sia per i token corretti che per quelli errati, piuttosto che fare affidamento su meccanismi altamente selettivi e precisi.

3. RASTEER (Ranking and Steering):
   Motivati dalla scoperta che gli errori derivano dall'oscuramento dei meccanismi validi da parte di quelli difettosi, gli autori propongono RASTEER. Questo metodo:

   • Classifica (Ranks) i componenti dell'LM in base alla loro affidabilità (utilizzando metriche come recall, precision e F1-score) e generalizzabilità tra i sottotitoli.
   • Guida (Steers) il modello scalando l'attivazione dei componenti con il ranking più alto (teste di attenzione o neuroni FF) mediante un moltiplicatore $\alpha \in [1.1, 2.0]$ prima che vengano aggiunti allo stream residuo. Ciò amplifica il contributo dei componenti affidabili ai logit finali.

Contributi Chiave

• Intuizione Meccanicistica: Il documento rivela che gli LM non si affidano a un singolo meccanismo per i compiti sintattici, ma piuttosto a un insieme diversificato di componenti con affidabilità variabile. Fondamentalmente, identifica che gli LM falliscono non perché i meccanismi validi siano assenti, ma perché i meccanismi difettosi introducono rumore che oscura quelli validi.
• Promozione Rumorosa: Lo studio caratterizza una strategia di "promozione rumorosa" in cui i componenti spesso promuovono sia i token corretti che quelli distrattori, con il token corretto che riceve un impulso più forte ma non esclusivo.
• Framework RASTEER: Gli autori introducono un metodo di steering che identifica e amplifica sistematicamente i componenti affidabili senza richiedere la ricostruzione di interi circuiti causali.
• Confronto con il Baseline del Circuito: Il lavoro confronta RASTEER con un "baseline del circuito" derivato dall'interpretabilità meccanicistica (activation patching). Dimostra che, mentre la scoperta del circuito è efficace per modelli più grandi, fallisce nel fornire strategie di steering coerenti per modelli più piccoli, mentre RASTEER ha successo in tutte le dimensioni.

Risultati

• Prestazioni delle Parentesi Bilanciate: RASTEER migliora sostanzialmente le prestazioni sul compito delle parentesi bilanciate. Per diversi modelli (ad es. GPT-2 XL), l'accuratezza sui sottotitoli a tre e quattro parentesi è stata aumentata dallo 0% a circa il 100% guidando solo le top-10 o top-60 teste di attenzione.
• Efficacia dei Componenti: Lo steering delle teste di attenzione si è dimostrato significativamente più efficace dello steering dei neuroni FF. La promozione delle teste di attenzione con il ranking più alto ha ottenuto risultati comparabili alla promozione congiunta, mentre la promozione dei soli neuroni FF ha prodotto scarsi o nessun miglioramento, particolarmente per i modelli più piccoli.
• Generalizzabilità:
  • Generazione di Codice: Lo steering per il compito delle parentesi non ha degradato le capacità di codifica generali sul benchmark HumanEval. Di fatto, Llama2-7b ha visto un modesto miglioramento del 5,49%.
  • Ragionamento Aritmetico: Il metodo si è generalizzato a un compito di ragionamento aritmetico a due operandi, ottenendo guadagni di prestazione fino al 20,25% (ad es. per Pythia-6.9b nella moltiplicazione).
• Fallimento del Baseline del Circuito: Il baseline del circuito non è riuscito a migliorare le prestazioni sui modelli più piccoli (varianti di GPT-2) e, in alcuni casi, ha causato un declino delle prestazioni man mano che venivano promosse più teste, suggerendo che i componenti identificati come causalmente importanti per i passaggi intermedi possano introdurre instabilità quando guidati.

Significatività e Rivendicazioni
Il documento sostiene che la persistenza degli errori sintattici negli LM è il risultato di un'interferenza tra meccanismi interni in competizione piuttosto che un'incapacità fondamentale di apprendere il compito. Identificando che esiste un piccolo sottoinsieme di componenti altamente affidabili e generalizzabili all'interno del modello, gli autori dimostrano che le prestazioni possono essere recuperate amplificando questi segnali specifici.

La significatività di questo lavoro risiede nel suo passaggio dal tentativo di effettuare l'ingegneria inversa completa di circuiti complessi a un approccio funzionale di "steering" basato sull'affidabilità dei componenti. Gli autori osservano che, sebbene RASTEER sia efficace, lo studio si basa su dati sintetici e assume un motivo additivo semplice per la computazione del modello (dove il logit finale è la somma dei contributi dei componenti). Essi riconoscono che tale assunzione potrebbe trascurare meccanismi non additivi, come la soppressione attiva del rumore, che rimane una direzione aperta per la ricerca futura. Il lavoro suggerisce che l'interpretabilità funzionale — focalizzarsi sui componenti ad alto impatto per interventi pratici — è una via percorribile e poco esplorata per migliorare le prestazioni del modello senza riaddestramento.