Riepilogo Tecnico: Fissazione nel Contesto

Enunciato del Problema

Mentre ricerche precedenti (Min et al., 2022) hanno stabilito che etichette di dimostrazione casuali hanno un impatto minimo sulle prestazioni dell'Apprendimento nel Contesto (ICL), questo documento identifica una modalità di fallimento critica denominata Fissazione nel Contesto. Gli autori dimostrano che, quando le dimostrazioni condividono etichette omogenee (anche se semanticamente valide), l'accuratezza del modello crolla a $\le$12% attraverso varie architetture e compiti.

Crucialmente, il documento sostiene che il trigger non è la correttezza delle etichette, bensì il contenuto dello slot dell'etichetta stesso. Il modello sembra trattare i token che occupano la posizione dell'etichetta nelle dimostrazioni come un vocabolario esaustivo di risposte. Questo comportamento contraddice le spiegazioni bayesiane basate su concetti latenti (Xie et al., 2022), che prevederebbero che etichette nonsense diversificate risultino in una posterior diffusa che permette il recupero tramite inferenza semantica. Invece, il modello vincola la sua output strettamente all'inventario dei token dimostrati, sovrascrivendo la plausibilità semantica.

Metodologia

Lo studio adotta un approccio multifacciale che combina analisi comportamentale, interpretabilità meccanicistica causale e validazione cross-architettura:

1. Configurazione Sperimentale:

   • Compiti: Quattro compiti di classificazione binaria a singolo token (Categoria, Sentimento, Temperatura, Dimensione) e classificazione multiclasse a 4 vie.
   • Modelli: Sei modelli base appartenenti a tre famiglie (Pythia, Llama, Qwen) con un range da 0,8B a 8B parametri.
   • Condizioni:
     • Garden-Path (GP): Tutte le 8 dimostrazioni condividono un'unica etichetta opposta alla risposta di test.
     • Nonsense Variato: Le dimostrazioni utilizzano token nonsense diversificati da un insieme $\{foo, bar, vex, nit, orb\}$.
     • Multi-token: Utilizzo di verbalizzatori come "molto positivo" per decomporre la fissazione di formato rispetto a quella di contenuto.
   • Metriche: Accuratezza, massa di probabilità sugli insiemi dimostrati rispetto alle risposte corrette e tassi di recupero tramite patching.

2. Analisi Meccanicistica:

   • Patching Accoppiato per Elemento: Utilizzato su Pythia-1B per scambiare le attivazioni dello strato di attenzione da prompt di controllo (etichette corrette) a prompt garden-path, al fine di identificare circuiti causali.
   • Logit Lens: Applicato a Llama-3.2-1B per tracciare l'evoluzione dei logit attraverso gli strati, osservando la traiettoria "codifica-poi-sovrascrittura".
   • Attribuzione Diretta dei Logit (DLA): Per identificare le specifiche testine di attenzione che contribuiscono alla fissazione.

Contributi Chiave

1. Fenomeno Generale ai Compiti: L'effetto di fissazione è robusto attraverso quattro compiti, sei modelli e tre famiglie di modelli (0,8B–8B). In tutte le 12 combinazioni compito $\times$ modello, l'accuratezza GP scende sotto il 15%, con gap di 64–100 punti percentuali rispetto ai controlli bilanciati.
2. Fissazione a Livello di Insieme (Recupero da Vocabolario Vincolato): Il documento dimostra che la fissazione opera sull'intero insieme delle etichette dimostrati, non su un singolo token. Anche con etichette nonsense variate, il modello concentra il 42–67% della probabilità sull'insieme dimostrato, sopprimendo la risposta semanticamente corretta ($P(dog) < 0,2\%$). Ciò prova che il modello recupera dall'inventario dimostrato piuttosto che inferire da concetti latenti.
3. Generalizzazione alla Classificazione Multiclasse e Multi-token:
   • La fissazione si estende alla classificazione a 4 vie, riducendo l'accuratezza allo 0% quando le etichette sono omogenee.
   • Nei verbalizzatori multi-token, la fissazione si decompone in componenti a livello di formato (adozione del template "molto X") e a livello di contenuto (sovrascrittura della polarità), che sono sperimentalmente dissociabili.
4. Primo Circuito Causale per una Modalità di Fallimento ICL:
   • In Pythia-1B, il patching accoppiato per elemento recupera il 98,4% del gap di accuratezza.
   • Il circuito è localizzato in un circuito centrato sullo strato 7 (coinvolgendo specificamente gli strati 7, 10 e 11).
   • Una coalizione sparsa di sole 4 testine (attraverso 3 strati) ottiene un recupero dell'87,6%, sebbene il circuito sia distribuito (esistono percorsi ridondanti).
5. Replicazione Cross-Architettura: L'analisi Logit lens su Llama-3.2-1B conferma la traiettoria codifica-poi-sovrascrittura: gli strati intermedi (L9–L11) codificano la risposta corretta, ma gli strati superiori (L12–L15) la sovrascrivono in condizioni garden-path. Il patching per elemento su Llama conferma la sufficienza causale (89% di recupero con i top-5 strati).

Risultati

• Relazione Dose-Risposta: L'accuratezza diminuisce monotonicamente all'aumentare del numero di dimostrazioni fuorvianti. In Qwen3-8B, una singola dimostrazione fuorviante aggiuntiva (passando da $k=7$ a $k=8$) causa un crollo quasi discontinuo dal 42% allo 0% di accuratezza.
• Confini a Livello di Insieme: Quando un'etichetta corretta (es. "dog") è esclusa dall'insieme dimostrato, la sua probabilità è soppressa di 1,6–9,4$\times$ rispetto ai controlli bilanciati, indipendentemente dalla validità semantica delle etichette di dimostrazione.
• Bias di Recenza: Una singola dimostrazione correttiva all'ultima posizione (posizione 8) può invertire completamente la fissazione (da 0% a 100% di accuratezza), sovrascrivendo sette dimostrazioni opposte.
• Fallimento di Calibrazione: I metodi di calibrazione contestuale non riescono a risolvere la fissazione, lasciando un gap residuo di 40 punti percentuali.
• Instruction Tuning: I modelli con instruction tuning mostrano fissazione sotto prompting grezzo, sebbene i template di chat possano ridurre il gap in alcuni modelli (es. Llama-3.2-3B-Instruct), suggerendo che l'effetto interagisce con la formattazione del prompt.

Significato e Affermazioni

Il documento afferma di rivelare che l'output ICL è un recupero da vocabolario vincolato piuttosto che un'inferenza semantica o un aggiornamento bayesiano di concetti latenti. Il modello vincola la sua output all'inventario dei token dimostrati indipendentemente dalla plausibilità semantica.

• Insight Meccanicistico: La traiettoria "codifica-poi-sovrascrittura" fornisce una spiegazione meccanicistica dei fallimenti ICL: il modello calcola correttamente la risposta negli strati intermedi ma la scarta negli strati superiori a favore dell'insieme di etichette dimostrato.
• Implicazioni Teoriche: Questa scoperta sfida la visione dell'ICL come inferenza bayesiana puramente implicita. Suggerisce un meccanismo di "recupero da insieme condizionato allo slot" in cui lo slot dell'etichetta definisce il supporto della distribuzione di output.
• Implicazioni Pratiche: Gli autori identificano questo come una modalità di fallimento concreta dell'affidabilità per sistemi distribuiti (es. pipeline RAG, impalcature di agenti). Propongono che la diversità delle dimostrazioni sia critica; in particolare, l'aggiunta di una singola dimostrazione diversificata e correttamente etichettata alla fine di un prompt può mitigare l'effetto.
• Sicurezza: Il meccanismo costituisce una superficie di attacco per iniezione di prompt dove un avversario che controlla la selezione delle dimostrazioni può sovrascrivere deterministicamente le previsioni del modello garantendo l'omogeneità delle etichette.

Il documento conclude che, sebbene l'effetto persista a 8B parametri, l'architettura specifica del circuito varia in base al modello (es. Pythia vs. Llama), e il fenomeno merita ulteriori indagini su modelli più grandi e compiti di ragionamento.