Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

1. Il Problema

Le grandi lingue modelli (LLM) devono spesso gestire informazioni conflittuali all'interno del contesto (context window). Quando un modello incontra dati nuovi che contraddicono informazioni precedenti, quali memorie sopravvivono?
Nella memoria umana, l'interferenza retroattiva (RI) domina: le nuove informazioni disturbano il richiamo di quelle vecchie. Al contrario, l'interferenza proattiva (PI) si verifica quando le conoscenze pregresse bloccano l'apprendimento di nuove informazioni.
Il paper si pone l'obiettivo di indagare come gli LLM gestiscono questi due tipi di interferenza, adattando paradigmi classici della psicologia cognitiva per testare se i modelli mostrano lo stesso pattern umano o un comportamento inverso, e se questi fenomeni derivano da un'unica capacità mnemonica o da meccanismi computazionali distinti.

2. Metodologia

Gli autori hanno adattato il paradigma classico di interferenza AB-AC (Underwood, 1957) per testare 39 LLM diversi (dai 1 miliardo ai 2,5 trilioni di parametri), inclusi modelli open-weight (Llama, Mistral, Qwen) e proprietari (GPT-4o, Claude, o1).

• Design del Task:
  • Il modello apprende inizialmente 46 coppie categoria-valore (es. "Arte visiva: impressionismo").
  • Successivamente, vengono inseriti $N$ aggiornamenti intercalati ($N \in \{3, 10, 50, 100, 200, 300\}$) che assegnano nuovi valori alle stesse categorie (es. "Arte visiva: barocco").
  • Task RI (Interferenza Retroattiva): Si chiede il valore iniziale (es. "Qual era il primo valore per Arte visiva?").
  • Task PI (Interferenza Proattiva): Si chiede il valore più recente (es. "Qual è l'ultimo valore per Arte visiva?").
  • Nota: Le sequenze di stimoli sono identiche per entrambi i task; cambia solo l'obiettivo della query.
• Metriche:
  • RIES (Retroactive Interference Endurance Score): Area sotto la curva di accuratezza in funzione dell'interferenza (log-scalata).
  • PIES (Proactive Interference Endurance Score): Stessa formula applicata al richiamo dei valori recenti.
  • Analisi degli errori per classificare i fallimenti (retrieval failure, intrusione, allucinazione).

3. Contributi Chiave

Il paper offre tre contributi principali che sfidano le attuali comprensioni sulla memoria degli LLM:

1. Evidenza di un sistema di memoria duale: RI e PI sono statisticamente non correlati ($R^2 = 0.044$) e mostrano relazioni di scaling opposte, suggerendo che coinvolgono meccanismi computazionali distinti (consolidamento vs. recupero).
2. Profilo di interferenza invertito: Tutti i 39 modelli testati mostrano un pattern opposto a quello umano: PI > RI. Gli LLM proteggono le codifiche iniziali a scapito delle informazioni recenti, un fenomeno di "protezione della primazia" assente nei sistemi biologici.
3. Tassonomia del fallimento cognitivo: I fallimenti nel task RI sono passivi (impossibilità di recuperare), mentre quelli nel task PI sono attivi (intrusione di valori precedenti). In entrambi i casi, le allucinazioni sono minime (<1%), indicando che il problema è di selezione/posizione, non di generazione.

4. Risultati Principali

• Dominanza dell'Interferenza Proattiva (PI):
  • Tutti i modelli mostrano una resistenza all'interferenza proattiva significativamente inferiore rispetto a quella retroattiva (differenza media di 69.5 punti, $d = 1.73$).
  • Mentre l'accuratezza nel task RI rimane alta fino a 50 aggiornamenti (96%) prima di crollare, nel task PI l'accuratezza crolla drasticamente (da 85% a 2% con 300 aggiornamenti).
• Ruolo delle Dimensioni del Modello:
  • La dimensione del modello (numero di parametri) predice la resistenza alla RI ($R^2 = 0.49$): modelli più grandi mantengono meglio le informazioni iniziali.
  • La dimensione non predice la resistenza alla PI ($R^2 = 0.06$, non significativo). La difficoltà nel recuperare informazioni recenti è un vincolo architetturale indipendente dalla scala.
  • La lunghezza del contesto (context window) non ha alcuna correlazione con la resistenza all'interferenza.
• Modelli di Ragionamento (Reasoning Models):
  • I modelli con capacità di ragionamento (es. o1, o3) eccellono nella RI (18% in più rispetto ai modelli standard), ma performano peggio o in modo neutro nella PI. Questo suggerisce che il ragionamento ottimizza il "consolidamento" ma non aiuta, e talvolta ostacola, l'accesso alla recenza.
• Analisi degli Errori:
  • RI: Fallimenti passivi (51% "retrieval failure"). Il modello non riesce a trovare il valore.
  • PI: Fallimenti attivi (56% "same-key intrusion"). Il modello restituisce attivamente un valore precedente corretto per la categoria ma sbagliato per il tempo.
  • Le allucinazioni sono rare (<1% in entrambi i casi).
  • Bias Posizionale: Gli errori RI tendono a provenire da posizioni recenti (bias di recenza), mentre gli errori PI provengono da posizioni iniziali (bias di primazia), confermando la dinamica opposta.

5. Significato e Implicazioni

• Meccanismi Distinti (Dual-Process): I risultati supportano l'ipotesi che RI e PI siano processi separati.
  • La RI sembra legata alla capacità di rappresentazione (superposition): modelli più grandi possono allocare vettori più ortogonali, permettendo alle codifiche iniziali di sopravvivere agli aggiornamenti.
  • La PI è limitata dall'architettura dell'attenzione: il meccanismo di self-attention dei Transformer ha un bias intrinseco verso i token iniziali ("attention sinks"), che protegge la primazia ma ostacola l'accesso alla recenza, indipendentemente dalle dimensioni del modello.
• Differenza Uomo-Macchina: A differenza della memoria umana (dove il nuovo sovrascrive il vecchio), i Transformer proteggono il vecchio a scapito del nuovo. Questo è un "feature" architetturale, non un bug.
• Implicazioni Pratiche:
  • Per applicazioni che richiedono memoria storica robusta (es. analisi di documenti legali, estrazione di fatti iniziali), i modelli più grandi e quelli con capacità di ragionamento sono superiori.
  • Per applicazioni che richiedono il tracciamento di stati recenti (es. chatbot, aggiornamenti in tempo reale), i modelli standard potrebbero essere più adatti, e le architetture di ragionamento potrebbero essere controproducenti.
  • La dimensione dei parametri è un predittore più affidabile della resistenza all'interferenza rispetto alla lunghezza del contesto.

In sintesi, il paper dimostra che la memoria nei Transformer non è un'unica "capacità" monolitica, ma un sistema complesso dove la protezione delle informazioni iniziali è strutturale e la difficoltà nel recuperare informazioni recenti è un limite architetturale fondamentale, con profonde implicazioni per la selezione e il deployment dei modelli in scenari reali.