Riepilogo Tecnico: Lo Scoring della Contribuzione ai Logit Identifica i Cap della Recupero Non Letterale

1. Definizione del Problema

I Large Language Models (LLM) sintetizzano frequentemente risposte partendo dal significato semantico di un contesto rilevante piuttosto che copiare letteralmente i token. Sebbene il lavoro esistente sull'interpretabilità meccanicistica abbia identificato i "retrieval heads" (cap di recupero) responsabili dell'accesso al contesto, gli attuali metodi di rilevamento sono fondamentalmente limitati al recupero letterale.

I detector esistenti (ad es. Wu et al., 2025; Fu et al., 2025) si affidano a osservabili dei pesi di attenzione. Essi premiano i cap in cui il token sorgente a cui si presta attenzione corrisponde al token della risposta generata. Questo criterio di "token-matching" identifica con successo i cap che effettuano copia-incolla delle informazioni (recupero letterale), ma fallisce nel rilevare i cap che eseguono un recupero non letterale. Negli scenari non letterali, un modello può prestare attenzione a una frase sorgente (ad es. "Torre Eiffel") ma sintetizzare un token di risposta diverso (ad es. "Yuki") tramite il suo circuito di output-value (OV). Lo scoring basato sull'attenzione cattura dove un cap legge, ma ignora cosa scrive, perdendo il meccanismo critico attraverso il quale avviene la sintesi non letterale.

2. Metodologia: Logit-Contribution Scoring (LOCOS)

Gli autori introducono lo Logit-Contribution Scoring (LOCOS), un detector "consapevole della scrittura" (write-aware) che valuta i cap di attenzione in base al loro contributo al logit della risposta finale, anziché alla loro distribuzione di attenzione.

Meccanismo Core

LOCOS decompone l'operazione di un cap di attenzione in due circuiti:

1. Circuito QK: Determina dove il cap legge (pesi di attenzione $\alpha$).
2. Circuito OV: Determina cosa il cap scrive nello stream residuo (proiezione di output $W_O v$).

Il metodo valuta un cap $(l, h)$ proiettando l'output del suo circuito OV sulla direzione di unembedding del token corretto della risposta ($u_{y_t}$).

La Procedura in Tre Fasi

1. Contribuzione al Logit per Posizione:
   Per un passo di decodifica $t$ che genera il token $y_t$, la contribuzione di una posizione sorgente $j$ attraverso il cap $(l, h)$ è calcolata come:
   $$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$$
   Questo scalare $\phi$ cattura l'intera pipeline: un cap può avere un'alta attenzione ($\alpha$) ma una contribuzione quasi nulla se il suo output OV è ortogonale alla direzione della risposta. Al contrario, un cap con un'attenzione moderata può avere un'alta contribuzione se il suo circuito OV trasforma la rappresentazione attentata in un vettore allineato alla risposta.

2. Contrasto Spaziale:
   Per isolare i segnali specifici del recupero, LOCOS confronta le contribuzioni delle posizioni needle (lo span di contesto rilevante $[s_\tau, e_\tau)$) rispetto alle posizioni off-needle.
   $$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$$
   $$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$$
   Il fattore di riscalamento assicura che la somma off-needle sia confrontabile con la somma needle in termini di lunghezza. Lo score per un singolo step è la differenza: $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$. Questo contrasto spaziale (needle vs. off-needle all'interno di un singolo step) sostituisce il contrasto temporale (risposta vs. non-risposta tra step) utilizzato nei lavori precedenti.

3. Aggregazione:
   Lo score finale $S_{l,h}$ è la media di questi contrasti spaziali attraverso tutti i passi di decodifica in cui il modello genera una risposta corretta, aggregata su tutti i trial di successo in un benchmark. Gli score negativi indicano cap la cui contribuzione al logit della risposta origina prevalentemente da posizioni off-needle.

3. Contributi Chiave

• Rilevamento Consapevole della Scrittura: Il paper stabilisce che identificare il recupero non letterale richiede la misurazione dell'output del circuito OV, non solo dei pesi di attenzione.
• Algoritmo LOCOS: Un metodo a singolo passaggio in avanti (single-forward-pass) che valuta i cap tramite la loro contribuzione proiettata sul logit della risposta, contrastando le sorgenti needle e off-needle.
• Validazione Causale: Attraverso esperimenti di mean-ablation, gli autori dimostrano che LOCOS identifica i cap che sono causalmente critici per il recupero non letterale, mentre i baseline basati sull'attenzione falliscono nel farlo.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark NoLiMa (un compito di "needle-in-a-haystack" non letterale) su tre famiglie di modelli: Qwen3 (8B, 14B, 32B), Gemma-3 (12B, 27B) e OLMo-3.1 (32B).

Performance di Ablazione (NoLiMa)

• Degradazione Superiore: L'ablation (mean-ablating) dei top-$k$ cap LOCOS causa un declino più ripido del ROUGE-L rispetto a tutti i baseline basati sull'attenzione (Wu/NIAH-scored, Wu/NoLiMa-scored e cap casuali).
• Caso di Studio Qwen3-8B: L'ablation dei top 50 cap LOCOS fa crollare il ROUGE-L da 0.401 a 0.000. Al contrario, il più forte baseline basato sull'attenzione (Wu/NIAH) mantiene un ROUGE-L di 0.292 alla stessa profondità.
• Specificità: L'ablation dei cap LOCOS degrada severamente il recupero contestuale lasciando intatti il ricordo parametrico (ad es. associazioni città-nazione) e il ragionamento aritmetico. Ciò conferma che i cap identificati sono specifici del recupero, non genericamente importanti per l'output del modello.

Specificità Letterale vs. Non Letterale

• L'ablation dei top-$k$ cap LOCOS degrada sia il recupero non letterale (NoLiMa) che quello letterale (NIAH).
• Tuttavia, il calo è significativamente più ripido su NoLiMa. Ciò indica che, sebbene LOCOS catturi i cap rilevanti per entrambi i regimi, identifica unicamente il sottoinsieme di cap responsabili della sintesi non letterale che i detector basati sul token-matching mancano.

Trasferimento a Downstream

• Sui benchmark di contesto lungo (downstream) (MuSiQue e BABILong), l'ablation dei top-50 cap LOCOS degrada significativamente le performance, particolarmente sulla famiglia Qwen3 (ad es. l'accuratezza su MuSiQue per Qwen3-8B scende da 0.55 a 0.08).
• La classifica di LOCOS rispetto ai baseline basati sull'attenzione varia per benchmark, suggerendo che i compiti di multi-hop QA reclutano sia circuiti di recupero letterale che non letterale.

Distribuzione dei Layer

• Gli score LOCOS sono fortemente concentrati nei layer tardivi (late layers) per la famiglia Qwen3 e Gemma-3-27B.
• Gli autori osservano che questa concentrazione può essere influenzata dall'assunzione del "percorso diretto" (i cap più vicini all'output hanno un impatto più diretto sui logit), ma esperimenti di causal patching suggeriscono che il pattern dei layer tardivi non sia un semplice artefatto.

5. Significato e Rivendicazioni

Il paper afferma che LOCOS fornisce la prima identificazione meccanicistica dei cap di recupero non letterale.

• Limitazione dei Lavori Precedenti: I detector esistenti sono "ciechi" al recupero non letterale perché premiano i cap in cui il token attentato corrisponde al token generato. Questo ignora i cap che prestano attenzione a una sorgente e sintetizzano una risposta diversa.
• Insight Meccanicistico: Misurando la proiezione del circuito OV sulla direzione della risposta, LOCOS cattura l'operazione di "scrittura" essenziale per la sintesi.
• Utilità Pratica: I cap identificati sono causalmente critici per il ragionamento a lungo contesto. Questa scoperta ha implicazioni per:
  • Interpretabilità: Fornire una mappa più accurata di come gli LLM accedono e sintetizzano il contesto.
  • Efficienza: Consentire una compressione del KV cache più mirata, preservando solo i cap specifici responsabili del recupero, invece di euristiche uniformi o basate sull'attenzione.
  • Mitigazione delle Allucinazioni: Offrire un meccanismo per identificare e intervenire sui cap che falliscono nel recuperare correttamente il contesto rilevante.

Gli autori rimangono modesti riguardo alla generalizzazione, notando che le loro scoperte sono specifiche per le architetture testate (transformer decoder-only standard) e per il benchmark NoLiMa. Non affermano che LOCOS identifichi tutti i meccanismi di recupero, ma che riesce a isolare il sottoinsieme mancante ai criteri di token-matching.