Sintesi Tecnica: Conoscenza Corretta, Risposta Sbagliata: Temporal Attractor Steering per Conflitti Fattuali Temporali in Modelli Linguistici Open-Weight

1. Definizione del Problema: Conflitto Temporale Parametrico (PTC)

I Large Language Models (LLM) addestrati su corpora che coprono più anni spesso codificano sia fatti obsoleti che i loro nuovi corrispettivi supersedenti all'interno della loro memoria parametrica. Un modo di fallimento distinto si verifica quando un modello possiede internamente il fatto aggiornato (recuperabile tramite indizi temporali), ma ritorna alla risposta obsoleta sotto prompting standard. Gli autori formalizzano questo fenomeno come Conflitto Temporale Parametrico (PTC).

A differenza della semplice assenza di conoscenza (dove il modello non possiede affatto il fatto) o del generico degrado del richiamo temporale, il PTC è definito da due condizioni:

1. Preferenza per l'Obsoleto: $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ sotto prompting standard.
2. Recuperabilità: $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$ quando viene fornito un indizio temporale (es. "Al 2024...").

Gli approcci esistenti, come l'apprendimento continuo (aggiornamenti dei pesi) o la generazione aumentata dalla ricerca (RAG), non affrontano questo specifico scenario di selezione tra versioni coesistenti di un fatto durante l'inferenza senza modificare i pesi o utilizzare la ricerca esterna.

2. Metodologia: Temporal Attractor Steering (TAS)

Il paper introduce il Temporal Attractor Steering (TAS), un framework di inferenza in tre fasi, privo di ricerca e privo di addestramento, progettato per rilevare, localizzare e risolvere il PTC manipolando le attivazioni dello stream residuo.

Fase 1: Rilevamento (Detection)

Una sonda lineare leggera valuta se una query è probabilmente soggetta a PTC. La sonda è addestrata su positivi PTC verificati e negativi non in conflitto appaiati. Se il punteggio supera una soglia $\tau$, la query procede allo stadio di steering; altrimenti, viene elaborata normalmente per preservare il comportamento sulle query non in conflitto.

Fase 2: Localizzazione del Conflitto (Conflict Localization)

Utilizzando il causal activation patching, il metodo identifica un layer critico per il conflitto ($\ell^*$). Patchando gli stati latenti da un forward pass con "prompt temporale" in un forward pass con "prompt standard", gli autori determinano quale layer, se sottoposto a intervento, massimizza l'Answer-Flip Rate (AFR). I risultati empirici mostrano che, per tutti i modelli testati, questo layer critico risiede nella metà superiore della rete (ad esempio, i layer 23–31 in modelli da 28–32 layer).

Fase 3: Steering

Al layer identificato $\ell^*$, lo stato latente viene perturbato verso la rappresentazione del fatto più recente utilizzando un vettore di steering precomputato $\Delta$:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
dove $\alpha$ controlla la forza dell'intervento e $c$ è il punteggio del rilevatore. Il vettore di steering $\Delta$ è costruito mediando la differenza tra gli stati latenti sotto indizi temporali e prompt standard ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$). Gli autori propongono tre varianti di granularità della media: globale (V1), per relazione (V2) e per dominio (V3). La V2 (per relazione) è risultata la più efficace, poiché evita la diluizione di segnali forti da relazioni specifiche (come "Capo di Stato") causata da relazioni più rumorose ad alto volume.

3. Contributi Chiave

1. Formalizzazione e Filtraggio: Il paper definisce il PTC e introduce un filtro di recupero della conoscenza per distinguere i veri conflitti dall'assenza di conoscenza. Ciò assicura che l'evaluazione si concentri solo sui casi in cui il modello può recuperare il nuovo fatto ma non lo fa per impostazione predefinita.
2. Temporal Attractor Steering (TAS): Un nuovo framework che opera sulle attivazioni dello stream residuo per sovrascrivere selettivamente la conoscenza parametrica obsoleta senza riaddestramento o ricerca esterna. L'analisi teorica fornisce condizioni sufficienti (Separabilità Locale, Bounded Steering) sotto le quali il TAS riesce a invertire l'ineguaglianza della preferenza.
3. Valutazione Multi-Modello Verificata: Gli autori hanno costruito un benchmark verificato di 8.746 record che copre cinque relazioni di Wikidata (es. CEO, Capo di Stato) e valutano quattro modelli open-weight (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Risultati Sperimentali

La valutazione è stata condotta sul benchmark di 8.746 record su tre famiglie di modelli.

• Prevalenza del PTC: I tassi di PTC filtrati scalano monotonicamente con la capacità del modello, variando dal 4,1% (Qwen-1.5B) al 10,3% (Llama-3.1-8B). Il tasso di preferenza per l'obsoleto (OPR) è relativamente invariante rispetto alla famiglia (~53–54%).
• Localizzazione: Il causal activation patching a singolo layer raggiunge Answer-Flip Rates (AFR) di 0,72–0,85 in tutti i modelli, confermando che i circuiti di risoluzione del conflitto sono localizzati in specifici upper layer.
• Performance End-to-End: Il TAS recupera il 29–57% dei casi di PTC verificati mantenendo un'accuratezza dell'85–99% sulle query non in conflitto (Preservation Accuracy).
  • Migliori Performance: Qwen-2.5-7B ha raggiunto un tasso di recupero del 56,9% con una preservazione del 94,8%.
  • Confronto con il Baseline: Il TAS supera il baseline ITI (Inference-Time Intervention) corrispondente su tre dei quattro modelli. Nello specifico, il TAS guadagna +0,142 e +0,152 nel recupero sui modelli Qwen rispetto a ITI, grazie alla costruzione del vettore di steering da istanze di conflitto verificate piuttosto che da contrasti comportamentali generali.
• Analisi Cross-Model: Le istanze di PTC non sono perfettamente allineate tra i modelli. Interessante è che la sovrapposizione tra Mistral e Llama (famiglie diverse) è maggiore della sovrapposizione tra i due modelli Qwen (stessa famiglia), suggerendo che la freschezza dei dati di addestramento sia un predittore di allineamento del PTC più forte rispetto alla linea genealogica architettonica.

5. Significato e Rivendicazioni

Il paper sostiene di fornire un account basato sui meccanismi e privo di ricerca su come la conoscenza parametrica obsoleta possa essere selettivamente sovrascritta al momento dell'inferenza.

• Utilità Diagnostica: Il filtro di recupero della conoscenza offre un diagnostico economico per determinare se un modello possiede nuovi fatti recuperabili prima di tentare l'intervento.
• Stabilità: Il layer critico per il conflitto è specifico per ogni famiglia ma stabile, permettendone il riutilizzo una volta identificato per una determinata famiglia di modelli.
• Efficacia dell'Intervento: I risultati dimostrano che i conflitti temporali sono misurabili, localizzati e risolvibili. Il paper afferma con moderazione che, sebbene lo steering basato su conflitto verificato (TAS) generalmente superi lo steering basato su contrasto comportamentale (ITI), la costruzione ottimale del vettore di steering può variare in base all'architettura del modello (ad esempio, ITI ha performato meglio su Mistral-7B-v0.3).

Il lavoro stabilisce che il PTC è un modo di fallimento distinto, separabile dall'assenza di conoscenza, e che lo steering mirato delle attivazioni può risolvere efficacemente questi conflitti senza il costo computazionale del riaddestramento o la latenza della ricerca esterna.