Riepilogo Tecnico: Interpretabilità e Fedeltà del Chain-of-Thought in Conflitti di Conoscenza

Enunciato del Problema

Quando i modelli linguistici di grandi dimensioni (LLM) incontrano un documento che contraddice la loro conoscenza parametrica di addestramento, devono scegliere se seguire il documento o fidarsi della loro conoscenza interna. Ricerche precedenti hanno stabilito che questa decisione è guidata dalla "fama" dell'entità (visualizzazioni della pagina Wikipedia), dove i fatti famosi vengono resistiti e i fatti oscuri vengono seguiti. Tuttavia, i professionisti si affidano sempre più al ragionamento Chain-of-Thought (CoT) per comprendere perché un modello ha fatto una scelta specifica.

Il problema centrale affrontato è la fedeltà introspettiva: il ragionamento CoT dichiarato riflette accuratamente il meccanismo decisionale effettivo? Nello specifico, quando un modello inverte la sua decisione sulla stessa domanda (ad esempio, passando dal seguire un distrattore al resistergli), il testo del ragionamento cambia per riflettere la nuova decisione, oppure il ragionamento è una statica "esposizione di conoscenza" che viene semplicemente avvolta in frasi di attribuzione diverse? Se il CoT è meramente una razionalizzazione post-hoc piuttosto che una relazione causale, i sistemi di monitoraggio che si basano su argomenti logici potrebbero fornire una falsa sicurezza.

Metodologia

Lo studio impiega una sonda comportamentale su 200 domande fattuali (dal dataset PopQA) e 8 modelli (tra cui GPT-4o, Claude Sonnet 4.6, Gemini 2.5, varianti di DeepSeek e Llama 4 Maverick).

Design Sperimentale

• Paradigma di Conflitto di Conoscenza: Gli elementi sono stati suddivisi in livelli ad alta certezza (entità famose) e a bassa certezza (entità oscure). Ogni elemento includeva un distrattore plausibile ma errato.
• Condizioni di Prompt:
  • C1/C2 (Conflitto Multi-turno): Il modello risponde a una domanda, riceve un documento contraddittorio e deve ragionare passo dopo passo, valutare la confidenza (1–5) e fornire una risposta finale.
  • C3 (Solo Documento): Il modello risponde basandosi esclusivamente sul documento (funzionando come ancoraggio di conformità).
  • C4 (Conoscenza Propria): Al modello viene istruito di dare priorità alla sua conoscenza rispetto al documento.
• Varianti del Modello: Lo studio include modelli "native-reasoning" (che espongono i token di pensiero interni) e le loro controparti "standard" (solo output rivolto all'utente) per isolare l'effetto della funzionalità di ragionamento.
• Controlli: Ablazioni a temperatura abbinata (ad esempio, GPT-4o a $T=1$) sono state utilizzate per escludere la temperatura come fattore confondente per le anomalie osservate.

Misure Analitiche

1. Coerenza del Ragionamento: La similarità del coseno (utilizzando all-MiniLM-L6-v2) e i punteggi ROUGE-L sono stati calcolati tra i testi CoT delle "coppie di inversione" (dove il modello fornisce risposte opposte sullo stesso elemento) rispetto alle "coppie con stessa risposta". Le frasi di attribuzione (ad esempio, "il documento dice") sono state rimosse per isolare il contenuto sostanziale.
2. Calibrazione della Confidenza: Sono state testate le correlazioni tra la confidenza auto-valutata e (a) la salienza dell'entità ($spop$) e (b) la correttezza di base (se il modello conosceva il fatto prima del conflitto).
3. Coerenza Comportamentale: La regressione logistica delle Equazioni di Stima Generalizzate (GEE) ha testato se la confidenza predice indipendentemente la decisione di seguire o resistere, controllando per la fama dell'entità.
4. Attribuzione della Fonte: Analisi delle risposte "FOLLOW" per rilevare la confabulazione (inventare fatti per giustificare il seguire un distrattore).

Risultati Chiave

1. Coerenza del Ragionamento: Il Fenomeno "Flip"

Quando i modelli raggiungevano conclusioni opposte sulla stessa domanda, il loro ragionamento passo dopo passo rimaneva altamente simile.

• Similarità: Le coppie di inversione mantenevano il 96% della similarità trovata nelle coppie con stessa risposta (similarità del coseno 0,784 contro 0,817; $d=0,34$).
• Implicazione: La maggior parte del CoT è una statica "esposizione di conoscenza" (recitare fatti sull'entità) che non cambia con la decisione. Solo l'attribuzione finale o l'inquadramento cambiano.
• Eccezione: GPT-4o è stato l'unico modello a mostrare un delta negativo statisticamente affidabile ($\Delta = -0,132$), il che significa che il suo ragionamento cambiava genuinamente quando la sua decisione si invertiva. Per gli altri modelli, l'argomento logico è effettivamente invariante rispetto alla decisione.

2. La Confidenza come Segnale Genuino

Mentre la narrazione logica era stabile, la confidenza auto-valutata ha mostrato un segnale introspettivo debole ma genuino.

• Conoscenza a Livello di Elemento: Nel livello a bassa certezza, la fama dell'entità ($spop$) non prediceva la confidenza ($\rho = -0,005$). Tuttavia, la correttezza di base (se il modello conosceva effettivamente il fatto) prediceva debolmente la confidenza ($r = 0,134, p < 0,001$).
• Predizione della Decisione: Una confidenza più bassa prediceva una probabilità più alta di seguire il distrattore ($coef = -0,475, p < 0,001$). Questo stabilisce un percorso a livello di elemento: conosce il fatto $\rightarrow$ confidenza più alta $\rightarrow$ resiste al distrattore.
• Specificità del Modello:
  • GPT-4o: Ha mostrato un accoppiamento statisticamente affidabile tra ragionamento e decisione.
  • Claude Sonnet 4.6: Ha esibito una "Anomalia Claude". La sua correlazione aggregata confidenza-decisione era vicina allo zero ($r \approx 0$) perché la relazione si invertiva tra le condizioni. Sotto l'inquadramento "conoscenza propria", seguiva i distrattori con alta confidenza, annullando la correlazione negativa osservata nelle condizioni di conflitto. Ciò suggerisce che Claude traccia l'inquadramento delle istruzioni piuttosto che il suo stato di conoscenza interna.

3. Ragionamento Interno vs. Dichiarato

Per i modelli native-reasoning, i token di pensiero interni hanno mostrato una maggiore sensibilità alla decisione rispetto al CoT rivolto all'utente.

• I token interni nelle coppie di inversione erano meno simili ($0,709$) rispetto agli output dichiarati ($0,787$), un divario significativo ($p=0,033$).
• Ciò suggerisce che l'output rivolto all'utente "livella" le differenze preservate nel processo interno, probabilmente per presentare una narrazione coerente.

4. Confabulazione

Tra i modelli che hanno seguito i distrattori, Llama 4 Maverick è stato un chiaro outlier, esibendo una confabulazione del 15,2% (fabbricare fatti specifici, ad esempio un villaggio inesistente, per validare il distrattore). Gli altri modelli hanno mostrato tassi inferiori al 6,3%.

Significato e Affermazioni

Il documento afferma di fornire il primo test diretto su whether il ragionamento dichiarato traccia il driver empirico delle decisioni in conflitto di conoscenza. I suoi contributi principali sono:

1. Decomposizione del CoT: Lo studio decompone il CoT in due funzioni distinte:
   • Funzione 1 (Esposizione di Conoscenza): Una recitazione stabile della conoscenza parametrica che rimane quasi identica indipendentemente dalla decisione finale.
   • Funzione 2 (Giustificazione della Decisione): Un sottile strato di attribuzione e punteggi di confidenza che si adatta alla decisione.
2. Implicazioni per il Monitoraggio: Gli autori sostengono che, per il monitoraggio della sicurezza e la revisione, gli argomenti logici sono la metrica sbagliata da leggere perché sono spesso invarianti rispetto alla decisione. Invece, la confidenza espressa (e le attenuazioni) è dove risiede il segnale genuino di autoconoscenza, sebbene sia debole e soggetto a problemi di calibrazione specifici del modello (come l'anomalia Claude).
3. Limiti dell'Introspezione: Il documento conclude modestamente che i modelli possiedono solo una metacognizione "modesta" a livello di elemento. Sebbene possano distinguere fatti noti da sconosciuti leggermente meglio del caso, i loro punteggi di confidenza sono fortemente influenzati dalla fama dell'entità e dall'inquadramento delle istruzioni piuttosto che da uno stato interno preciso.

Lo studio non afferma fedeltà causale ma stabilisce coerenza correlazionale tra segnali comportamentali e un predittore validato ($spop$ e correttezza di base), suggerendo che gli attuali output CoT spesso servono come razionalizzazioni post-hoc piuttosto che come relazioni trasparenti del meccanismo decisionale.