Riepilogo Tecnico: Rilevamento della Catena di Pensiero Infedele tramite Discrepanza Interna-Esterna Guidata da Circuiti

1. Definizione del Problema

Il ragionamento a catena di pensiero (CoT) consente ai Modelli Linguistici di Grande Formato (LLM) di generare passaggi testuali intermedi prima di produrre una risposta finale, migliorando significativamente le prestazioni su compiti complessi. Tuttavia, sorge un problema critico quando queste tracce di ragionamento generate non riflettono fedelmente il processo decisionale interno effettivo del modello. Mentre i metodi di rilevamento esistenti si concentrano su segnali esterni — come la plausibilità testuale, la coerenza della risposta o le interventi controfattuali — spesso trascurano le evidenze provenienti dal calcolo interno del modello.

Questo lavoro affronta due sfide principali:

1. Sfida 1: Come rilevare l'infedeltà del CoT utilizzando evidenze dal processo decisionale interno del modello, invece di affidarsi esclusivamente alla qualità del ragionamento superficiale.
2. Sfida 2: Come sfruttare segnali di interpretabilità interna per il rilevamento senza incorrere nel costo computazionale proibitivo della costruzione di circuiti di ragionamento completi per tracce CoT lunghe.

L'obiettivo è il rilevamento a livello di istanza: determinare se una specifica traiettoria CoT generata $C$ riflette fedelmente il processo di ragionamento interno del modello $R_M(q)$ per una data query $q$.

2. Metodologia: CIE-SCORER

Gli autori propongono il Circuit-guided Internal-External Discrepancy Scorer (CIE-SCORER), un framework che quantifica l'infedeltà misurando la discrepanza tra la traccia di ragionamento visualizzata e la traiettoria computazionale interna del modello.

2.1 Costruzione del Circuito Selezionato per Token

Per affrontare la sfida della scalabilità del tracciamento completo dei circuiti, CIE-SCORER opera a livello di frase piuttosto che a livello di token per l'intera traccia.

• Selezione dei Token: Invece di tracciare tutti i token in una frase di ragionamento, il metodo seleziona un insieme compatto di token informativi. Ciò viene ottenuto combinando:
  • Selezione basata sull'Entropia: Identificazione dei token con alta incertezza (alta entropia), che è probabile portino informazioni rilevanti per il ragionamento.
  • Necessità Controfattuale: Misurazione dell'impatto causale di un token intervenendo su di esso (sostituendolo) e osservando i cambiamenti sia nel contenuto semantico della frase che nella distribuzione predittiva a valle.
• Grafici di Circuito Compressi: Utilizzando i token selezionati come ancoraggi, il metodo costruisce circuiti di attribuzione a livello di frase tramite un modello di sostituzione basato su transcoder. Ciò produce una sequenza di grafici compatti $G^{circ} = (G^{circ}_1, \dots, G^{circ}_T)$ che rappresentano il calcolo interno per ogni passaggio di ragionamento.

2.2 Rappresentazioni Interna ed Esterna

Il framework costruisce due rappresentazioni parallele per la traccia di ragionamento:

• Rappresentazione Interna: La sequenza di grafici di circuito a livello di frase viene codificata in embedding latenti ($X^{int}$) utilizzando una Rete Neurale su Grafico (GNN). Questi embedding catturano la traiettoria computazionale in "scatola bianca" del modello.
• Rappresentazione Esterna: Le frasi di ragionamento visualizzate vengono codificate in embedding ($X^{ext}$) mediando gli stati nascosti da un livello intermedio dell'LLM. Un adattatore MLP leggero proietta questi embedding nella stessa dimensionalità degli embedding interni.

2.3 Punteggio di Discrepanza Grafica

Entrambe le rappresentazioni vengono convertite in grafici di frase a livello di traccia ($G^{int}$ e $G^{ext}$) utilizzando una regola di costruzione condivisa. I nodi rappresentano le frasi di ragionamento e gli archi codificano la progressione temporale e le dipendenze semantiche.

• Distanza Fused Gromov–Wasserstein (FGW): Il punteggio di infedeltà è calcolato come la distanza FGW tra i grafici interno ed esterno. Questa metrica considera congiuntamente:
  • Discrepanza delle Caratteristiche: Se il contenuto di un passaggio visualizzato corrisponde alla sua evidenza computazionale interna.
  • Discrepanza Strutturale: Se le dipendenze tra i passaggi visualizzati corrispondono alla struttura interna del flusso di informazioni.
• Obiettivo di Addestramento: Il modello è addestrato con una loss basata sul margine per minimizzare la distanza FGW per le tracce fedeli e massimizzarla (oltre un margine $m$) per le tracce infedeli.

3. Contributi Chiave

1. Nuova Prospettiva: Questo lavoro formula il rilevamento dell'infedeltà del CoT da una prospettiva di discrepanza interna-esterna guidata da circuiti, rappresentando la prima integrazione del calcolo interno del modello con le tracce di ragionamento esterne per l'analisi a livello di istanza.
2. Framework Efficiente (CIE-SCORER): Gli autori propongono un metodo che esegue il tracciamento di circuiti selezionati per token, comprime i circuiti a livello di frase in embedding e li confronta con le rappresentazioni esterne utilizzando la distanza FGW. Questo approccio evita il costo della costruzione di circuiti completi preservando al contempo i segnali interni chiave.
3. Prestazioni allo Stato dell'Arte: Gli esperimenti su quattro dataset provenienti da FaithCoT-Bench dimostrano che CIE-SCORER supera le basi esistenti, inclusi metodi basati su controfattuali, metodi basati sui logit, approcci LLM-as-Judge e precedenti metodi basati su circuiti (CRV).

4. Risultati Sperimentali

La valutazione è stata condotta su quattro dataset che coprono ragionamento logico, fattuale, matematico e biomedico: LogicQA, TruthfulQA, AQuA e HLE-Bio.

• Prestazioni: CIE-SCORER ha ottenuto i punteggi di Accuratezza e F1 più alti su tutti i dataset. Ad esempio, sul dataset LogicQA, ha migliorato l'Accuratezza di 11,5 punti e l'F1 di 1,4 punti rispetto alla base precedente più forte.
• Efficienza: Rispetto alla base CRV, CIE-SCORER ha ridotto l'uso di picco della memoria del 48,3%–55,2% e i token tracciati del 62,4%–68,6%. Ha inoltre ottenuto riduzioni significative del tempo di esecuzione (ad esempio, il 67,6% su TruthfulQA) migliorando al contempo i punteggi F1.
• Studi di Ablazione: La rimozione della strategia di selezione dei token (utilizzando solo entropia o solo punteggi controfattuali) o la rimozione dell'encoder GNN interno ha portato a cali significativi delle prestazioni, confermando la necessità sia dell'integrazione dei segnali che della modellazione della struttura del grafico.
• Trasferimento Cross-Dominio: Il modello ha dimostrato capacità di trasferimento significative, in particolare tra TruthfulQA e LogicQA, suggerendo che le rappresentazioni interne del grafico apprese catturano segnali di fedeltà generalizzabili.

5. Significato e Affermazioni

Il lavoro afferma che CIE-SCORER affronta efficacemente l'"illusione di trasparenza" del ragionamento CoT combinando esplicitamente segnali di interpretabilità meccanicistica con tracce esterne.

• Differenziazione dei Tipi di Infedeltà: L'analisi rivela che diversi tipi di infedeltà esibiscono modelli di disallineamento distinti. Il ragionamento post-hoc (razionalizzare una risposta pre-determinata) induce principalmente discrepanze a livello di caratteristiche (mismatch di contenuto), mentre le catene di ragionamento spurie (passaggi localmente coerenti ma causalmente interrotti) inducono principalmente discrepanze a livello di struttura (mismatch di dipendenza).
• Scalabilità: Concentrando il tracciamento dei circuiti sui token informativi piuttosto che su tutti i token, il metodo rende l'interpretabilità meccanicistica fattibile per tracce di ragionamento lunghe, superando un collo di bottiglia maggiore negli approcci precedenti.
• Affidabilità: Il framework fornisce un segnale più robusto per l'audit del comportamento del modello rispetto alle metriche a livello superficiale, poiché confronta direttamente la "storia" che il modello racconta (traccia esterna) con il "calcolo" che esegue (circuito interno).

Gli autori notano che il metodo richiede l'accesso agli interni del modello (scatola bianca), limitandone l'applicazione immediata ai modelli open-source o accessibili, e lascia la valutazione su domini diversi e impostazioni multimodali per lavori futuri.