Riepilogo Tecnico: Audit di Grounding Interventivo per il Chain-of-Thought di LLM

Problema

I Large Language Models (LLM) generano frequentemente un ragionamento Chain-of-Thought (CoT) che appare logicamente solido ma che non dipende realmente dalle premesse che dichiara di utilizzare. Mentre i metodi di valutazione passiva (ad esempio, self-consistency, analisi dell'attenzione) possono verificare la correttezza della risposta o la stabilità dell'output, non sono in grado di distinguere tra una genuina dipendenza logica e una mera correlazione. Di conseguenza, i modelli possono produrre scenari di tipo "Right Answers, Wrong Reasoning" (RAWR - Risposte Corrette, Ragionamento Errato), in cui una conclusione corretta viene raggiunta nonostante i passaggi intermedi siano insensibili alle specifiche premesse richieste dall'albero di prova della verità fondamentale. Questo articolo affronta la necessità di un test black-box, a livello di singolo passaggio, per verificare se un passaggio di ragionamento dipenda causalmente dalle sue premesse dichiarate.

Metodologia: Audit di Grounding Interventivo

Gli autori propongono gli Interventional Grounding Audits, un protocollo black-box che interviene sulle premesse di input per osservare i cambiamenti nei passaggi di ragionamento. Il metodo opera su due livelli: un livello di osservazione (testo grezzo dell'LLM) e un livello concettuale (proposizioni normalizzate).

1. Protocollo Core

Per un dato problema con premesse $\{P_1, \dots, P_k\}$ e un CoT con passaggi $\{S_1, \dots, S_n\}$, l'audit testa la dipendenza del passaggio $S_i$ dalla premessa $P_j$ tramite Sostituzione di Predicato:

• Semantic Probe (Sonda Semantica): Il predicato target in una premessa viene sostituito con un simbolo nuovo e inventato (ad esempio, sostituendo "tumpus" con "zqfumpus").
• Surface Probe (Sola Controllo): La premessa viene riformulata senza alterarne il contenuto logico (ad esempio, "Tutti gli X sono Y" $\to$ "Ogni X è un Y") per distinguere la dipendenza logica dalla sensibilità superficiale.
• Normalizzazione: Le conclusioni dei passaggi vengono analizzate in forme canoniche (ad esempio, is(e, p) o subtype(p1, p2)) per filtrare le variazioni di fraseggio irrilevanti.

2. Strategie di Sostituzione

• Sostituzione Consistente: Sostituisce il predicato in tutte le premesse. Questo preserva la coerenza della catena e rileva le dipendenze determinanti del predicato.
• Sostituzione Locale: Sostituisce il predicato solo nella premessa target $P_j$. Questo interrompe la catena per rilevare le dipendenze transitive, incluse le premesse strutturali (ad esempio, l'introduzione di entità), ma rischia di generare falsi positivi a cascata.

3. Filtro a Cascata

Per affrontare i falsi positivi nella sostituzione locale (dove un cambiamento in $P_j$ si propaga a tutti i passaggi successivi $S_{i+1} \dots S_n$), viene applicato un filtro a cascata. Se il passaggio $S_{i-1}$ è già stato determinato come grounded rispetto a $P_j$, allora $S_i$ viene riclassificato come un effetto "CASCADE" piuttosto che una dipendenza diretta, recuperando precisione pur mantenendo la recall.

4. Sistema di Verdetto

Ogni coppia $(S_i, P_j)$ riceve un verdetto a cinque valori:

• GROUNDED (Fondato): La conclusione cambia sotto la sonda semantica ma non sotto la sonda superficiale.
• INSENSITIVE (Insensibile): La conclusione rimane invariata nonostante la premessa venga citata.
• INPUT-SENSITIVE (Sensibile all'input): La conclusione cambia sotto entrambe le sonde.
• UNSTABLE (Instabile): La conclusione cambia solo sotto la sonda superficiale.
• UNPARSEABLE (Non analizzabile): Fallimento della parsing.

Contributi Chiave

1. Protocollo Interventivo: Un nuovo metodo black-box per rilevare dipendenze causali a livello di premessa con un punteggio F1 di 0,806 (superando significativamente la self-consistency con F1 = 0,343).
2. Rilevamento a Doppia Strategia: La combinazione delle strategie di sostituzione consistente e locale, unitamente al filtro a cascata, raggiunge le prestazioni più elevate (F1 = 0,819), distinguendo tra dipendenze dirette e transitive.
3. Valutazione Verificabile tramite Artefatti: Un framework completamente riproducibile dove ogni certificato di audit include gli output originali e quelli sondati con checksum SHA256, verificati da un validatore automatizzato.
4. Identificazione del RAWR: Il metodo identifica che il 66% dei problemi risolti correttamente contiene almeno un passaggio che è insensibile a una dipendenza diretta dell'albero di prova (specificamente riguardante le premesse di introduzione delle entità), un segnale invisibile ai metodi passivi.

Risultati Sperimentali

Valutato su ProntoQA (50 problemi deduttivi multi-hop sintetici) utilizzando GPT-4o (temperatura: 0):

• Performance: Il metodo raggiunge un F1 = 0,806 su tutte le dipendenze e un F1 = 0,885 sulle dipendenze determinanti del predicato (Recall = 100%).
• Confronto con Baseline: La self-consistency raggiunge solo un F1 = 0,343, fallendo principalmente nella precisione (0,226) perché non riesce a identificare quali premesse un passaggio dipenda.
• Tasso RAWR: 33 su 50 problemi risolti correttamente (66%) esibivano il fenomeno RAWR. Tutti tali casi coinvolgevano premesse strutturali di introduzione delle entità, un punto cieco noto per la sola sostituzione consistente.
• Validazione Cross-Model: Applicato a Claude Sonnet 4.5, l'audit ha raggiunto un F1 = 0,872 con precisione perfetta (P = 1,000), confermando la trasferibilità del metodo, sebbene il tasso RAWR si sia saturato a causa dello stile di riformulazione uniforme del modello.
• Ablation: Il filtro a cascata è stato critico, migliorando la precisione da 0,604 a 0,756 correggendo i falsi positivi indotti dalla propagazione.

Significato e Rivendicazioni

L'articolo sostiene di fornire il primo test causale a livello di passaggio per la dipendenza dalle premesse nel ragionamento degli LLM. A differenza del lavoro precedente che si concentra sull'accordo della risposta o l'intervento sulla rappresentazione interna, questo approccio interviene sugli input per verificare il grounding logico.

• Rilevamento di "Right Answer, Wrong Reasoning": Lo studio rivela che alti punteggi di self-consistency non garantiscono l'integrità logica; i modelli possono arrivare a risposte corrette tramite percorsi di ragionamento che ignorano le premesse dichiarate.
• Identificazione del Punto Cieco: L'audit espone una vulnerabilità specifica in cui i modelli citano premesse di introduzione delle entità (ad esempio, "Rex è un bunpus") come giustificazione pur rimanendo logicamente insensibili ad esse sotto sostituzione.
• Ambito e Limitazioni: Gli autori riconoscono che i risultati sono attualmente validati su benchmark formali e sintetici (ProntoQA). La generalizzazione a benchmark di linguaggio naturale (ad esempio, FOLIO, ProofWriter) richiede strategie di normalizzazione adattate. La dimensione del dataset (50 problemi) è modesta, sebbene gli intervalli di confidenza bootstrap confermino la significatività statistica.
• Riproducibilità: Tutti i dati, inclusi gli output grezzi del modello, i certificati di audit e gli script di riproduzione, sono pubblicamente disponibili, consentendo la verifica indipendente senza accesso alle API.

Il lavoro estende un framework di grounding a due livelli precedentemente utilizzato per la sicurezza degli agenti al dominio dell'integrità del ragionamento, offrendo uno strumento rigoroso per audit della fedeltà logica della generazione CoT degli LLM.