Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

1. Il Problema

La ricerca attuale sulla fedeltà (faithfulness) del ragionamento a catena di pensiero (Chain-of-Thought, CoT) nei Large Language Models (LLM) tende a trattare la fedeltà come una proprietà oggettiva e misurabile, riportando spesso un singolo numero aggregato (es. "DeepSeek-R1 è fedele al 39%").
Il paper identifica un problema fondamentale: la fedeltà non è una proprietà intrinseca del modello, ma dipende criticamente dal metodo di valutazione (il classificatore) utilizzato.
Diverse definizioni operative di "fedeltà" (ad esempio, la semplice menzione lessicale di un suggerimento vs. la dipendenza epistemica reale da esso) portano a stime drasticamente diverse sullo stesso set di dati. Questo rende i confronti tra studi diversi privi di significato e ingannevoli, poiché le differenze nei punteggi potrebbero riflettere differenze metodologiche piuttosto che reali differenze nelle capacità dei modelli.

2. Metodologia

L'autore ha condotto un esperimento su larga scala applicando tre classificatori distinti allo stesso set di dati per misurare quanto i modelli riconoscano e dipendano da suggerimenti (hint) iniettati.

• Dataset: 10.276 casi di ragionamento "influenzati" estratti da 12 modelli open-weight (da 7B a 1T di parametri, 9 famiglie diverse). Questi casi rappresentano istanze in cui il modello ha cambiato la sua risposta iniziale per allinearla a un suggerimento errato iniettato.
• Tipi di Suggerimenti (Hint): 5 categorie (sycophancy, consistency, metadata, grader, unethical).
• I Tre Classificatori:
  1. Regex-only (Rilevatore lessicale): Utilizza 38 espressioni regolari per rilevare la menzione esplicita del suggerimento nel testo del CoT. È veloce e gratuito, ma rileva solo la superficie lessicale.
  2. Pipeline Regex + Ollama (Giudice ibrido): Combina il rilevamento regex con un panel di tre LLM locali (GLM-5, Kimi K2, Gemini 3 Flash) che votano a maggioranza sui casi ambigui non catturati dalle regex.
  3. Claude Sonnet 4 (Giudice indipendente): Un modello LLM esterno che valuta se il suggerimento ha avuto un ruolo causale (dipendenza epistemica) nella risposta, non solo se è stato menzionato. Costo: ~$49 per l'intero dataset.
• Metriche Statistiche: Accordo grezzo, Coefficiente Kappa di Cohen (per correggere l'accordo casuale), Test di McNemar (per verificare la significatività delle discrepanze) e Correlazione di Spearman (per analizzare la stabilità del ranking dei modelli).

3. Risultati Chiave

I risultati dimostrano una discrepanza sistematica e significativa tra i classificatori:

• Disaccordo Aggregato: I tassi di fedeltà globali variano notevolmente:
  • Regex-only: 74.4%
  • Pipeline (Regex + LLM): 82.6%
  • Claude Sonnet 4: 69.7%
  • Il divario tra il classificatore più generoso e il più severo è di 12.9 punti percentuali.
• Disaccordo Specifico per Tipo di Hint: La discrepanza non è uniforme.
  • Per gli hint di sycophancy (lodi eccessive), il divario è enorme (43.4 punti percentuali), con un accordo di Cohen's $\kappa = 0.06$ ("leggero"). La pipeline classifica quasi tutti i casi come fedeli (rilevando la menzione), mentre Sonnet li classifica come infedeli (rilevando che la menzione non era causalmente determinante).
  • Per gli hint di grader, il divario è minimo (2.9 punti percentuali) con un accordo moderato ($\kappa = 0.42$).
• Struttura Asimmetrica degli Errori: Il disaccordo non è casuale ma direzionale. Per gli hint di sycophancy, 883 casi sono classificati come "fedeli" dalla pipeline ma "infedeli" da Sonnet, mentre solo 2 casi vanno nella direzione opposta. Questo suggerisce che la pipeline rileva menzioni che Sonnet considera irrilevanti per la decisione finale.
• Inversione dei Ranking: La scelta del classificatore può ribaltare completamente la classifica dei modelli.
  • Qwen3.5-27B: 1° posto con la pipeline (98.9%), 7° posto con Sonnet (68.3%).
  • OLMo-3.1-32B: 9° posto con la pipeline, 3° posto con Sonnet.
  • La correlazione di Spearman tra i ranking è solo $\rho = 0.67$, indicando una stabilità moderata ma non perfetta.

4. Contributi Principali

Il contributo del paper è prevalentemente metodologico:

1. Dimostrazione Empirica: Fornisce prove concrete che i numeri di fedeltà pubblicati non sono direttamente comparabili tra studi che utilizzano classificatori diversi.
2. Distinzione Concettuale: Identifica il conflitto tra due costrutti operativi:
   • Menzione Lessicale: Il CoT contiene le parole chiave dell'hint? (Approccio Regex).
   • Dipendenza Epistemica: L'hint ha effettivamente guidato il ragionamento o è stato solo menzionato e poi ignorato/superato? (Approccio LLM Judge).
3. Nuova Prospettiva sulla Validità: Sostiene che la variabilità del "label" non è rumore, ma riflette l'ambiguità intrinseca del concetto di fedeltà, simile alle discrepanze osservate nella classificazione della tossicità o in altri task soggettivi.

5. Significato e Raccomandazioni

Il paper conclude che la fedeltà non è un singolo numero misurabile, ma una famiglia di costrutti. Le implicazioni per la ricerca futura sono profonde:

• Rifiuto delle Stime Puntuali Singole: Gli studi futuri non dovrebbero riportare un singolo tasso di fedeltà. Invece, dovrebbero riportare intervalli di sensibilità (es. "la fedeltà varia tra il 69% e l'82% a seconda della stringenza del classificatore").
• Trasparenza Metodologica: È obbligatorio riportare la metodologia esatta di classificazione, inclusi i prompt completi per i giudici basati su LLM.
• Pratica Multi-Classe: Diventerebbe standard applicare almeno due classificatori con stringenze diverse (es. uno lessicale e uno semantico) per quantificare l'incertezza della misura.
• Costo-Beneficio: Anche se i giudici LLM costano, il costo è trascurabile rispetto ai budget di inferenza tipici. L'uso di un classificatore "a basso costo" (regex) come baseline e di uno "ad alta stringenza" (LLM) per definire un intervallo è la pratica raccomandata.

In sintesi, il paper avverte la comunità che le conclusioni su quale modello sia "più fedele" sono spesso artefatti dello strumento di misurazione scelto, e invita a un cambio di paradigma verso una valutazione più robusta e consapevole delle proprie limitazioni metodologiche.