Sintesi Tecnica: Diagnosi delle Sonde di Correttezza sotto il Confondimento del Giudizio di Sé

Definizione del Problema

Le letture degli stati nascosti nei Large Language Models (LLM) possono predire se gli output del modello siano fattualmente corretti. Tuttavia, esiste un'ambiguità semantica critica: la correttezza oggettiva (OC) — ovvero se una risposta sia allineata con una verità esterna di riferimento — tipicamente correla fortemente con il giudizio di sé (SJ) del modello — ovvero se il modello creda che la propria risposta sia corretta. Poiché queste variabili solitamente concordano, i convenzionali contrasti etichettati per correttezza (ad esempio, confrontare risposte corrette rispetto a errate) spesso confondono i correlati neurali della verità esterna con la posizione valutativa interna del modello.

La domanda centrale è se una "direzione della verità" trasferibile, estratta dagli stati nascosti, rappresenti la relazione tra una risposta e la verità esterna, o semplicemente la valutazione che il modello fa di quella risposta. Studi precedenti hanno dimostrato che le direzioni legate alla verità possono trasferirsi tra task e trasformazioni logiche, ma la sola riutilizzabilità non identifica la variabile specifica che una lettura rappresenta. Questa ambiguità è particolarmente problematica quando OC e SJ sono in disaccordo, poiché le sonde standard possono involontariamente apprendere a predire la confidenza o l'approvazione del modello piuttosto che l'accuratezza fattuale.

Metodologia

Design Sperimentale: Il Set di Conflitto

Per disgiungere OC e SJ, gli autori costruiscono un "set di conflitto" incrociando queste due variabili binarie, creando quattro tipi di risposta:

• A (1,1): Oggettivamente Corretta, Auto-approvata.
• B (1,0): Oggettivamente Corretta, Auto-rifiutata (Falso Negativo).
• C (0,1): Oggettivamente Errata, Auto-approvata (Falso Positivo).
• D (0,0): Oggettivamente Errata, Auto-rifiutata.

Il confronto diagnostico critico è tra B e C. Una direzione associata a OC dovrebbe classificare B (corretta) sopra C (errata). Al contrario, una direzione associata a SJ dovrebbe classificare C (approvata) sopra B (rifiutata).

Decomposizione Fattoriale

Gli autori propongono una decomposizione fattoriale del classico contrasto misto ($W_{mix} = \mu_A - \mu_D$) in due effetti principali ortogonali:

1. $W_{meta}$ (associata a SJ): $[(\mu_A - \mu_B) + (\mu_C - \mu_D)] / 2$. Questa cattura l'effetto marginale del giudizio di sé del modello.
2. $W_{truth}$ (associata a OC): $[(\mu_A - \mu_C) + (\mu_B - \mu_D)] / 2$. Questa cattura l'effetto marginale della correttezza oggettiva.

Sotto un modello associativo lineare, $W_{mix}$ è la somma di questi due componenti. Lo studio valuta quale componente preserva la propria polarità semantica (classifica) quando trasferita tra domini.

Dati e Modelli

• Modelli: Quattro LLM istruiti tramite istruzioni (instruction-tuned) fino a 14 miliardi di parametri (Qwen2.5-7B/14B, Llama-3.1-8B, OLMo-3-7B).
• Domini:
  • Sorgente: Ragionamento matematico (Math) e Recupero fattuale (Movies).
  • Target (Out-of-Distribution): MMLU (scelta multipla a 4 opzioni) e TruthfulQA binaria.
• Procedura:
  1. Generare molteplici risposte per ogni domanda.
  2. Filtrare per "coppie rigorose": domande in cui il modello produce almeno una risposta corretta e una errata, ed entrambe sono giudicate con alta confidenza ($p_{judge} \ge 0.7$ o $\le 0.3$).
  3. Estrarre gli stati nascosti al token della risposta finale.
  4. Adattare le direzioni sui domini sorgente e valutarle sui domi target senza nuovo adattamento (zero-target-fitting).
  5. Misurare le prestazioni utilizzando l'Area Sotto la Curva (AUC) per la classificazione delle coppie di conflitto (B vs. C).

Risultati Chiave

1. Le Sonde Convenzionali Seguono il Giudizio di Sé

Nell'Esperimento 1, la direzione mista standard ($W_{mix}$) è stata valutata sui conflitti B/C. Contrariamente all'aspettativa che avrebbe dato priorità alla correttezza oggettiva, $W_{mix}$ ha costantemente classificato C (errata/auto-approvata) sopra B (corretta/auto-rifiutata). Ciò è rimasto valido anche per una direzione di controllo "solo OC" adattata senza etichette SJ, suggerendo che le sonde di correttezza standard sono dominate dalla posizione valutativa del modello piuttosto che dalla verità di riferimento.

2. Trasferibilità Asimmetrica

Nell'Esperimento 2B (trasferimento cross-dominio), gli autori hanno testato se $W_{meta}$ e $W_{truth}$ preservano i loro ranking attesi nei domini target:

• $W_{meta}$ (associata a SJ): Si è trasferita con successo attraverso tutti i modelli e le direzioni (Math $\leftrightarrow$ Movies, e verso MMLU/TruthfulQA). Ha classificato costantemente C sopra B con AUC significativamente superiori al caso (0.57–0.93).
• $W_{truth}$ (associata a OC): Non si è trasferita. In quasi tutte le condizioni, la direzione associata a OC ha classificato C sopra B (AUC < 0.5), invertendo effettivamente l'ordine atteso. Non ha preservato la semantica di "correttezza" nel dominio target.

3. Robustezza e Controlli

I risultati sono stati robusti attraverso molteplici controlli:

• Profondità dello Strato: L'asimmetria di trasferimento emerge negli strati medi-tardivi (profondità normalizzata 0.40–0.80).
• Controlli Nulli: Direzioni casuali e controlli con etichette rimescolate non hanno replicato il pattern.
• Fattori di Confondimento: I risultati sono persistiti dopo aver controllato il numero di token della risposta, la log-probabilità della risposta e l'identità dell'opzione di risposta nei compiti a scelta forzata.
• Generalizzazione OOD: Il segnale associato a SJ si è trasferito a MMLU e TruthfulQA senza alcun adattamento della direzione su quei dataset specifici.

Contributi Principali

1. Diagnosi Semantica delle Letture: Il paper fornisce un metodo per distinguere se una lettura trasferibile rappresenti la verità oggettiva o l'auto-valutazione del modello, sfruttando i casi in cui queste variabili sono in conflitto.
2. Identificazione del Confondimento: Dimostra che le "direzioni della verità" trovate nella letteratura precedente sono spesso confuse dal giudizio di sé del modello. Quando OC e SJ sono in disaccordo, il segnale che si trasferisce è quello associato all'approvazione del modello, non alla verità esterna.
3. Framework di Decomposizione Fattoriale: L'introduzione di $W_{meta}$ e $W_{truth}$ come componenti distinti e stimabili offre un modo rigoroso per separare questi segnali semantici nell'analisi degli stati nascosti.

Significato e Rivendicazioni

Il paper conclude che la sola trasferibilità è insufficiente per stabilire la semantica della correttezza oggettiva nelle letture degli LLM. Sebbene una direzione possa generalizzare tra i task, essa può tracciare la confidenza interna o la posizione valutativa del modello piuttosto che la verità fattuale.

• Interpretazione: La componente più affidabilmente trasferibile nelle sonde di correttezza è quella associata al Giudizio di Sé (SJ). Ciò suggerisce che i modelli possiedano una rappresentazione interna robusta della propria certezza o "approvazione" di una risposta, che è distinta da e spesso prevale sulla rappresentazione della verità oggettiva in scenari di conflitto.
• Implicazione: Le affermazioni secondo cui gli LLM abbiano un "accesso introspezione privilegiato" o che specifici stati nascosti codifichino la "verità" devono essere rivalutate. Se una sonda predice la correttezza ma fallisce quando il modello è con decisione errato, sta probabilmente misurando la convinzione del modello sul proprio output piuttosto che la validità fattuale dell'output stesso.
• Ambito: Gli autori notano che il loro campione diagnostico è limitato a giudizi ad alta confidenza e a specifici modelli istruiti tramite istruzioni. Non pretendono di aver risolto il problema della rilevazione della verità, ma piuttosto di aver diagnosticato un'ambiguità fondamentale nelle attuali metodologie di probing. I risultati suggeriscono che il lavoro futuro sulla veridicità debba esplicitamente tenere conto e separare i segnali di auto-valutazione del modello dalla correttezza oggettiva.