Riepilogo Tecnico: Misurazione della Fiducia in Scatola Nera tramite Traiettorie di Ragionamento

Enunciato del Problema

Una stima affidabile della fiducia è un prerequisito per il deployment sicuro del ragionamento a Catena di Pensiero (CoT) tramite API basate solo su testo, dove non è disponibile l'accesso a logit, stati nascosti o meccanismi di recupero interni. La baseline in scatola nera dominante, la coerenza interna (campionamento di $K$ CoT e utilizzo della concentrazione dei voti come segnale di fiducia), soffre di tre limitazioni primarie:

1. Costo Lineare: Richiede il campionamento di $K$ tracce, rendendola linearmente costosa in funzione di $K$.
2. Cecità Geometrica: Ignora la geometria interna della traccia di ragionamento, trattando la traccia meramente come un mezzo per una risposta finale.
3. Risoluzione Discreta: Produce un punteggio di fiducia discreto ($k/K$), che manca di risoluzione per piccoli valori di $K$ e non può classificare efficacemente i pareggi.

Questo articolo indaga un segnale alternativo: la traiettoria della CoT stessa. Gli autori propongono di misurare come l'incorporazione (embedding) di una traccia di ragionamento converge verso ancoraggi di risposta esterni, mirando a derivare un punteggio di fiducia continuo dal solo testo senza accesso agli interni del modello.

Metodologia

Il framework proposto scompone la fiducia in scatola nera in tre canali complementari: Copertura (C), Geometria (G) e Verbalizzazione (V).

1. Il Canale Geometrico (G)

Questo canale misura l'"impegno spaziale all'interno della traccia" di una CoT verso un ancoraggio di risposta esterno.

• Costruzione della Traiettoria: Una CoT è incorporata come una traiettoria di finestre scorrevoli sovrapposte ($W=30$ parole, passo $S=15$) utilizzando un modello di incorporamento fisso $\phi$.
• Ancoraggi Esterni: Nel protocollo accecato, il generatore ragiona senza vedere l'elenco delle opzioni. I testi delle opzioni sono incorporati esternamente come ancoraggi fissi.
• Punteggio: Il metodo calcola la distanza coseno dalla finestra penultima della traccia a ciascun ancoraggio di opzione. La "scelta" è l'ancoraggio con la distanza media minima.
• Calibrazione: Un modello softmax a un parametro mappa queste distanze in una probabilità di fiducia:
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$$
  dove $\hat{\beta}_{\text{all}}$ è adattato tramite massima verosimiglianza. Un $\hat{\beta}$ fortemente negativo indica che ancoraggi più vicini sono più probabili di essere corretti.
• Selezione della Finestra Penultima: L'analisi empirica rivela che il segnale di calibrazione raggiunge il picco nella finestra penultima. La finestra finale contiene spesso la verbalizzazione letterale della risposta, che si allinea con la risposta scelta dal modello piuttosto che con la risposta dorata (gold), causando l'inversione del segnale ( $\hat{\beta}$ positivo) in benchmark specifici come GPQA Diamond.

2. La Scomposizione a Tre Canali

Per affrontare il limite strutturale in cui una traccia potrebbe non raggiungere mai l'ipotesi corretta, gli autori introducono un regime a scopo aperto con una configurazione Propositore/Giudice:

• Copertura (C): Un prior mediato da un giudice che misura se l'ipotesi corretta è raggiungibile in assoluto. Utilizza un LLM propositore per generare un pool di ipotesi e un LLM giudice per valutare la raggiungibilità. Questo agisce come un segnale di difficoltà della domanda.
• Geometria (G): Come definito sopra, ma utilizzando le ipotesi generate dal propositore come ancoraggi invece delle opzioni fisse del dataset.
• Verbalizzazione (V): Al generatore viene mostrata la propria CoT e gli viene chiesto di fornire una valutazione numerica autonoma (0–100) della propria fiducia.

Fusione: I tre canali sono fusi tramite una regressione logistica per produrre un punteggio di fiducia finale.

Contributi Chiave

1. Punteggio di Fiducia in Traiettoria in Scatola Nera: Un metodo per mappare $(\text{testo}, \text{incorporatore}, \text{insieme di ancoraggi})$ in un punteggio di fiducia continuo utilizzando un softmax a un parametro su incorporamenti di finestre scorrevoli. Il segno e la significatività della pendenza adattata ($\hat{\beta}$) si replicano attraverso tre diversi incorporatori (Gemini, OpenAI, E5), tre ragionatori e tre benchmark.
2. Firma di Impegno in Fase Avanzata della Traccia: Gli autori identificano una firma meccanica in cui il segnale geometrico è più profondo ( $\hat{\beta}$ più negativo) nella finestra penultima e si inverte nella finestra terminale su GPQA Diamond. Questo valida la finestra penultima come una posizione di punteggio robusta che cattura l'impegno verso la risposta prima della verbalizzazione letterale.
3. Scomposizione Asimmetrica a Tre Canali:
   • Copertura (C) e Geometria (G) portano segnali indipendenti in quasi tutte le impostazioni (18/18 e 16/18 combinazioni, rispettivamente).
   • Verbalizzazione (V) contribuisce con un segnale residuo unico solo in 6/18 impostazioni, agendo come un canale metacognitivo a cancello piuttosto che come un pilastro universale.
   • La fusione di C+G+V a $K=4$ migliora in senso paretiano la coerenza interna a $K=8$ in tutte e sei le impostazioni a insieme chiuso (mediana $\Delta \text{AUC} = +0.075$).

Risultati

Il documento valuta il metodo su MedQA-USMLE, GPQA Diamond e MMLU-Pro utilizzando Gemini 3.1 Pro e Claude Sonnet 4.6.

• Segnale Geometrico: La singola caratteristica geometrica (G) raggiunge un AUC di predizione selettiva di 0.71–0.82 nei protocolli accecati, superando significativamente la coerenza interna in 9/10 combinazioni benchmark-modello quando il budget è matched.
• Guadagno di Fusione: Il punteggio fuso C+G+V a $K=4$ supera la coerenza interna a $K=8$ (SC@8) in tutte e sei le impostazioni a insieme chiuso.
  • Mediana $\Delta \text{AUC} = +0.075$ (Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$).
  • Il guadagno persiste anche quando la risposta scelta è fissata alla scelta pluralitaria SC@8, confermando che il miglioramento è dovuto a una migliore calibrazione e non al cambio di risposta.
• Robustezza:
  • I risultati valgono per diversi incorporatori (incluso E5-large-v2).
  • Sostituire l'LLM giudice (da GPT-5-mini a Claude Sonnet 4.6) lascia invariato l'AUC solo Geometria ($|\Delta| \le 0.013$) e sposta l'AUC solo Copertura al massimo di $\pm 0.02$, indicando che i segnali non sono artefatti di un singolo fornitore.
  • Il metodo è robusto alla progettazione degli ancoraggi; l'uso di ancoraggi basati sulle opzioni del dataset è critico, mentre gli ancoraggi derivati dall'output del proprio modello collassano a prestazioni vicine al caso.

Significato e Affermazioni

Il documento afferma che la fiducia CoT in scatola nera può essere letta più affidabilmente dalla convergenza geometrica di una traccia nello spazio di incorporamento rispetto all'accordo sui voti campionati, ottenendo questo a un costo di campionamento inferiore e senza accesso a logit o stati nascosti.

I punti chiave enfatizzati dagli autori:

• Struttura sopra il Campionamento: La fiducia è un segnale strutturato composto da canali distinti (raggiungibilità, impegno, auto-valutazione) piuttosto che un singolo scalare.
• Insight Meccanico: Il segnale geometrico raggiunge il picco prima che il modello verbalizzi letteralmente la sua risposta, suggerendo che l'"impegno verso la risposta" è una fase distinta nella traiettoria di ragionamento che può essere rilevata tramite la dinamica dello spazio di incorporamento.
• Efficienza Pratica: La fusione di C+G+V a $K=4$ fornisce una migliore calibrazione rispetto a SC@8 riducendo contemporaneamente il costo totale delle API di circa il 51% (a causa di un minor numero di chiamate di generazione e dell'efficienza del passaggio di incorporamento).
• Limitazioni: Gli autori notano modestamente che il canale di Copertura è mediato da un giudice LLM (introducendo potenziali prior del giudice), la Verbalizzazione non è universalmente utile, e nessun punteggio all'interno della traccia può recuperare un'ipotesi corretta se il modello non l'ha mai proposta (il "limite strutturale").

Il lavoro fornisce un primitivo di fiducia a livello di traccia per pipeline che richiedono accesso in scatola nera, abilitando un'astensione più sicura e una predizione selettiva in domini ad alto rischio come il supporto alle decisioni cliniche.