Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

1. Il Problema: La Fiducia Non Verificata

Il paper affronta un problema metodologico fondamentale nell'attuale valutazione dei Large Language Models (LLM): l'uso diffuso dei segnali di fiducia (confidence) per decisioni critiche come l'astensione (abstention), il routing, la sicurezza e l'interazione uomo-macchina.

• L'Assunzione Non Verificata: La letteratura esistente (calibrazione, monitoraggio metacognitivo, predizione selettiva) assume implicitamente che il segnale di fiducia del modello contenga informazioni a livello di singolo item (cioè che il modello sia più sicuro quando ha ragione e meno quando sbaglia).
• La Lacuna: Nessuno verifica questa assunzione prima di costruire metriche downstream. Se un modello produce un segnale di fiducia dominato da uno "stile di risposta" (es. fiducia cieca su tutto o ritiro sistematico), le metriche successive (come AUROC o curve di rischio-copertura) diventano fuorvianti o prive di significato.
• L'Analogia Clinica: L'autore paragona questa situazione alla valutazione della personalità clinica. Strumenti come MMPI-3 e PAI richiedono una screening di validità prima di interpretare le scale cliniche. Se la validità è compromessa, il profilo è considerato non interpretabile. Questo principio viene trasferito agli LLM.

2. Metodologia: Il Protocollo a Due Stadi

Il paper propone un protocollo portabile e indipendente dal benchmark, strutturato in due fasi distinte:

Fase A: Screening di Validità (Obbligatorio)

Prima di qualsiasi analisi sostanziale, il segnale di fiducia deve superare uno screening per determinare se è interpretabile.

• Input: Un set di $N$ item con etichette di correttezza (binarie) e un giudizio di fiducia per ogni item (binario o binarizzabile in Alto/Basso).
• Struttura Dati: Una tabella di contingenza 2x2 (Corretto/Errato vs. Alta/Bassa Fiducia).
• Indici Chiave (Calcolati dalla tabella):
  1. L (Lack of Monitoring/Under-reporting): $P(\text{Alta fiducia} | \text{Errore})$. Misura la tendenza a mantenere alta fiducia anche quando si sbaglia (simile alla scala PIM di PAI o L di MMPI).
  2. Fp (Over-reporting): $P(\text{Bassa fiducia} | \text{Corretto})$. Misura la tendenza a mostrare bassa fiducia su risposte corrette (simile alla scala MAL di PAI o Fp di MMPI).
  3. RBS (Response Bias Scale/Inverted Monitoring): $Fp - (1 - L)$. Indica se il segnale è invertito (bassa fiducia sulle risposte corrette e alta su quelle errate).
  4. TRIN (Structural Indicator): Proporzioni di risposte fisse (alta o bassa). Utile come contesto, ma non da solo causa di invalidità.
  5. $r(\text{confidence, correct})$: Correlazione punto-bisariale tra fiducia e correttezza. Statistica diagnostica fondamentale per verificare la dipendenza a livello di item.

Classificazione a Tre Livelli

Il protocollo classifica il modello in tre categorie, basandosi su soglie conservative e intervalli di confidenza (Wilson Score):

1. Invalid (Non Valido): Violazione chiara delle soglie (es. $L \ge 0.95$, $Fp \ge 0.50$, o $RBS > 0$ con CI che esclude zero). Il segnale è non informativo. Non si devono interpretare le metriche downstream.
2. Indeterminate (Indeterminato): Violazione della soglia puntuale ma l'intervallo di confidenza include valori validi, o valori vicini alla soglia (es. $RBS \approx 0$). Il segnale potrebbe essere debole o instabile. Le metriche possono essere calcolate ma devono essere segnalate con cautela.
3. Valid (Valido): Nessuna violazione delle soglie. Il segnale porta informazioni a livello di item. Si procede alla Fase B.

Fase B: Analisi Sostanziale

Solo se il modello è classificato come Valid, si calcolano le metriche standard di metacognizione (AUROC, ECE, meta-d', curve di selezione, ecc.). Se classificato come Indeterminate, le metriche sono calcolate ma qualificate come potenzialmente attenuate.

3. Contributi Chiave

1. Architettura a Due Stadi: Introduce un flusso di lavoro obbligatorio che separa la verifica della "leggibilità" del segnale (Fase A) dalla sua interpretazione quantitativa (Fase B).
2. Set Minimo di Indici: Definisce un set minimale di indici ($L, Fp, RBS, TRIN, r$) calcolabili da una singola tabella di contingenza, rendendo il protocollo applicabile a qualsiasi benchmark esistente.
3. Sistema di Classificazione a Tre Livelli: Adatta la logica clinica (MMPI-3/PAI/MCMI/Jacobson-Truax) per gestire i casi limite senza forzare una classificazione binaria errata.
4. Tabella di Reporting (VRS Table): Propone un formato standardizzato per riportare i dati di validità insieme a qualsiasi metrica di fiducia, garantendo trasparenza e riproducibilità.
5. Dimostrazione del Fallimento: Mostra come i modelli "Invalid" producano metriche downstream (es. AUROC $\approx 0.5$) che sembrano funzionanti ma sono in realtà rumore, creando una falsa sicurezza nei sistemi di sicurezza.

4. Risultati Sperimentali

Il protocollo è stato validato su 20 modelli LLM all'avanguardia (6 famiglie) su 524 item (10.480 valutazioni totali).

• Classificazione:
  • 4 Modelli Invalid: (es. DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think). Mostrano pattern di fiducia cieca o inversione totale.
  • 2 Modelli Indeterminati: (es. GPT-5.4 nano, Gemma 3 12B).
  • 14 Modelli Valid: (es. Claude Haiku, Gemini 2.5 Pro).
• Analisi della Correlazione:
  • I modelli Valid mostrano una correlazione media positiva significativa tra fiducia e correttezza ($r \approx 0.18$).
  • I modelli Invalid mostrano correlazioni nulle o negative ($r \approx -0.20$), con una differenza statistica significativa ($d = 2.48, p = .001$).
• Stabilità: L'analisi di sottosampling mostra che la classificazione è stabile con 100-150 item per casi chiari, ma instabile per modelli ad alta accuratezza con pochi errori (dove la stima di $L$ oscilla).
• Validazione Cross-Benchmark:
  • Applicato a dati esterni (Yang et al., 2024) e al benchmark MMLU con fiducia verbalizzata.
  • Risultato cruciale: La validità è una proprietà dell'interazione Modello-Prova-Task. Modelli classificati come "Invalid" con probe binari (KEEP/WITHDRAW) sono diventati "Valid" con probe verbali continui (0-100), dimostrando che il formato di elicitation influenza la validità del segnale.

5. Significato e Implicazioni

• Cambiamento di Paradigma: Il paper sostiene che qualsiasi studio sulle metriche di fiducia degli LLM senza screening di validità è metodologicamente incompleto, analogo all'interpretazione di scale cliniche senza verificare le scale di validità.
• Impatto sulla Sicurezza: Senza questo screening, i sistemi di sicurezza basati sulla fiducia (es. astensione automatica) potrebbero fallire catastroficamente, presentando agli utenti le risposte sbagliate con alta sicurezza (come nel caso di DeepSeek-R1 con AUROC = 0.066).
• Indipendenza dal Benchmark: Il protocollo non richiede nuovi dati o benchmark specifici, ma utilizza i dati già raccolti, rendendolo immediatamente applicabile.
• Bias di Addestramento: Il paper nota che l'RLHF (Reinforcement Learning from Human Feedback) può indurre stili di risposta sistematici (es. eccessiva fiducia), rendendo necessarie comparazioni intra-famiglia oltre che inter-famiglia.

In sintesi, Cacioli propone che lo screening di validità non sia un'opzione, ma un prerequisito obbligatorio per qualsiasi ricerca o deployment che utilizzi segnali di fiducia degli LLM, garantendo che le metriche downstream abbiano un fondamento reale e non siano artefatti statistici.