Epistemic Observability in Language Models

Titolo: Osservabilità Epistemica nei Modelli Linguistici

Autore: Tony Mason
Data: Marzo 2026

1. Il Problema: L'Inversione della Fiducia e il Divario Osservativo

Il paper parte da una scoperta critica che minaccia la sicurezza dei sistemi basati su Large Language Models (LLM): i modelli riportano la massima fiducia esattamente quando stanno fabbricando informazioni (allucinazioni).

• Il Fenomeno: Su quattro famiglie di modelli (OLMo-3, Llama-3.1, Qwen3, Mistral), la fiducia auto-dichiarata dal modello è inversamente correlata alla precisione. Mentre le risposte corrette su fatti noti generano una fiducia moderata, le risposte inventate (plausibili ma false) generano una fiducia estremamente alta.
• Metriche: L'Area sotto la curva ROC (AUC) per distinguere la verità dalla menzogna basandosi sulla fiducia auto-dichiarata varia tra 0.28 e 0.36 (dove 0.5 è il caso casuale). Questo indica che la fiducia auto-dichiarata è un segnale peggiore del caso.
• Il Nucleo del Problema: Il problema non è una mancanza di capacità del modello (non è che il modello "non sappia" se sta mentendo), ma un divario osservativo. L'interfaccia standard (testo-only) non espone i segnali interni necessari a un supervisore per distinguere una generazione fondata da una plausibile fabbricazione.

2. Metodologia e Quadri Teorici

L'approccio combina dimostrazioni formali (impossibilità) con validazione empirica su un'interfaccia tensoriale.

A. Risultati di Impossibilità (Teoremi)

Gli autori provano formalmente che, sotto l'ipotesi di un'osservazione basata solo sul testo, l'onestà epistemica è irraggiungibile per un supervisore limitato.

1. Impossibilità Rappresentativa (Teorema 1): Dimostrano che qualsiasi politica che condiziona solo sulla query (senza accesso allo stato del mondo reale) non può soddisfare l'onestà epistemica in stati ambigui. Se una query è risolvibile in un mondo $W_A$ ma non in $W_B$, il modello deve produrre risposte diverse, ma poiché vede solo la query, non può distinguere i due stati.
2. Impossibilità di Apprendibilità (Teorema 2): Anche con l'uso di Retrieval-Augmented Generation (RAG), un supervisore con budget di verifica limitato non può fornire un segnale di ricompensa sufficiente per apprendere un comportamento onesto. Se il costo di verificare una fabbricazione plausibile supera il budget, il supervisore non può distinguere tra una risposta vera e una falsa, rendendo impossibile l'apprendimento della distinzione.
3. Lemma di Monotonia Osservativa: L'aggiunta di più livelli di giudici (stacking) basati solo sul testo non risolve il problema, poiché ogni livello successivo riceve solo una funzione deterministica dell'output del precedente, senza guadagnare nuova informazione epistemica.

B. L'Interfaccia Tensoriale (La Soluzione)

Per uscire dall'impossibilità, gli autori propongono di esportare i prodotti secondari computazionali del modello, che sono strutturalmente accoppiati alla correttezza della generazione sotto training standard:

• Entropia per token: Misura l'incertezza della distribuzione di probabilità del modello per ogni token generato.
• Distribuzioni di log-probabilità: Le probabilità assegnate ai token generati.
• Sintesi dell'attenzione: Coerenza dei pattern di attenzione.

L'ipotesi è che, sotto training standard, un modello non possa manipolare l'entropia o i log-prob senza influenzare la correttezza del testo generato, rendendo questi segnali più robusti rispetto al testo stesso (che può essere "addestrato" a sembrare sicuro).

3. Contributi Chiave

Il paper offre tre contributi principali:

1. Dimostrazione di Impossibilità: Una prova formale che l'osservazione "testo-only" è architetturalmente insufficiente per verificare l'onestà epistemica, indipendentemente dalla scala del modello o dal fine-tuning (RLHF).
2. Interfaccia Tensoriale: Un nuovo protocollo di interfaccia che esporta segnali interni (entropia, log-prob) insieme al testo, permettendo una verifica che supera i limiti dell'osservazione testuale.
3. Superficie dei Costi Empirica (Cost Surface): Una mappa pratica che collega il budget di verifica (percentuale di query controllate) alla precisione del sistema per diverse strategie di giudizio, fornendo ai costruttori di sistemi uno strumento decisionale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 200 query (100 fattibili, 100 non fattibili/fabbricate) su quattro architetture diverse.

• Baseline (Nessun giudice): Accuratezza del 75.8%.
• Giudice guidato dal testo (Lunghezza): Migliora l'accuratezza fino all'87.6% con un budget del 30%, ma è un segnale debole e facilmente manipolabile.
• Giudice guidato dal Tensor (Entropia):
  • Raggiunge un'AUC poolata di 0.757, superando significativamente tutte le baselines testuali.
  • Supera le baselines testuali di 2.5–3.9 punti percentuali a ogni livello di budget (10%, 20%, 30%).
  • Con un budget del 30%, l'accuratezza sale al 90.2%.
• Giudice Composto (Entropia + Lookup): Combinando l'entropia per le query generali e un controllo di esistenza delle citazioni per le query specifiche, si raggiunge il 91.8% di accuratezza.
• Generalizzazione: Il segnale di entropia si generalizza attraverso diverse architetture (Spearman $\rho = 0.762$), indicando che è una proprietà architetturale e non un artefatto di un singolo modello.

Nota sui Fallimenti: L'entropia mostra un'inversione nelle citazioni (le citazioni false sono generate con bassa entropia perché il modello è fluente nel formato, mentre quelle vere richiedono recupero e hanno alta entropia). Questo conferma la necessità di un approccio composito (diversi segnali per diversi tipi di fallimento).

5. Significato e Implicazioni

Il paper ribalta la narrazione comune sulla sicurezza degli LLM:

• Non è un problema di capacità, ma di osservabilità: I modelli non devono diventare "più onesti" internamente, ma devono esporre i segnali interni che già possiedono.
• Limiti della Governance: C'è un rischio di opacità crescente. Se i provider dei modelli chiudono l'accesso ai log-prob e all'entropia (tendenza attuale verso modelli "black-box"), solo il proprietario del modello può verificare l'onestà epistemica, rendendo impossibile l'audit esterno.
• Guida Pratica: La "superficie dei costi" fornisce ai costruttori di sistemi critici (medicina, legge, finanza) una tabella di marcia per allocare le risorse di verifica. Mostra che investire in segnali tensoriali offre un ritorno sull'investimento (ROI) superiore rispetto alla sola analisi testuale.

In sintesi, il paper dimostra che l'onestà epistemica è un problema di interfaccia architetturale. Finché l'interfaccia è limitata al testo, la verifica è fondamentalmente impossibile; esportando i segnali computazionali (tensoriali), la verifica diventa tracciabile e gestibile.