🤖 AI

When Agents Say One Thing and Do Another: Validating Elicited Beliefs from LLMs

Questo articolo propone un quadro decisionale per validare la coerenza tra le credenze probabilistiche espresse dai modelli linguistici di grandi dimensioni e le loro decisioni, rivelando che, sebbene anche i modelli più potenti presentino lievi discrepanze tra le credenze dichiarate e le azioni, tali credenze non costituiscono riassunti perfetti delle informazioni che guidano le loro scelte.

Autori originali: Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un consulente medico esperto nella diagnosi dei pazienti. Gli chiedi due cose riguardo a un paziente specifico:

La Stima: "Qual è la percentuale di probabilità che questo paziente abbia una specifica malattia?"
L'Azione: "In base a ciò che sai, cosa dovremmo fare? Trattare il paziente, dimetterlo o eseguire ulteriori test?"

Questo articolo pone una domanda semplice ma insidiosa: La "Stima" del consulente corrisponde davvero alla sua "Azione"?

A volte, le persone (o l'IA) dicono una cosa ma ne fanno un'altra. Forse il consulente dice: "Sono sicuro solo al 60% che si tratti della malattia", ma poi agisce come se fosse sicuro al 99% prescrivendo immediatamente un intervento chirurgico rischioso. O forse agisce con cautela, anche se afferma di essere molto sicuro.

I ricercatori di questo articolo hanno costruito un "rilevatore di verità" per verificare se i Modelli Linguistici di Grande Dimensione (LLM) – i sofisticati chatbot di IA – siano coerenti. Non hanno controllato solo se la matematica dell'IA fosse corretta; hanno verificato se le parole dell'IA (le sue credenze dichiarate) spiegassero effettivamente le sue scelte.

Il lavoro investigativo della "Scatola Nera"

I ricercatori trattano l'IA come una "scatola nera". Non possono guardare dentro il suo cervello per vedere come pensa. Possono solo vedere ciò che esce: la probabilità che dichiara ad alta voce e la decisione che prende.

Per testare l'IA, hanno utilizzato due principali "test del tornasole", che possono essere compresi attraverso queste analogie:

1. Il Test "Nessun Segreto Extra" (Indipendenza Condizionale)

Immagina che l'IA sia un detective che scrive un rapporto.

La Credenza: Il rapporto dice: "Penso che il sospetto sia colpevole con un 80% di certezza."
L'Azione: Il detective arresta il sospetto.

Se il rapporto è un riassunto completo di tutto ciò che il detective sa, allora una volta letto il passaggio "80% di certezza", non dovresti imparare nulla di nuovo osservando la decisione di arresto. La decisione di arresto dovrebbe essere completamente spiegata da quell'80%.

Il Risultato: I ricercatori hanno scoperto che per molti modelli di IA, il numero "80%" non era l'intera storia. Anche dopo aver saputo che l'IA aveva detto "80%", osservare ciò che l'IA ha fatto (arrestato o non arrestato) rivelava ancora informazioni extra sullo stato reale del paziente.

Analogia: È come un meteorologo che dice: "C'è il 50% di probabilità di pioggia", ma poi viene visto portare un ombrello pesante. Se avessi sentito solo il "50%", non ti aspetteresti l'ombrello. Il fatto che portasse l'ombrello significa che "sapeva" qualcosa di più di quanto avesse detto. Le azioni dell'IA rivelavano informazioni nascoste che le sue parole pronunciate non catturavano.

2. Il Test "Bersaglio Mobile" (Monotonicità)

Immagina di osservare un semaforo.

Se la luce è Rosso (alto rischio), ti fermi.
Se la luce è Giallo (rischio medio), rallenti.
Se la luce è Verde (basso rischio), procedi.

Se l'IA è coerente, man mano che il numero di "rischio" che dichiara aumenta, le sue azioni dovrebbero spostarsi in modo prevedibile verso scelte più caute. Se l'IA dice che il rischio è del 10%, dovrebbe agire in un certo modo. Se dice il 90%, dovrebbe agire diversamente.

Il Risultato: I ricercatori hanno verificato se le azioni dell'IA si spostavano nella direzione giusta al variare dei numeri.

La Buona Notizia: Per i modelli di IA più potenti e avanzati, le azioni si sono spostate nella direzione giusta. Quando l'IA dichiarava un rischio più alto, agiva con maggiore cautela.
La Cattiva Notizia: La connessione non era perfetta. A volte l'IA dichiarava un rischio alto ma agiva come se fosse basso, o viceversa. Era come un semaforo che a volte sfarfalla tra i colori anche quando l'auto è già in movimento.

Il Verdetto: "Vicini, ma non Perfetti"

L'articolo conclude che, sebbene i migliori modelli di IA stiano migliorando nell'allineare le loro parole alle loro azioni, non sono ancora perfettamente coerenti.

L'Agente "Quasi Razionale": I ricercatori hanno dimostrato matematicamente che se un'IA supera questi test, agisce come se credesse davvero a ciò che dice. Si comporta come una persona razionale che ha un chiaro sistema di credenze interne.
Il Controllo di Realtà: La maggior parte dei modelli ha fallito il test "Nessun Segreto Extra". Ciò significa che il "cervello" interno dell'IA contiene più informazioni sul paziente di quanto sia disposto a inserire in un semplice numero percentuale. La credenza dichiarata è un riassunto imperfetto di ciò che l'IA sa effettivamente.

Perché Questo È Importante (Secondo l'Articolo)

Gli autori sottolineano che in settori ad alto rischio come la medicina, non possiamo fidarci di un'IA solo perché dice: "Sono sicuro al 90%".

Se le azioni dell'IA non corrispondono alle sue parole, non possiamo fidarci della sua spiegazione.
L'articolo fornisce un modo per validare queste credenze. Invece di prendere per buona la parola dell'IA, possiamo verificare se il suo comportamento dimostra che essa detiene effettivamente quella credenza.

In sintesi: L'articolo ci insegna come catturare gli agenti IA quando dicono una cosa ma ne fanno un'altra. Dimostra che, sebbene i modelli di IA più intelligenti si stiano avvicinando all'essere onesti e coerenti, hanno ancora "pensieri nascosti" nelle loro azioni che le loro parole pronunciate non rivelano pienamente.

Riepilogo Tecnico: Validazione delle Credenze Elicitate da LLM

Enunciato del Problema

I Large Language Models (LLM) sono sempre più impiegati in ambiti ad alto rischio, come la diagnosi medica, dove il processo decisionale richiede la formazione di credenze probabilistiche su esiti sconosciuti. Sebbene i ricercatori possano spingere gli LLM a produrre probabilità verbalizzate (ad esempio, "la probabilità della malattia X è dell'80%"), non è chiaro se tali output riflettano credenze interne coerenti che guidino effettivamente le decisioni del modello. Un modello potrebbe verbalizzare una probabilità disconnessa dal suo processo decisionale, potenzialmente a causa di artefatti del fine-tuning o dell'ottimizzazione delle preferenze che distorcono le probabilità verbalizzate senza alterare la logica decisionale sottostante. Il lavoro esistente si concentra sulla calibrazione (accuratezza delle probabilità riportate) ma non affronta il fatto se le credenze riportate siano le statistiche sufficienti che governano le azioni del modello. La sfida principale è validare, in modo black-box, se le credenze elicitate di un LLM costituiscano una spiegazione significativa delle sue decisioni, senza fare forti assunzioni sulla funzione di utilità del modello o richiedere l'accesso alle rappresentazioni interne.

Metodologia

Gli autori propongono un quadro decisionale per testare la coerenza tra credenze elicitate e decisioni osservate. Il quadro opera sotto l'assunzione di un decisore "quasi razionale", formalizzato come un massimizzatore di utilità perturbato. Questa classe di agenti massimizza l'utilità attesa soggetta a un regolarizzatore strettamente convesso (ad esempio, l'entropia), permettendo scelte stocastiche e componenti di utilità non osservate, il che è più generale della massimizzazione rigorosa dell'utilità attesa.

Il quadro si basa su due condizioni empiricamente verificabili derivate da questa formalizzazione:

Indipendenza Condizionale (Sufficienza della Credenza):
- Ipotesi: Se le azioni di un agente sono guidate esclusivamente dalla sua credenza soggettiva $P_S(\theta|x)$ , allora condizionando su questa credenza, l'azione $A$ dovrebbe diventare indipendente dal vero esito $\theta$ . Formalmente, $A \perp \theta \mid P_S(\theta|x)$ .
- Test: Gli autori testano l'ipotesi nulla $I(A; \theta \mid p) = 0$ utilizzando un test non parametrico di Informazione Mutua Condizionale (CMI) basato sui k-Nearest Neighbors. Inoltre, misurano il miglioramento predittivo del vero esito quando si aggiunge l'azione $A$ a un modello che già condiziona sulla credenza elicita $p$ . Se l'azione fornisce un potere predittivo aggiuntivo significativo, la credenza non è una statistica sufficiente.
Monotonia Ciclica (Credenze Guida-Azione):
- Ipotesi: Per un massimizzatore di utilità perturbato, la mappatura dalle credenze elicite alle probabilità di scelta deve essere ciclicamente monotona rispetto all'indice di utilità attesa. In contesti a stati binari, ciò implica che all'aumentare della probabilità elicita di uno stato positivo, la probabilità di selezionare azioni più preziose in quello stato deve aumentare monotonicamente.
- Test: Gli autori raggruppano le probabilità elicite e stimano le quote di scelta all'interno dei gruppi. Formulano un programma lineare a margine firmato (SignedLP) per trovare un vettore di differenza di utilità $d$ che soddisfi la stretta monotonia tra i gruppi. Una statistica positiva $\hat{\gamma}$ indica stretta monotonia; un valore negativo indica una violazione.

Il quadro è stato applicato a quattro compiti di diagnosi medica (malattia cardiaca strutturale, diabete, febbre pediatrica e pianto infantile) utilizzando dataset provenienti da registri reali e reti bayesiane costruite da esperti. Lo studio valuta diverse famiglie di LLM (varianti di GPT-5, DeepSeek-R1, Llama-4) elicita credenze e decisioni in finestre di contesto separate per evitare contaminazioni.

Contributi Chiave

Quadro Formale per la Validazione Black-Box: Il paper introduce le prime condizioni formali, basate sulla teoria delle decisioni, per testare se le credenze elicite degli LLM siano coerenti con le loro azioni. Crucialmente, questi test sono agnostici rispetto alla funzione di utilità dell'agente, basandosi solo sulla struttura della massimizzazione di utilità perturbata.
Condizioni Necessarie e Sufficienti: Gli autori dimostrano (Proposizione 5) che l'indipendenza condizionale e la monotonia ciclica sono congiuntamente necessarie e sufficienti affinché una distribuzione osservata di credenze e azioni possa essere razionalizzata da un massimizzatore di utilità perturbato che considera la credenza elicita come la sua vera probabilità soggettiva.
Protocollo di Validazione Empirica: Lo studio traduce queste condizioni teoriche in test statistici pratici (CMI e SignedLP) applicabili a qualsiasi LLM black-box.
Distinzione tra Tipi di Coerenza: Il lavoro distingue tra coerenza decisionale (le credenze guidano le azioni) e coerenza probabilistica (aderenza ad assiomi come la Legge delle Aspettative Iterate), mostrando che sono proprietà distinte.

Risultati

Sufficienza Imperfetta: In tutti i modelli e dataset, il test di Indipendenza Condizionale rifiuta l'ipotesi nulla. Le credenze elicite non sono statistiche sufficienti; le azioni dei modelli contengono informazioni residue sul vero esito non catturate dalle loro probabilità verbalizzate. Ciò suggerisce che i modelli "sanno più di quanto dicono" o che le loro informazioni rilevanti per le decisioni non sono completamente comunicate nella credenza elicita.
La Monotonia Vale (Per lo Più): Il test di Monotonia Ciclica mostra che per la maggior parte delle combinazioni modello-dataset, la relazione tra credenze elicite e azioni è monotona. Nello specifico, 9 su 16 combinazioni hanno mostrato stretta monotonia ( $\hat{\gamma}$ positivo), e solo una (Febbre–Llama) ha mostrato una violazione. Ciò indica che, sebbene le credenze non siano perfettamente sufficienti, guidano generalmente le decisioni nella direzione corretta.
Varianza tra Modelli e Domini:
- Modelli Più Forti: I modelli più potenti (ad esempio DeepSeek-R1, GPT-High) mostrano le discrepanze più piccole tra credenze e azioni, suggerendo che sono osservazionalmente più vicini ad agenti con credenze coerenti.
- Effetti del Dominio: Il dataset sul Diabete ha mostrato la monotonia più debole, con nessun modello che abbia mostrato un margine strettamente positivo.
La Calibrazione Non Risolve la Sufficienza: Applicare una calibrazione isotona alle credenze elicite ha migliorato la calibrazione marginale ma non ha ripristinato l'indipendenza condizionale, confermando che il fallimento della sufficienza è strutturale, non solo un problema di calibrazione.
Coerenza Interna: I test utilizzando la Legge delle Aspettative Iterate (LIE) hanno rivelato che la coerenza probabilistica (aderenza agli assiomi della probabilità) non si allinea necessariamente con la coerenza decisionale. I modelli che hanno ottenuto buoni risultati nei test di coerenza decisionale non hanno necessariamente ottenuto buoni risultati nei test di coerenza probabilistica.

Significato e Affermazioni

Il paper afferma che le probabilità elicite dagli LLM sono riassunti imperfetti ma comportamentalmente informativi delle informazioni rilevanti per le decisioni. Gli autori sostengono che, sebbene i modelli non agiscano come se possedessero credenze perfettamente coerenti (come dimostrato dal fallimento della sufficienza), le discrepanze sono relativamente piccole per i modelli all'avanguardia.

Il significato di questo lavoro risiede nel fornire un metodo black-box e fondato su principi per validare se la fiducia verbalizzata di un LLM sia una spiegazione affidabile delle sue decisioni. Ciò è critico per la sicurezza e la trasparenza in ambiti ad alto rischio come la medicina. Gli autori sottolineano che i loro test non dimostrano che un modello "possieda realmente" una credenza in senso filosofico, ma piuttosto che il modello è osservazionalmente indistinguibile da un agente razionale che possiede tale credenza. Di conseguenza, il paper conclude che le credenze elicite dovrebbero essere validate empiricamente anziché essere assunte come rappresentazioni fedeli delle credenze del modello, offrendo uno strumento diagnostico per gli sviluppatori per comprendere le modalità di fallimento (ad esempio, distinguendo tra eccesso di sicurezza e problemi di percezione dei costi negli agenti medici).