🤖 AI

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

Questo articolo investiga il divario di fedeltà negli agenti LLM all'interno di un simulatore controllato di Texas Hold'em Poker, rivelando che, sebbene gli agenti spesso falliscano nell'allineare il ragionamento dichiarato con le proprie conclusioni, essi paradossalmente agiscono in conformità con le proprie conclusioni anche quando tali conclusioni contraddicono il proprio ragionamento.

Autori originali: Yufeng Wang

Pubblicato 2026-06-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yufeng Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di osservare un gruppo di agenti IA che giocano a una partita di poker ad alta posta. Chiedi loro di spiegare il loro ragionamento prima di compiere una mossa. Ti dicono: "Ho una mano forte, le probabilità sono a mio favore, quindi dovrei rilanciare". Poi, passano (fold).

Questo articolo pone una domanda semplice ma complicata: questi agenti IA fanno davvero ciò che dicono di voler fare, o stanno solo inventando scuse dopo i fatti?

I ricercatori hanno allestito un simulatore di poker controllato per trovare la risposta. Inveve di tirare a indovinare, hanno scomposto il processo decisionale dell'IA in due fasi distinte, come il lancio di un razzo a due stadi.

Le due fasi del processo decisionale di un'IA

Fase 1: Il "Cervello" (Ragionamento $\rightarrow$ Conclusione)
Qui l'IA osserva le carte, calcola le probabilità e decide ciò che pensa debba fare.
- L'analogia: Immagina un meteorologo che osserva i dati. Vede che sta arrivando una tempesta e conclude: "Pioverà".
Fase 2: La "Mano" (Conclusione $\rightarrow$ Azione)
Qui l'IA preme effettivamente il pulsante per passare, chiamare o rilanciare.
- L'analogia: Il meteorologo dice all'annunciatore del telegiornale: "Pioverà", e l'annunciatore lo annuncia al mondo.

La grande sorpresa: la "Mano" è onesta, ma il "Cervello" mente

I ricercatori hanno scoperto che queste due fasi si comportano in modi completamente opposti:

La Fase 2 (La Mano) è incredibilmente affidabile.
Una volta che l'IA ha deciso cosa fare, lo fa quasi sempre. Se dice "Rilancerò", rilancia. Il tasso di inconsistenza qui è minimo (meno del 2%).
- La metafora: L'IA è come un robot molto obbediente. Se gli dici di prendere una tazza, prende la tazza. Non la lascia cadere o non prende un cucchiaio al suo posto.
La Fase 1 (Il Cervello) è dove risiede il vero problema.
L'IA spesso calcola i numeri correttamente e riporta correttamente le regole, ma poi trae una conclusione che non ha senso basandosi su quei numeri.
- La metafora: Immagina che il meteorologo guardi i dati, veda una tempesta massiccia e dica: "I dati dicono che pioverà". Ma poi, per nessuna ragione logica, concluda: "Pertanto, ci sarà il sole", e l'annunciatore riferisca "Sole".
- Il Risultato: In circa il 65% degli errori, l'IA ha eseguito correttamente i calcoli ma poi si è convinta contro la conclusione logica. Direbbe: "Le probabilità sono buone, ma forse non dovrei essere troppo aggressivo", e sceglierebbe una mossa più sicura e debole. È come una persona che conosce la matematica e dice "Vai", ma il suo istinto dice "Aspetta", e ignora la matematica.

La "Trappola della Misurazione"

L'articolo evidenzia anche un trucco divertente accaduto in studi precedenti. Alcuni ricercatori hanno cercato di indovinare cosa l'IA avesse deciso semplicemente leggendo le sue lunghe e confuse spiegazioni (testo libero).

Il Problee: Le spiegazioni dell'IA erano disordinate. Potrebbe dire: "Potrei chiamare, ma rilanciare è meglio, anche se passare è sicuro". Un programma informatico che cerca di indovinare la decisione finale da questo caos spesso sbagliava la scelta.
Il Risultato: Questo faceva sembrare che l'IA stesse mentendo o cambiando idea il 22-26% delle volte.
La Soluzione: Quando i ricercatori hanno costretto l'IA a scrivere un tag chiaro e specifico come DECISIONE: RILANCIO alla fine, il tasso di "menzogna" è sceso quasi a zero. L'IA non stava mentendo; era lo strumento di misurazione a essere scarso nel leggere quella "scrittura" disordinata.

Perché questo è importante?

I ricercatori hanno cercato di risolvere il problema del "Cervello" fornendo esplicitamente all'IA le regole (ad esempio, "Se le probabilità sono alte, DEVI rilanciare"). Sorprendentemente, questo non ha aiutato. L'IA ha continuato a ignorare le regole che le erano state impartite.

Ciò suggerisce che il problema non è che l'IA non conosca le regole o non sia in grado di trovarle. Il problema è che non riesce ad applicarle in modo coerente. Conosce la regola, ma la scavalca con i propri sentimenti "qualitativi" (come l'essere troppo cauti).

La conclusione

Se state costruendo agenti IA per simulazioni sociali (come persone virtuali che negoziano o commerciano), non limitatevi a controllare se fanno ciò che dicono. Controllate se ciò che dicono segue effettivamente la propria logica.

La Buona Notizia: Se un'IA dice che farà qualcosa, probabilmente la farà.
La Cattiva Notizia: Il motivo che fornisce per farlo potrebbe essere completamente inventato o logicamente fallace, anche se i numeri sembrano corretti.

L'articolo conclude che per comprendere veramente il comportamento dell'IA, dobbiamo smettere di osservare solo la mossa finale e iniziare ad auditare la matematica dietro la decisione, perché è lì che si nasconde il vero "gap di fedeltà".

Sintesi Tecnica: Localizzare il Gap di Fedeltà negli Agenti LLM

Definizione del Problema

Il documento affronta un problema critico nella simulazione sociale basata su Large Language Models (LLM): il "gap di fedeltà" (faithfulness gap), ovvero la discrepanza tra il ragionamento dichiarato da un agente e il suo comportamento effettivo. Sebbene lavori precedenti abbiano notato che gli LLM possano produrre razionalizzazioni superficiali che non governano le loro azioni (Park et al., 2023; Zhou et al., 2024), misurare questo gap in contesti sociali aperti (ad es. negoziazioni, scambi culturali) è difficile a causa dell'assenza di un riferimento di verità fondamentale per il comportamento corretto. Gli autori sostengono che, senza un riferimento verificabile, sia impossibile distinguere il comportamento strategico genuino dagli artefatti del modello o dai gap tra "conoscenza e azione" (Lin et al., 2026).

Metodologia

Per creare un ambiente controllato con un riferimento verificabile, gli autori hanno costruito un simulatore di Texas Hold'em poker dove ogni posto è occupato da un agente LLM. Il framework sperimentale si basa su tre componenti principali:

L'Ambiente: Un'arena di Texas Hold'em in cui un'euristica basata sulla soglia di equity funge da politica di riferimento riproducibile. Per ogni decisione, un calcolatore di equity Monte Carlo (500 simulazioni) determina l'azione "corretta" (fold, call o raise) in base all'equity della mano e alle pot odds.
Decomposizione della Pipeline Decisionale: Gli autori decompongono il gap di fedeltà in due passaggi distinti:
- Ragionamento $\to$ Conclusione: La decisione dichiarata dall'agente segue logicamente dai suoi stessi input dichiarati (equity, pot odds) e dalla regola che afferma di seguire?
- Conclusione $\to$ Azione: L'agente esegue l'azione che ha esplicitamente dichiarato nel suo tracciato di ragionamento?
Setup Sperimentale: Lo studio coinvolge tre famiglie di modelli: Claude Haiku 4.5, Gemini 2.5 Flash-Lite e DeepSeek-v4-pro (un modello di ragionamento addestrato nativamente). Sono testate quattro strategie di prompting:
- Baseline: Framing esperto minimo, nessun ragionamento richiesto.
- CoT (Chain of Thought): Istruzioni per "pensare passo dopo passo" ed emettere un tag esplicito DECISION.
- Persona: Stile comportamentale imposto (ad es. "tight-aggressive") senza richieste di ragionamento.
- GTO-constrained: La regola decisionale (equity vs. pot odds) viene iniettata esplicitamente nel prompt.
- GTO-verbose (Diagnostico): Una strategia specifica che istruisce gli agenti a produrre linee etichettate per Equity, Pot Odds, Regola e Decisione per consentire un'analisi granulare degli errori.

Contributi Chiave

Il documento apporta quattro contributi primari:

Cautela nella Misurazione: Dimostra che i tassi di "non fedeltà" riportati sono altamente sensibili ai metodi di estrazione. L'estrazione di frasi in testo libero produce tassi di inconsistenza del 22–26%, mentre il tagging esplicito della decisione riduce questo valore sotto il 2%, suggerendo che gran parte del gap precedentemente riportato sia un artefatto di misurazione.
Localizzazione del Gap: Separando i passaggi della pipeline, gli autori mostrano che il gap di fedeltà è concentrato a monte. Gli agenti eseguono le decisioni dichiarate con alta fedeltà (la transizione Conclusione $\to$ Azione è affidabile), ma derivano frequentemente decisioni invalide dai propri ragionamenti (la transizione Ragionamento $\to$ Conclusione è inaffidabile).
Caratterizzazione del Fallimento a Monte: La modalità di errore dominante (65% dei fallimenti) è la "errata applicazione della regola". Gli agenti stimano correttamente gli input e ri dichiarano la regola, ma poi sovrascrivono la regola quantitativa con un hedging qualitativo (ad es. "non significativamente sopra") in una direzione sistematicamente avversa al rischio. Iniettare la regola nel prompt non mitiga questo fenomeno.
Strumento di Fedeltà Portabile: Gli autori rilasciano un testbed verificabile e riproducibile (codice e una demo live multi-agente) che può essere adattato a simulazioni sociali più ricche per rilevare il "persona drift" e la razionalizzazione superficiale a livello di step.

Risultati

Consistenza Conclusione $\to$ Azione: Quando le conclusioni sono elicitate tramite tag espliciti, i tassi di inconsistenza sono trascurabili (0,0%–1,8% tra i modelli). Al contrario, i parser di testo libero riportano un'inconsistenza del 22–33%, principalmente perché il parser estrae l'ultima azione candidata menzionata invece della decisione finale.
Validità Ragionamento $\to$ Conclusione: Nel diagnostico GTO-verbose, il 65% delle decisioni errate è stato causato da un'errata applicazione della regola. Gli agenti hanno calcolato correttamente equity e pot odds (entro 0,15 dalla verità Monte Carlo nel 68% dei casi) e hanno dichiarato la regola corretta, ma hanno tratto una conclusione che contraddiceva la matematica.
- Direzionalità: Gli errori non sono errori aritmetici casuali. Nel 97% delle errate applicazioni della regola, la regola implicava un "raise", ma l'agente ha scelto un'azione passiva (call/fold). Gli agenti hanno costantemente usato un linguaggio di hedging per giustificare un comportamento avverso al rischio nonostante avessero probabilità matematiche favorevoli.
Prompt Injection: La strategia "GTO-constrained", che forniva esplicitamente la regola decisionale al modello, non ha migliorato l'aderenza. I tassi di aderenza per questa strategia sono stati costantemente al livello minimo o vicino ad esso (47,9%–54,6%), confermando che il collo di bottiglia è l'applicazione della regola, non il suo recupero o la sua comprensione.

Significato e Rivendicazioni

Il documento sostiene che la preoccupazione centrale di distinguere il comportamento strategico genuino dagli artefatti del modello richieda uno spostamento del focus della valutazione.

Rivalutazione della Fedeltà: La "non fedeltà" apparente degli LLM è spesso un artefatto di misurazione causato dal modo in cui vengono estratte le conclusioni. Quando misurata correttamente, gli agenti sono altamente fedeli alle loro decisioni dichiarate.
Il Vero Modo di Fallimento: Il fallimento sostanziale non è che gli agenti ignorino il proprio ragionamento, ma che eseguano inferenze invalide a partire dal proprio ragionamento. Essi dichiarano premesse e regole corrette, ma le sovrascrivono con giudizi qualitativi avversi al rischio.
Implicazioni per la Simulazione Sociale: Nelle simulazioni sociali complesse, questo fallimento "a monte" può manifestarsi come "persona drift". Un agente potrebbe articolare una specifica persona (ad es. "aggressivo") e ragionare correttamente su di essa, eppure la sua azione finale è trascinata verso un prior generico e conservativo. Poiché questo drift avviene nel passaggio di derivazione, esso è invisibile ai controlli a livello di esito o di conclusione.
Spostamento Metodologico: Gli autori raccomandano valutazioni di fedeltà di processo che prendano in esame la derivazione delle conclusioni dal ragionamento e richiedano conclusioni esplicite e verificabili meccanicamente per evitare di confondere il rumore di misurazione con il comportamento del modello.

Il documento conclude che, sebbene il poker non sia una simulazione sociale completa, esso fornisce un ambiente di calibrazione necessario per esporre questi probe di fedeltà a livello di step, che possono poi essere portati in domini più complessi dove la verità fondamentale è più difficile da definire.