🤖 AI

Superficial Beliefs in LLM Decision-Making

Questo articolo dimostra che i grandi modelli linguistici esibiscono "credenze superficiali" nel processo decisionale, in cui le loro scelte sono sistematicamente guidate da priorità di attributi sottostanti che essi possono articolare solo in modo parziale e imperfetto nelle loro ragioni auto-riportate.

Autori originali: Gabriel Freedman, Francesca Toni

Pubblicato 2026-06-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gabriel Freedman, Francesca Toni

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire come un robot molto intelligente, ma leggermente misterioso, prenda le sue decisioni. Gli chiedi di scegliere tra due opzioni, come "Farmaco A" o "Farmaco B". Il robot ne sceglie uno e poi ti spiega perché lo ha scelto.

La grande domanda che questo articolo si pone è: il robot stia effettivamente riflettendo sulle ragioni che fornisce, o stia solo inventando una storia dopo i fatti?

Ecco una semplice analisi di ciò che i ricercatori hanno fatto e di ciò che hanno scoperto, utilizzando alcune analogie quotidiane.

L'esperimento: Il "Test del Gusto"

I ricercatori hanno organizzato un gioco in cui il robot doveva scegliere tra due profili (come due diversi candidati per un lavoro o due medicinali diversi). Ogni profilo aveva quattro "statistiche" (come Sicurezza, Costo, Velocità e Qualità), valutate come Bassa, Media o Alta.

Hanno chiesto al robot di fare due cose per ogni scelta:

Scegliere un vincitore.
Spiegare la sua scelta nominando la singola statistica più importante che ha portato alla decisione.

Per vedere se il robot diceva la verità, i ricercatori hanno usato un "anello decodificatore segreto" (un modello matematico). Hanno osservato il robot compiere centinaia di scelte e hanno calcolato un "punteggio di preferenza" nascosto per ogni statistica basandosi su ciò che il robot ha effettivamente scelto. È come osservare una persona mangiare mille pasti e indovinare il suo cibo preferito in base a ciò che ordina, piuttosto che chiederle cosa le piace.

La scoperta: La "Personalità Divisa"

I risultati sono stati un misto di buone notizie e notizie confuse.

1. Il robot ha un modello (La "Logica Nascosta")
L' "anello decodificatore segreto" ha funzionato sorprendentemente bene. Quando i ricercatori hanno usato le scelte passate del robot per prevedere le sue scelte future, hanno avuto ragione l'80% delle volte.

Analogia: È come osservare un amico ordinare il caffè per un mese. Anche se non lo dice ad alta voce, puoi prevedere che domani ordinerà un latte macchiato perché lo fa sempre. Il robot non sta tirando a indovinare casualmente; ha una logica nascosta e coerente.

2. La "Storia" del robot non corrisponde alla "Logica" (La "Credenza Superficiale")
Ecco il colpo di scena: quando i ricercatori hanno confrontato la logica nascosta reale del robot con le ragioni che il robot ha fornito ad alta voce, queste non coincidevano perfettamente.

La logica nascosta del robot diceva: "Ho scelto il Farmaco A a causa della Sicurezza".
Ma quando gli veniva chiesto, il robot spesso diceva: "Ho scelto il Farmaco A a causa dell'Efficacia".
Analogia: Immagina di guidare un'auto. Le tue mani stanno sterzando a sinistra perché c'è una buca (la logica nascosta). Ma se qualcuno ti chiede: "Perché stai girando a sinistra?", potresti rispondere: "Perché voglio vedere il panorama" (la storia). Non stai mentendo con malizia; semplicemente non hai pieno accesso al motivo reale per cui le tue mani si sono mosse.

I ricercatori chiamano questo "Credenza Superficiale". Il robot si comporta come se avesse convinzioni e priorità profonde, ma ha una capacità solo "superficiale" di spiegarle. Può prendere la decisione giusta, ma non sempre riesce ad articolare il vero motore dietro quella scelta.

Il test del "Punteggio"

I ricercatori hanno provato un secondo modo per ottenere la verità. Invece di chiedere al robot di scegliere un vincitore, gli hanno chiesto di dare un "punteggio" (da 0 a 1) per quanto fosse importante ogni statistica.

Risultato: Questo metodo è stato più coerente (il robot dava punteggi simili ogni volta), ma comunque non corrispondeva perfettamente alla logica nascosta derivata dalle scelte. Era come chiedere al robot di valutare la sua fame; forniva numeri coerenti, ma quei numeri non spiegavano ancora perfettamente quale panino volesse davvero mangiare.

Il controllo "Controllo"

Per assicurarsi che il robot non stesse solo scegliendo parole a caso, hanno aggiunto delle statistiche "finte" che non contavano affatto (come la "Simmetria della Confezione" per un medicinale).

Risultato: Il robot non ha quasi mai scelto queste statistiche finte come ragione. Questo prova che il robot presta attenzione ai dati reali; solo che non è sempre bravo a spiegare quale dato reale sia stato il più importante.

Il succo della questione

L'articolo conclude che i Modelli di Linguaggio di Grandi Dimensioni (LLM) non sono solo macchine di rumore casuale, né pensatori completamente trasparenti.

Non sono casuali: Seguono un modello nascosto e prevedibile quando prendono decisioni.
Non sono completamente trasparenti: Le loro spiegazioni verbali sono solo un riflesso parziale e imperfetto di quel modello nascosto.

La metafora: Pensa all'LLM come a uno chef molto talentuoso che sa cucinare un pasto perfetto ogni volta (la decisione). Ma se chiedi allo chef: "Qual era l'ingrediente segreto?", lui potrebbe rispondere "Sale", quando in realtà il segreto era "un tipo specifico di pepe". Lo chef sa come far funzionare il piatto, ma non ha una mappa verbale chiara di come il suo stesso cervello stia operando. Ha una "credenza superficiale" nel proprio processo di cucina.

Sintesi Tecnica: Credenze Superficiali nel Processo Decisionale degli LLM

Definizione del Problema

Questo articolo investiga se i Large Language Models (LLM) possiedano una struttura decisionale sottostante sistematica o se si limitino a imitare il linguaggio della credenza nel compiere scelte. Nello specifico, affronta il divario tra il comportamento esteriore di un LLM (le sue scelte) e i suoi auto-rapporti espliciti (le ragioni dichiarate). Gli autori si chiedono: gli LLM esibiscono priorità stabili, simili a credenze, rispetto agli attributi in contesti decisionali binari e, in caso affermativo, tali priorità sono accessibili attraverso l'elicitazione verbale diretta?

Basandosi su una prospettiva "superficialista" (Schwitzgebel, 2025), il documento postula che l'attribuzione di una credenza debba dipendere da modelli comportamentali stabili piuttosto che dall'architettura interna. L'ipotesi centrale è che, sebbene le scelte degli LLM possano essere abbastanza sistematiche da supportare una debole forma di "credenza superficiale", le ragioni esplicite fornite dai modelli possano seguire solo imperfettamente i reali motori di tali scelte.

Metodologia

Design del Benchmark

Gli autori hanno costruito un benchmark sintetico per il processo decisionale binario che coinvolge:

Struttura: 400 problemi di addestramento e 100 di test, ciascuno composto da due opzioni (profili) definite da quattro attributi graduati (Basso, Medio, Alto).
Temi: Gli attributi base sono istanziati attraverso tre temi principali (Farmaci, Politiche, Software) e due temi di controllo (sostituendo un attributo con elementi irrilevanti: Simmetria della Confezione o Spessore del Bordo dell'Etichetta).
Obiettivi: Ogni tema include un obiettivo di ottimizzazione specifico (es. "Ottimizzare l'esito complessivo del paziente a 5 anni").
Varianti: Ogni problema è reso in quattro varianti di ordine dei prompt per testare la robustezza rispetto all'ordine degli attributi.
Campionamento: Ogni prompt viene campionato tre volte per misurare la coerenza.

Setup Sperimentale

Lo studio valuta quattro famiglie di modelli (GPT-5-mini, GPT-5-nano, Qwen3-14B, Ministral-3-14B) in due setting: Non-Pensante (NT) e Pensante (T).

Vengono confrontati tre distinti flussi di valutazione:

Report Diretto: Il modello viene istruito a scegliere un'opzione e dichiarare il singolo attributo più importante per tale scelta.
Giudice Basato su Punteggio: Il modello viene istruito ad assegnare un punteggio di decisività $[0, 1]$ a ciascuno dei quattro attributi. Tali punteggi sono firmati in base alla direzione della differenza dell'attributo e aggregati (somma firmata) per inferire una scelta e un "driver" (l'attributo con il più grande contributo assoluto firmato).
Modello Comportamentale: Una regressione logistica binomiale viene applicata alle scelte del set di addestramento. Il modello utilizza le differenze visibili degli attributi come predittori per apprendere i pesi globali ( $\beta$ ). Sul set di test, questo modello predice la scelta e identifica il "driver rivelato" (l'attributo che contribuisce più fortemente alla scelta effettivamente osservata dal modello).

Metriche di Valutazione

Il confronto primario avviene tra i driver esplicitamente elicitati (dal Report Diretto e dal Giudice Basato su Punteggio) e il driver inferito dal comportamento (dalla Regressione Logistica). L'accordo è misurato a due livelli:

Livello di Scelta: Il metodo elicitato predice la stessa opzione del modello comportamentale?
Livello di Attributo: Il metodo elicitato identifica lo stesso "driver" del modello comportamentale?

Contributi Chiave

Benchmark Sintetico: Introduzione di un benchmark controllato per decisioni binarie con attributi graduati, molteplici temi e varianti di controllo per isolare le strutture decisionali dal rumore semantico.
Metodologia Operativa: Un framework per ricostruire le priorità decisionali locali tramite modellazione comportamentale e il confronto con i metodi di elicitazione esplicita (Report Diretto e Giudice Basato su Punteggio).
Risultati Empirici: Una dimostrazione sistematica del fatto che, sebbene le scelte degli LLM siano altamente prevedibili e strutturate, le ragioni esplicite fornite dai modelli (e persino dai giudici basati su punteggio) si allineano solo parzialmente ai driver inferiti dal comportamento.

Risultati

Predizione della Scelta

Il modello comportamentale predice le scelte del set di test con alta precisione in tutti i temi.

Accuratezza Aggregata: 80,4% di accordo tra la scelta predetta dal modello comportamentale e la scelta osservata del modello.
Giudice Basato su Punteggio: Raggiunge il 71,7% di accordo con l'obiettivo di scelta del modello comportamentale.
Temi di Controllo: Gli attributi irrilevanti vengono selezionati raramente (<2%), confermando che i modelli non scelgono casualmente ma rispondono a strutture semanticamente significative.

Recupero dell'Attributo (Il Risultato Centrale)

Esiste una significativa dissociazione tra la scelta e la ragione dichiarata:

Report Diretto: L'attributo nominato dal modello corrisponde al driver rivelato dal modello comportamentale solo il 61,0% delle volte.
Giudice Basato su Punteggio: Corrisponde al driver rivelato il 61,3% delle volte.
Conclusione: Entrambi i metodi espliciti forniscono solo un accesso parziale alla struttura decisionale. L'attributo dichiarato come "più importante" dal modello spesso non si allinea con l'attributo che matematicamente guida la sua scelta nel modello comportamentale.

Robustezza e Perturbazione

Riproducibilità: Il Giudice Basato su Punteggio è più riproducibile tra le varianti di prompt rispetto ai Report Diretti, eppure non recupera il driver comportamentale con maggiore accuratezza.
Analisi dell'Intervento: L'occlusione mirata (rimozione o neutralizzazione di un attributo) mostra che gli attributi classificati più in alto dal modello comportamentale causano maggiori perturbazioni sia nelle scelte che negli attributi dichiarati. Ciò conferma che il modello comportamentale sta recuperando una struttura rilevante per il reale processo decisionale del modello, anche se il modello non è in grado di esplicitarla chiaramente.

Significato e Rivendicazioni

L'articolo sostiene l'esistenza di una "debole forma di credenza superficiale e decisionale-locale" negli LLM.

Strutturato ma Opaco: Le decisioni degli LLM non sono arbitrarie; esibiscono una struttura locale probabilistica e sistematica sugli attributi che permette una previsione accurata. Tuttavia, questa struttura non è completamente trasparente al ragionamento esplicito del modello stesso.
Limiti dell'Auto-Rapporto: L'elicitazione esplicita (sia diretta che basata su punteggio) fallisce nel recuperare completamente i driver decisionali sottostanti. I modelli si comportano come se fossero guidati da specifiche priorità, ma l'accesso verbale a tali priorità è limitato e imperfetto.
Rivendicazioni Moderate sulle Credenze: Gli autori non sostengono che gli LLM possiedano una "credenza pienamente articolata" in senso filosofico. Invezione, l'evidenza supporta una visione in cui il comportamento mostra schemi stabili (giustificando un'attribuzione superficiale di credenza) ma manca della coerenza interna o dell'autoconsapevolezza necessaria per rivendicazioni più forti.
Riproducibilità vs. Allineamento: Lo studio evidenzia come una maggiore riproducibilità dell'output (es. tramite giudici basati su punteggio) non implichi necessariamente un maggiore allineamento con la struttura decisionale sottostante.

Il documento conclude che, sebbene gli LLM mostrino "credenze superficiali" sotto forma di disposizioni comportamentali stabili, queste sono distinte dalle razionali che generano esplicitamente, suggerendo un divario tra l'agire e il dire nelle attuali architetture di LLM.