Sintesi Tecnica: Pensare Velocemente, Pensare Erroneamente

Enunciato del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato un'alta accuratezza in compiti di ragionamento causale sintetico e scenari di buon senso, la loro affidabilità nella valutazione delle politiche reali rimane poco esplorata. La valutazione delle politiche spesso coinvolge risultati empirici "disordinati", contestati e frequentemente controintuitivi, dove i dati contraddicono le aspettative prioritarie comuni. I benchmark esistenti si basano su grafi causali sintetici o problemi logici astratti, non riuscendo a catturare la sfida di sovrascrivere le priorità intuitive quando si analizzano evidenze empiriche consolidate provenienti dall'economia e dalle scienze sociali.

Metodologia

Costruzione del Benchmark

Gli autori hanno costruito un benchmark di 40 casi empirici di valutazione delle politiche tratti dalla letteratura economica e di scienze sociali sottoposta a revisione paritaria. Ogni caso soddisfa tre criteri:

1. Effetti causali stabiliti tramite strategie di identificazione credibili (es. differenze nelle differenze, RCT).
2. Risultati direzionali inequivocabili (aumento, diminuzione o nessun cambiamento significativo).
3. Rilevanza sufficiente per essere probabilmente presenti nei dati di addestramento degli LLM.

I casi sono classificati per intuitività:

• Ovvi: Allineati alle aspettative prioritarie comuni (es. l'espansione di Medicaid aumenta l'utilizzo).
• Ambigui: Esistono molteplici direzioni ragionevoli.
• Controintuitivi: In contrasto con le aspettative naive (es. multe per il ritiro tardivo dai servizi diurni aumentano i ritardi).

Il benchmark include 14 test unilaterali (SÌ/NO) e 26 test bilaterali (previsione direzionale), coprendo 11 paesi e 10 ambiti di politica.

Disegno Sperimentale

• Modelli: Sono stati valutati quattro LLM all'avanguardia: GPT-5.2, Claude Sonnet 4.5, Claude Opus 4.6 e GPT-4.1.
• Strategie di Prompting: Sono state testate cinque strategie su 10 ripetizioni per condizione, producendo 8.000 prove sperimentali:
  1. Naive: Domanda diretta (baseline del Sistema 1).
  2. Persona Esperta: Inquadrare il modello come un "econometrista esperto".
  3. Catena di Pensiero (CoT): "Pensa passo dopo passo" per elencare meccanismi e fattori di confusione.
  4. Ragionamento Strutturato: Template dettagliato che richiede l'enumerazione esplicita dei canali causali.
  5. Inquadratura Adversariale: Introdurre un consenso fittizio che suggerisce "nessun effetto" per testare il bias di ancoraggio.
• Analisi Statistica: I risultati sono stati analizzati utilizzando una regressione logistica a effetti misti per tenere conto delle strutture di dati annidati. Il modello includeva effetti fissi per l'identità del modello, la strategia di prompt, l'intuitività e le loro interazioni, con intercette casuali per l'eterogeneità a livello di caso.

Risultati Chiave

1. Il Paradosso della CoT

Il prompting a Catena di Pensiero (CoT) migliora significativamente le prestazioni sui casi ovvi (OR dell'effetto principale = 17,3), ma questo beneficio è sostanzialmente attenuato sui casi controintuitivi (OR di interazione = 0,278, $p < 0,001$).

• Sui casi ovvi, la CoT ha migliorato l'accuratezza di +26,7 punti percentuali.
• Sui casi controintuitivi, il guadagno è sceso a +13,8 punti percentuali.
• Ciò suggerisce che, sebbene la CoT attivi il "pensiero lento", non riesce a inibire completamente la priorità intuitiva iniziale che ancorizza la catena di ragionamento.

2. L'Intuitività come Fattore Dominante

La varianza a livello di caso ha superato quella della scelta del modello o della strategia di prompting. Il Coefficiente di Correlazione Intraclasse (ICC) per le intercette casuali a livello di caso è stato 0,671, indicando che la natura specifica del caso di politica (la sua intuitività e complessità) è il determinante primario della difficoltà, piuttosto che il modello o il prompt specifici utilizzati.

3. Dissociazione tra Conoscenza e Ragionamento

La familiarità basata sulle citazioni (un proxy per l'esposizione ai dati di addestramento) ha mostrato nessuna relazione significativa con l'accuratezza ($p = 0,84$).

• Studi altamente citati, come l'esperimento sulle multe per il ritiro tardivo (Gneezy & Rustichini, 2000), hanno prodotto una bassa accuratezza (39%).
• Questo smentisce l'ipotesi del "parroto causale" secondo cui i modelli semplicemente recitano fatti memorizzati; invece, i modelli possiedono la conoscenza ma falliscono nel ragionarci correttamente quando i risultati contraddicono l'intuizione.

4. Disparità nelle Prestazioni dei Modelli

• GPT-5.2 ha superato sostanzialmente gli altri modelli, mantenendo un'accuratezza del 94,5% sui casi controintuitivi bilaterali.
• Claude Sonnet 4.5 ha superato il più grande Claude Opus 4.6 sui casi controintuitivi (73,5% contro 64,8%), suggerendo che la sola scala del modello non determina la suscettibilità alle priorità intuitive.
• GPT-4.1 ha faticato significativamente sui casi bilaterali controintuitivi, scendendo al 43,2% (solo 10 punti sopra il caso).

5. Modelli di Errore

Gli errori erano sistematici piuttosto che stocastici. Quando la verità fondamentale era un "aumento", il 72% degli errori prevedeva una "diminuzione" (inversione direzionale), coerente con l'applicazione da parte dei modelli di un modello causale intuitivo che prevede la direzione opposta. La coerenza interna (voto di maggioranza) ha fornito un miglioramento minimo sui casi controintuitivi, confermando credenze causali stabili ma errate.

Significato e Affermazioni

Il documento sostiene che gli attuali LLM esibiscono un fenomeno di "parlare lentamente, non pensare lentamente". Attraverso la lente della teoria dei processi duali (Sistema 1 vs Sistema 2), gli autori affermano che i processi deliberativi degli LLM (Sistema 2) raggiungono solo un'inibizione parziale delle priorità intuitive. Producono la forma del ragionamento deliberativo senza fornire pienamente la sua sostanza quando la risposta corretta contraddice il buon senso.

Implicazioni Chiave:

• Rischio di Valutazione delle Politiche: Un'accuratezza aggregata di circa l'80% maschera fallimenti critici proprio dove il ragionamento controfattuale è più prezioso (casi controintuitivi). I decisori politici che si affidano agli LLM potrebbero ricevere indicazioni sicure ma errate su effetti politici complessi e non ovvi.
• Limiti del Ragionamento Attuale: I risultati suggeriscono che semplicemente richiedere un ragionamento "passo dopo passo" è insufficiente per compiti che richiedono la sovrascrittura di forti priorità intuitive.
• Direzioni Future: Migliorare il ragionamento controfattuale potrebbe richiedere innovazioni che permettano un controllo inibitorio più robusto – la capacità di riconoscere quando un primo istinto è sbagliato e sostenere il ragionamento oltre l'ancoraggio iniziale.

Lo studio conclude che, sebbene gli LLM possano recuperare conoscenze causali, i loro attuali meccanismi deliberativi sono insufficienti per sovrascrivere completamente forti priorità intuitive nei contesti reali di valutazione delle politiche.