💬 NLP

Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

Questo studio valuta se gli errori di ragionamento dei modelli linguistici seguano schemi di fallacia umana previsti dalla Teoria Erotetica del Ragionamento, rivelando che, all'aumentare delle capacità del modello, la proporzione di errori che corrispondono a tali fallacie cresce, mentre l'ordine delle premesse influenza significativamente la produzione di errori in modo simile agli esseri umani.

Autori originali: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus

Pubblicato 2026-03-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un gruppo di studenti molto intelligenti, i "Modelli Linguistici" (come ChatGPT o Claude), che stanno imparando a risolvere enigmi logici. Fino a poco tempo fa, pensavamo che più questi studenti erano bravi e potenti, meno facevano errori stupidi.

Questo studio, scritto da ricercatori di Oxford, ci dice invece una cosa sorprendente: più questi studenti diventano "geni", più tendono a commettere gli stessi errori di ragionamento che fanno gli esseri umani.

Ecco la spiegazione semplice, con qualche analogia per rendere tutto più chiaro.

1. Il Problema: Gli errori "umani" delle macchine

Gli esseri umani non sono macchine perfette. Quando ragioniamo, spesso cadiamo in trappole logiche chiamate fallacie. Ad esempio, se ti dico: "O Marco ha la chiave, o Luca ha il portafoglio" e poi "Luca ha il portafoglio", potresti erroneamente concludere che "Marco non ha la chiave". In realtà, potrebbe averla anche lui! È un errore di logica, ma è un errore molto umano.

I ricercatori si sono chiesti: "Quando le intelligenze artificiali sbagliano, sbagliano come macchine (in modo casuale) o come umani (in modo prevedibile)?"

2. La Teoria: La "Lente" che prevede gli errori

Per rispondere, hanno usato una "lente" teorica chiamata Teoria Erotetica del Ragionamento (ETR).
Immagina l'ETR come una mappa del tesoro degli errori umani. Questa mappa dice esattamente: "Se presenti un problema in questo modo, un essere umano farà questo errore specifico".
I ricercatori hanno usato un software open-source (PyETR) per creare 383 enigmi logici basati su questa mappa. Sapevano in anticipo quali errori gli umani avrebbero fatto.

3. L'Esperimento: La gara tra i modelli

Hanno fatto risolvere questi 383 enigmi a 38 modelli linguistici diversi, dai più piccoli ai più grandi e potenti (come GPT-4.5 o Claude 3.7).
Hanno misurato due cose:

Quanto erano bravi in generale (la loro "punteggio Elo", simile al punteggio degli scacchi).
Quando sbagliavano, facevano l'errore previsto dalla mappa umana (ETR) o un errore a caso?

4. La Scoperta Sorprendente: Più sei forte, più pensi come un umano

Ecco il risultato che ha fatto rumore:

Non c'è correlazione con la precisione: I modelli più potenti non erano necessariamente più corretti nel rispondere a questi enigmi.
C'è una correlazione con il tipo di errore: Man mano che il modello diventava più potente (più "Elo"), la percentuale dei suoi errori che corrispondeva agli errori umani aumentava.

L'analogia:
Immagina un gruppo di corridori.

I corridori lenti (modelli piccoli) corrono male e cadono in modo casuale: scivolano su una buccia di banana, si scontrano con un palo, inciampano.
I corridori veloci (modelli grandi) corrono benissimo, ma quando cadono, cadono nello stesso modo in cui cadono gli altri corridori veloci: tutti si bloccano perché hanno visto un ostacolo che non c'era.
In pratica, i modelli più potenti hanno "imparato" a ragionare così tanto dai dati umani (libri, internet, conversazioni) che hanno assorbito anche i nostri pregiudizi logici. Sono diventati così "umani" da commettere i nostri stessi errori di logica.

5. Il trucco dell'ordine: Cambiare l'ordine delle carte

Un altro risultato interessante riguarda l'ordine delle informazioni.

Negli umani: Se ti presento le premesse di un ragionamento in ordine A-B, potrei sbagliare. Se le metto in ordine B-A, potrei non sbagliare. Il nostro cervello è influenzato dall'ordine.
Nei modelli: Lo studio ha scoperto che anche le intelligenze artificiali soffrono di questo effetto! Se cambi l'ordine delle frasi nel prompt, molti modelli smettono di fare l'errore. È come se, cambiando l'ordine, "svegliassimo" la loro logica e li facessimo uscire dalla trappola.

Perché è importante?

Questo studio ci dà un avvertimento e un'opportunità:

Avvertimento: Non possiamo pensare che rendendo un'IA più potente essa diventerà automaticamente più "razionale" o "oggettiva". Potrebbe diventare solo più brava a imitare i nostri difetti.
Opportunità: Ora sappiamo esattamente quali errori faremo. Possiamo usare questa conoscenza per addestrare le IA a riconoscere queste trappole specifiche e evitarle, creando sistemi che hanno la nostra comprensione umana ma senza i nostri errori logici.

In sintesi: Le intelligenze artificiali stanno diventando così simili a noi da pensare come noi, inclusi i nostri errori di logica. Più sono potenti, più questo è vero. È come se avessero imparato a "pensare" troppo, finendo per cadere nelle stesse trappole mentali che tendiamo noi.

Titolo

Valutazione Teoricamente Fondata dei Modelli di Fallacia Umana nel Ragionamento dei Modelli Linguistici (LLM)

1. Il Problema e la Motivazione

Con l'aumento delle capacità dei modelli linguistici (LLM) nel risolvere compiti complessi, sorge una domanda fondamentale: quando questi modelli commettono errori in problemi di ragionamento controllati, tali errori seguono gli stessi schemi sistematici e ripetibili degli errori umani (le "fallacie")?
La ricerca precedente ha dimostrato che il ragionamento umano non è soggetto a errori casuali, ma segue pattern prevedibili (es. teorie dei modelli mentali, bias cognitivi). Tuttavia, non è chiaro se gli LLM, pur essendo sistemi statistici, replichino queste stesse vulnerabilità cognitive o se i loro errori siano di natura diversa. Comprendere questo aspetto è cruciale sia scientificamente che per il dispiegamento di sistemi AI in contesti ad alto rischio che richiedono un ragionamento affidabile.

2. Metodologia

Gli autori hanno adottato un approccio rigoroso basato su una teoria cognitiva formale e su una pipeline di generazione sintetica per evitare la contaminazione dei dati (data contamination).

Teoria di Riferimento: Lo studio si basa sulla Teoria Erotetica del Ragionamento (ETR - Erotetic Theory of Reasoning) di Koralus. L'ETR postula che il ragionamento umano operi mantenendo alternative disgiuntive e filtrandole quando arrivano nuove informazioni. Questo processo di filtraggio può portare a errori sistematici (fallacie) quando alternative rilevanti vengono eliminate prematuramente.
Strumento Computazionale (PyETR): Gli autori utilizzano PyETR, un'implementazione open-source dell'ETR, per generare programmaticamente problemi di ragionamento. PyETR permette di specificare formalmente i problemi e prevedere esattamente quando e quale fallacia un agente che segue l'ETR commetterebbe.
Generazione del Dataset:
- Sono stati generati 383 problemi di ragionamento formalmente specificati.
- Per evitare che i modelli risolvano i compiti basandosi sulla memorizzazione di esempi di addestramento, i problemi sono stati trasformati in 12 temi narrativi diversi (es. alchimia, creature magiche, particelle quantistiche, elementi materiali).
- Le premesse logiche sono state mappate su attributi tematici (es. "transmutante", "tempo-dilatante") mantenendo la struttura logica intatta ma rendendo il contenuto nuovo e non presente nei dati di addestramento.
Valutazione dei Modelli:
- Sono stati testati 38 modelli LLM di diverse dimensioni e architetture (da Mistral 7B a GPT-4.5, Claude 3.7, ecc.).
- La capacità dei modelli è stata misurata utilizzando il punteggio Chatbot Arena Elo come proxy principale, integrato con stime di calcolo di addestramento e punteggi HELM.
- Per ogni risposta, è stata valutata la correttezza logica (usando PySMT) e, in caso di errore, se l'errore corrispondeva alla fallacia prevista dall'ETR.
Intervento di Ordine: È stata condotta un'analisi di intervento invertendo l'ordine delle premesse per verificare se ciò influenzasse la produzione di fallacie, un fenomeno noto nel ragionamento umano (effetto ordine).

3. Risultati Chiave

Lo studio ha prodotto due risultati principali che sfidano le aspettative comuni sull'evoluzione delle capacità degli LLM:

Correlazione tra Capacità e Fallacie Umane:
- È stata osservata una correlazione positiva statisticamente significativa ( $\rho = 0.360, p = 0.0265$ ) tra la capacità del modello (misurata tramite Chatbot Arena Elo) e la proporzione di errori che sono fallacie previste dall'ETR.
- Interpretazione: Man mano che i modelli diventano più capaci, non commettono semplicemente meno errori; piuttosto, quando sbagliano, i loro errori assomigliano sempre di più a quelli umani sistematici.
- Nota Importante: Non è stata trovata alcuna correlazione significativa tra la capacità del modello e la correttezza assoluta delle risposte sul dataset. Modelli più potenti non hanno mostrato una maggiore accuratezza logica complessiva su questo specifico compito, suggerendo un "soffitto" o limiti fondamentali nell'attuale paradigma di addestramento per questo tipo di ragionamento.
Effetto dell'Ordine delle Premesse:
- L'inversione dell'ordine delle premesse ha ridotto significativamente la produzione di fallacie per molti modelli.
- Questo risultato rispecchia l'effetto ordine osservato negli esseri umani e suggerisce che gli LLM, come gli umani, sono sensibili alla presentazione sequenziale delle informazioni, il che può bloccare o innescare specifici percorsi di ragionamento errati.
Analisi degli Errori:
- L'analisi manuale ha rivelato che i modelli tendono a fissarsi su oggetti ripetuti nelle premesse, ignorando le alternative disgiuntive, e a gestire erroneamente la portata dei quantificatori esistenziali, esattamente come predetto dall'ETR.

4. Contributi Principali

Prima Applicazione Su Larga Scala di PyETR: Il paper fornisce la prima applicazione sostanziale di PyETR per generare compiti di ragionamento sintetici, illimitati e resistenti alla contaminazione, collegando direttamente gli errori dei modelli alle fallacie previste da una teoria cognitiva.
Nuova Metrica di Valutazione: Introduce un approccio che si concentra sulla composizione degli errori (quali tipi di errori vengono commessi) piuttosto che solo sul tasso di errore globale. Questo permette di distinguere tra modelli che falliscono in modo casuale e modelli che falliscono in modo "umano".
Dimostrazione di Sovrapposizione Cognitiva: Fornisce evidenze empiriche che i pattern di errore degli LLM avanzati si sovrappongono a quelli umani, indipendentemente dai meccanismi cognitivi sottostanti (che per gli LLM sono statistici, non cognitivi nel senso biologico).

5. Significato e Implicazioni

Sfida all'Ipotesi dello Scaling: I risultati mettono in discussione l'assunzione che lo scaling (aumento di parametri e dati) porti automaticamente a sistemi di ragionamento normativamente più corretti. Al contrario, modelli più capaci potrebbero semplicemente diventare più abili nel replicare i bias umani.
Allineamento e Sicurezza: Per l'allineamento dell'AI, è cruciale riconoscere che i modelli avanzati potrebbero ereditare le vulnerabilità cognitive umane. In contesti critici (medicina, legge, supporto alle decisioni), è necessario mitigare non solo gli errori logici, ma specificamente questi pattern di fallacia umana.
Sviluppo Futuro: La metodologia proposta offre un framework quantitativo per valutare l'efficacia di interventi (prompt engineering, modifiche architetturali, tecniche di addestramento) volti a correggere specifici errori di ragionamento. Suggerisce anche che i futuri sistemi potrebbero dover essere progettati per combinare la comprensione "umana" con capacità di ragionamento che evitino attivamente le trappole cognitive umane.

In sintesi, il paper dimostra che l'evoluzione degli LLM verso capacità superiori non elimina i bias di ragionamento, ma li rende più simili a quelli umani, offrendo un nuovo paradigma per valutare e migliorare l'affidabilità logica delle intelligenze artificiali.