Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

Questo studio introduce un nuovo dataset per il compito di selezione di Wason che codifica la modalità deontica, rivelando che i grandi modelli linguistici, proprio come gli esseri umani, ragionano meglio con regole deontiche e commettono errori simili al bias di abbinamento.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza un background tecnico.

🧠 L'Esame di Logica per le Intelligenze Artificiali: Quando le Regole Diventano "Divieti"

Immagina di avere un gruppo di studenti molto intelligenti, ma un po' strani: sono le Intelligenze Artificiali (LLM). Fino a poco tempo fa, sapevamo che questi studenti erano bravissimi a scrivere poesie o a riassumere libri. Ma quanto sono bravi a ragionare?

Gli scienziati di questo studio (dall'Università di Keio e di Tokyo) hanno deciso di metterli alla prova con un famoso test psicologico chiamato "Il Compito di Selezione di Wason".

🃏 Il Gioco delle Carte: La Regola Segreta

Immagina un gioco con quattro carte sul tavolo. Ogni carta ha un numero da una parte e una lettera dall'altra.
Il "Giudice" (l'IA) deve verificare se una regola è vera o falsa.

• Scenario Noioso (Regola Descrittiva): "Se una carta ha un numero dispari, allora dall'altra parte c'è una lettera maiuscola."

  • Le carte: 7, 12, D, d.
  • Il problema: La maggior parte delle persone (e delle vecchie IA) sbaglia. Pensano di dover controllare il "7" (giusto) e la "D" (sbagliato, perché la D è una maiuscola, quindi conferma la regola, non la smentisce). La risposta giusta sarebbe controllare il "7" e la "d" (per vedere se c'è un numero dispari dietro una minuscola, il che romperebbe la regola).

• Scenario Utile (Regola Deontica): "Se un paziente ha sangue, allora l'infermiere deve indossare i guanti."

  • Le carte: Sangue, No sangue, Guanti, No guanti.
  • Il risultato: Qui le persone (e le nuove IA) sono molto più brave! Capiscono subito che bisogna controllare il "Sangue" (per vedere se ci sono i guanti) e il "No guanti" (per vedere se c'è sangue, il che sarebbe una violazione).

🔍 Cosa hanno scoperto gli scienziati?

Lo studio ha scoperto due cose fondamentali su come ragionano queste intelligenze artificiali:

1. Le IA sono "umanissime" quando ci sono regole sociali
Proprio come gli esseri umani, le IA ragionano molto meglio quando la regola riguarda obblighi, permessi o divieti (come indossare i guanti o non entrare in una stanza).

• L'analogia: Immagina che le IA abbiano due "cervelli". Uno è un robot freddo che fatica con la logica astratta (i numeri e le lettere). L'altro è un "sociale" che capisce perfettamente le regole della convivenza ("Se fai X, devi fare Y"). Quando il problema diventa sociale, le IA si svegliano e funzionano meglio.

2. Il "Bias del Match" (La trappola delle parole)
Perché le IA sbagliano? Gli scienziati volevano capire se sbagliavano perché volevano confermare la regola (pensare: "Vediamo se ho ragione!") o perché si facevano ingannare dalle parole stesse.

• L'ipotesi della conferma: "Voglio trovare prove che la mia idea è giusta."
• L'ipotesi del "Match" (Corrispondenza): "Voglio scegliere le carte che hanno le stesse parole scritte sulla regola, ignorando se c'è un 'NON' davanti."

Il verdetto: Le IA non cercano di confermare la regola. Si fanno ingannare dalle parole!
Se la regola dice "Se c'è sangue...", l'IA tende a scegliere la carta "Sangue" e la carta "Guanti" (perché le parole corrispondono), anche se la logica dice che dovrebbe scegliere "Sangue" e "No Guanti".
È come se l'IA dicesse: "Vedo la parola 'Sangue' nella regola, quindi scelgo la carta 'Sangue'. Vedo la parola 'Guanti', quindi scelgo anche quella!", ignorando la logica complessa del "NON".

🚀 Perché è importante?

Questo studio ci dice che le Intelligenze Artificiali non sono solo calcolatrici perfette. Hanno dei "pregiudizi" simili ai nostri:

1. Sono migliori con le regole sociali: Capiscono meglio le leggi e i divieti rispetto alla matematica astratta.
2. Sono distratte dalle parole: Se una parola appare nella regola, tendono a fissarsi su quella, ignorando le negazioni (come il "NON").

In sintesi: Le IA stanno diventando molto brave a ragionare, ma quando si tratta di logica pura, a volte si comportano come un bambino che gioca a carte: si fida di ciò che vede scritto piuttosto che di ciò che significa.

Questo ci aiuta a capire che, per rendere le IA più intelligenti, non dobbiamo solo insegnar loro più dati, ma dobbiamo aiutarle a capire la differenza tra "ciò che è scritto" e "ciò che è logicamente vero", specialmente quando le regole cambiano da "fatti" a "obblighi".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task", tradotta e strutturata in italiano.

1. Il Problema

Con il rapido avanzamento delle capacità linguistiche dei Large Language Models (LLM), l'attenzione si è spostata verso la valutazione delle loro abilità di ragionamento. Sebbene sia ben documentato che gli esseri umani mostrano una specificità di dominio nel ragionamento (performando meglio in contesti normativi/deontici rispetto a quelli puramente formali o descrittivi), è ancora incerto se gli LLM esibiscano lo stesso fenomeno.

Inoltre, nella psicologia cognitiva, l'origine degli errori nel ragionamento condizionale è dibattuta tra due bias principali:

• Bias di conferma: La tendenza a cercare prove che confermano la regola.
• Bias di abbinamento (Matching Bias): La tendenza a ignorare le negazioni e selezionare gli elementi che corrispondono lessicalmente alla regola stessa.

Studi precedenti hanno confrontato umani e LLM, ma non hanno sistematicamente distinto tra regole deontiche (normative) e descrittive, né hanno chiarito quale dei due bias spieghi meglio gli errori degli LLM.

2. Metodologia

Gli autori hanno progettato un esperimento rigoroso basato sul Compito di Selezione di Wason, un paradigma standard in psicologia cognitiva per testare il ragionamento condizionale ("se p, allora q").

• Dataset: È stato creato un nuovo dataset di 160 problemi, suddivisi equamente tra:
  • Regole Deontiche: Contengono modali normativi (obblighi, divieti, es. "se c'è sangue, l'infermiere deve indossare i guanti").
  • Regole Descrittive: Affermazioni fattuali senza modali normativi (es. "se il numero è dispari, la lettera è maiuscola").
  • Ogni categoria includeva quattro pattern di polarità logica per testare la negazione: Pos-Pos ($p \to q$), Pos-Neg ($p \to \neg q$), Neg-Pos ($\neg p \to q$), Neg-Neg ($\neg p \to \neg q$).
• Modelli Testati: Sono stati valutati 5 famiglie di modelli open-weight, inclusi modelli con capacità di ragionamento (es. gpt-oss, Qwen 3) e modelli standard (es. Gemma 3, Llama 3.3, OLMo 2).
• Prompting: I modelli sono stati testati in tre configurazioni: Zero-Shot, Few-Shot (con esempi intenzionalmente errati per evitare l'imitazione meccanica) e Chain-of-Thought (CoT).
• Metrica di Valutazione: L'accuratezza è stata calcolata con criterio di "esatta corrispondenza" (exact-match), richiedendo la selezione di tutte e solo le carte corrette per falsificare la regola.
• Analisi dei Bias: Per distinguere tra i bias, gli autori hanno analizzato le percentuali di selezione delle carte in base alla polarità della regola. Se un modello mostra il bias di abbinamento, tenderà a selezionare le carte che contengono i termini letterali della regola ($p$ e $q$), ignorando le negazioni ($\neg p$ e $\neg q$), indipendentemente dalla logica formale.

3. Contributi Chiave

1. Nuovo Dataset Deontico: Introduzione di un dataset strutturato che codifica esplicitamente la modalità deontica, permettendo un confronto sistematico tra regole normative e descrittive.
2. Valutazione Completa: Una valutazione aggiornata di modelli LLM moderni (inclusi quelli specifici per il ragionamento) su questo compito, superando studi precedenti che utilizzavano modelli più piccoli o meno capaci.
3. Conferma della Specificità di Dominio: Dimostrazione empirica che gli LLM, come gli umani, ottengono prestazioni significativamente migliori con le regole deontiche rispetto a quelle descrittive.
4. Distinzione dei Bias: Evidenza che gli errori degli LLM sono meglio spiegati dal bias di abbinamento (ignorare la negazione) piuttosto che dal bias di conferma.

4. Risultati Principali

• Specificità di Dominio:

  • Tutti i modelli hanno mostrato un'accuratezza superiore sui problemi deontici rispetto a quelli descrittivi.
  • Il miglioramento è variato dal 5,0% al 41,2% a seconda del modello e del tipo di prompt.
  • I modelli più grandi e quelli con capacità di ragionamento (es. gpt-oss-120b, Qwen 3) hanno raggiunto quasi il 100% di accuratezza sulle regole deontiche, mentre le prestazioni sulle regole descrittive sono rimaste inferiori.

• Analisi dei Bias (Conferma vs. Abbinamento):

  • Nessuna evidenza di Bias di Conferma: I modelli non hanno mostrato una preferenza sistematica per le carte che confermano la regola (TA e TC) quando queste erano logicamente errate.
  • Evidenza forte di Bias di Abbinamento: I modelli tendevano a selezionare le carte che corrispondevano lessicalmente ai termini della regola, ignorando le negazioni.
    • Esempio: In una regola del tipo "Se non è p, allora q", i modelli tendevano a selezionare la carta "p" (che non corrisponde alla negazione nella regola) invece di quella corretta, mostrando una sensibilità insufficiente alla negazione.
  • Questo pattern è stato osservato sia nei modelli di ragionamento che in quelli non specializzati, suggerendo che il bias di abbinamento è una caratteristica intrinseca del ragionamento condizionale negli LLM attuali.

5. Significato e Implicazioni

Questo studio ha diverse implicazioni fondamentali per la ricerca sull'IA e la psicologia cognitiva:

• Parallelismo Uomo-Macchina: Suggerisce che gli LLM, pur essendo modelli statistici addestrati su grandi corpora, replicano le stesse limitazioni cognitive umane (specificità di dominio e bias di abbinamento) nel ragionamento logico. Questo supporta l'ipotesi che il ragionamento "intuitivo" possa emergere anche in architetture neurali senza meccanismi simbolici espliciti.
• Sfida della Negazione: Conferma che la gestione delle negazioni nel ragionamento condizionale rimane una sfida critica per i modelli basati su Transformer, anche per quelli di grandi dimensioni.
• Prospettive Future: Indica la necessità di investigare le cause meccanicistiche di questi bias (es. bias induttivi dell'architettura o dati di addestramento) e di estendere l'analisi ad altri tipi di ragionamento condizionale e a diverse modalità normative (permessi vs obblighi).

In sintesi, il paper dimostra che gli LLM non sono ragionatori logici puri, ma mostrano una dipendenza dal contesto (dominio) e pattern di errore sistematici che rispecchiano le euristiche umane, in particolare la difficoltà nel processare le negazioni logiche a favore di un abbinamento lessicale superficiale.