Abductive Reasoning with Syllogistic Forms in Large Language Models

Questo studio valuta la capacità dei modelli linguistici di grandi dimensioni di eseguire ragionamenti abduttivi, convertendo un dataset sillogistico per verificare se tali modelli presentino bias simili a quelli umani e per sottolineare l'importanza del ragionamento contestualizzato oltre la deduzione formale.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque, anche senza un background tecnico.

Immagina che le Intelligenze Artificiali (come ChatGPT) siano degli studenti molto intelligenti che hanno letto quasi tutto internet. Per anni, gli scienziati hanno testato questi studenti chiedendo loro di fare deduzioni: ovvero, di applicare regole rigide come in un gioco di scacchi o in un'equazione matematica.
Esempio: "Tutti i gatti hanno le zampe. Questo è un gatto. Quindi, questo ha le zampe."

Il nuovo studio di questi ricercatori giapponesi si chiede: "Ma cosa succede se chiediamo loro di fare l'opposto? Se chiediamo loro di fare 'abduzioni'?"

Cos'è l'Abduzione? (Il Detective vs. Il Matematico)

Per capire la differenza, usiamo un'analogia:

1. La Deduzione (Il Matematico): È come seguire una ricetta. Se metti gli ingredienti giusti nel forno, il risultato è certo. È logica pura.
2. L'Abduzione (Il Detective): È come risolvere un crimine. Vedi un fatto (la scena del crimine) e devi indovinare la causa più probabile, anche se non hai tutte le prove.
   • Fatto: Il pavimento è bagnato.
   • Regola: Se piove, il pavimento si bagna.
   • Ipotesi (Abduzione): "Forse ha piovuto!" (Potrebbe essere vero, ma potrebbe anche essere che qualcuno ha versato l'acqua. È un'ipotesi, non una certezza).

Il punto centrale della ricerca è: Le IA sono bravi "Matematici" (deduzione), ma sono bravi anche "Detective" (abduzione)?

L'Esperimento: Il Gioco del "Perché?"

I ricercatori hanno creato un gioco basato su frasi logiche (sillogismi) per testare le IA. Hanno preso delle frasi logiche perfette e le hanno capovolte per trasformarle in indovinelli.

Hanno chiesto a quattro modelli di intelligenza artificiale (tra cui GPT-4 e Llama) di leggere due frasi e scegliere la terza che le spiegava meglio:

• Regola: "Tutto ciò che è nel sacchetto è bianco."
• Osservazione: "Queste palle sono bianche."
• Domanda: "Perché sono bianche? Sono state nel sacchetto?"

Hanno creato tre tipi di scenari:

1. Coerenti: Cose che hanno senso nella vita reale (es. "Le persone felici sorridono").
2. Incoerenti: Cose assurde che contraddicono il nostro buon senso (es. "Tutto ciò che è fatto in quella pasticceria è piccante").
3. Neutri: Cose senza un forte legame emotivo o culturale.

Cosa è Emerso? (I Risultati Sorprendenti)

Ecco le scoperte principali, spiegate con metafore:

1. Le IA sono "Detective" meno bravi dei "Matematici"
Quando dovevano fare deduzioni (logica pura), le IA andavano bene, specialmente GPT-4. Ma quando dovevano fare abduzioni (indovinare la causa), le loro prestazioni sono crollate.

• Metafora: È come se un giocatore di scacchi fosse un campione del mondo, ma se gli chiedessi di giocare a "Indovina chi" (dove devi fare ipotesi su chi è nascosto), si bloccasse e dicesse cose senza senso.

2. Il "Bias della Fede" (L'IA crede alle bugie)
Le IA, proprio come gli umani, si lasciano ingannare da ciò che sembrano vero, anche se la logica dice il contrario.

• Se la storia era assurda (es. "I dolci sono piccanti"), l'IA tendeva a dire: "No, non ha senso", anche se la logica della frase era corretta.
• Se la storia era realistica, l'IA accettava la logica più facilmente.
• Conclusione: Le IA non sono macchine fredde e logiche; hanno le stesse "pregiudizi" degli umani. Se una cosa sembra strana, lo scartano, anche se logicamente possibile.

3. Il problema del "Nessuna delle due"
C'era una categoria di domande dove la risposta corretta era "Nessuna delle due è una buona spiegazione" (perché l'ipotesi non spiega il fatto).

• Le IA facevano una fatica terribile qui. Spesso sceglievano una risposta sbagliata (spesso quella negativa) invece di ammettere che non c'era una soluzione logica.
• Metafora: È come se un detective, di fronte a un caso irrisolvibile, inventasse un colpevole a caso pur di non dire "Non lo so".

4. L'IA confonde i giochi
I ricercatori hanno scoperto che le IA spesso trattavano gli indovinelli da "Detective" (abduzione) come se fossero esercizi di matematica (deduzione). Cercavano una certezza assoluta dove invece serviva solo un'ipotesi plausibile.

Perché è importante?

Questo studio ci dice che le Intelligenze Artificiali sono ancora molto lontane dall'avere il "senso comune" umano.

• Siamo bravi a fare ipotesi basate su esperienze di vita (abduzione).
• Le IA sono brave a seguire regole, ma faticano a "immaginare" il perché delle cose quando le regole non sono perfette.

In sintesi: Se vuoi che un'IA ti aiuti a risolvere un caso poliziesco o a capire il "perché" di una situazione complessa nella vita reale, devi sapere che oggi tende a essere un po' goffa, confusa e troppo influenzata da ciò che le sembra "normale", proprio come un bambino che impara a ragionare.

Il futuro della ricerca sta nel insegnare alle IA a essere più flessibili, a capire che non tutte le risposte devono essere certezze matematiche, ma possono essere semplici, utili ipotesi.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Abductive Reasoning with Syllogistic Forms in Large Language Models" in lingua italiana.

Titolo: Ragionamento Abduttivo con Forme Sillogistiche nei Modelli Linguistici su Grande Scala (LLM)

1. Il Problema

La ricerca sull'intelligenza artificiale si è concentrata intensamente sul confronto tra le capacità di ragionamento dei Large Language Models (LLM) e quelle umane, con un'enfasi predominante sul ragionamento deduttivo. Studi precedenti hanno dimostrato che gli LLM, pur eccellendo in molti compiti, replicano i bias cognitivi umani (come il "bias di credenza", dove si scartano inferenze logicamente valide se contraddicono il senso comune).

Tuttavia, criticare gli LLM per questi bias nel contesto della sola deduzione potrebbe essere ingiusto, poiché il ragionamento umano quotidiano non è puramente deduttivo, ma include ampiamente l'abduzione. L'abduzione è il processo di formazione di ipotesi esplicative a partire da informazioni limitate (es. "Perché il treno è in ritardo?").
Il problema centrale affrontato dal paper è la mancanza di una valutazione sistematica delle capacità degli LLM nel ragionamento abduttivo. Sebbene l'abduzione sia fondamentale per la scoperta di nuove conoscenze e per l'AI spiegabile (XAI), non è stata testata con la stessa rigore della deduzione, specialmente in contesti strutturati come i sillogismi.

2. Metodologia

Gli autori hanno sviluppato un approccio metodologico rigoroso per valutare e confrontare deduzione e abduzione:

• Definizione del Task: L'abduzione è stata formalizzata come l'inverso della deduzione sillogistica. Partendo da un sillogismo deduttivo valido (Premessa Maggiore + Premessa Minore $\rightarrow$ Conclusione), il task abduttivo richiede di derivare la Premessa Minore (ipotesi) partendo dalla Premessa Maggiore (Regola) e dalla Conclusione (Osservazione).
  • Esempio:
    • Regola: Tutte le cose nella borsa sono bianche.
    • Osservazione: Queste palle sono bianche.
    • Ipotesi (Abduzione): Queste palle erano nella borsa.
• Costruzione del Dataset:
  • È stato creato un dataset contenente 216 problemi abduttivi e 216 problemi deduttivi corrispondenti.
  • I problemi sono stati generati utilizzando 27 triple di termini (Soggetto, Predicato Osservabile, Predicato Non Osservabile).
  • Sono stati identificati 8 pattern logici (4 corretti per l'abduzione, 4 errati/validi solo per la deduzione).
  • Ogni problema è stato etichettato in base al bias di credenza: Coerente (la regola corrisponde al senso comune), Incoerente (la regola contraddice il senso comune) o Neutrale.
• Modelli Valutati: Sono stati testati quattro modelli SOTA (State-of-the-Art) senza fine-tuning, utilizzando l'apprendimento in contesto (in-context learning):
  • GPT-3.5 e GPT-4 (OpenAI).
  • Llama-3-8B e Llama-3-70B (Meta).
• Setting Sperimentali:
  • Zero-shot: Il modello riceve solo la descrizione del task e il problema.
  • Few-shot: Il modello riceve 8 esempi di pattern abduttivi prima del problema target.
  • I modelli dovevano scegliere tra tre opzioni: l'ipotesi positiva, la sua negazione, o "Nessuna delle due è una buona spiegazione".

3. Risultati Chiave

I risultati sperimentali hanno rivelato diverse scoperte significative:

• Performance Inferiore nell'Abduzione: Contrariamente all'aspettativa che gli LLM, addestrati su linguaggio naturale, potessero essere migliori nell'abduzione (più vicina al ragionamento umano quotidiano), le prestazioni sono state significativamente peggiori rispetto alla deduzione.
  • Nel setting Zero-shot, GPT-4 ha raggiunto un'accuratezza del 41,67% nell'abduzione contro il 72,22% nella deduzione.
  • Nel setting Few-shot, Llama-3-70B ha mostrato il miglioramento più marcato, raggiungendo il 75,46% in abduzione, ma rimanendo comunque inferiore al 84,72% ottenuto nella deduzione.
• Difficoltà con le Risposte "Nessuna" (Neither): I modelli hanno avuto grandi difficoltà quando la risposta corretta era "Nessuna delle due è una buona spiegazione". Nell'abduzione, GPT-4 ha risposto "Nessuna" solo nello 0% dei casi in cui era la risposta corretta, preferendo spesso la negazione.
• Presenza del Bias di Credenza: Gli LLM mostrano bias simili a quelli umani anche nell'abduzione. L'accuratezza è scesa drasticamente (circa il 10% in meno) nei problemi Incoerenti (dove la regola contraddice il senso comune) rispetto a quelli coerenti o neutri.
• Influenza della Negazione (Atmosphere Effect): C'è una tendenza marcata a scegliere risposte negative quando la Regola o l'Osservazione contengono negazioni ("no", "not"), anche quando non è logicamente corretto. Questo effetto è più pronunciato nell'abduzione che nella deduzione.
• Confusione tra Abduzione e Deduzione: Analizzando le risposte, si è notato che gli LLM tendono a trattare i problemi abduttivi come deduttivi. Tuttavia, l'accordo tra le loro risposte e la logica deduttiva non è perfetto, indicando che non stanno semplicemente applicando la deduzione, ma faticano a gestire la natura ipotetica dell'abduzione.

4. Contributi Principali

1. Nuovo Dataset: Introduzione di un dataset strutturato specificamente per testare il ragionamento abduttivo negli LLM, basato sulla trasformazione di sillogismi deduttivi.
2. Valutazione Comparativa: Prima valutazione sistematica che confronta direttamente le capacità di deduzione e abduzione negli stessi modelli, dimostrando che l'abduzione è un compito più difficile per gli LLM attuali.
3. Analisi dei Bias: Dimostrazione che i bias di credenza (belief bias) e gli errori legati alla negazione (atmosphere effects) sono presenti anche nel ragionamento abduttivo, suggerendo che questi bias sono intrinseci al modello e non solo un artefatto della deduzione.
4. Implicazioni per l'XAI: Fornisce una base teorica per la ricerca sull'AI spiegabile, evidenziando che la capacità di rispondere a domande "perché" (abduzione) è attualmente un punto debole degli LLM.

5. Significato e Implicazioni Future

Questo studio è cruciale per comprendere i limiti attuali degli LLM nel ragionamento complesso. Il fatto che gli LLM performino peggio nell'abduzione (un processo più "naturale" per gli umani) rispetto alla deduzione suggerisce che i modelli attuali, pur essendo potenti generatori di testo, non hanno ancora sviluppato una vera capacità di formulazione di ipotesi o di ragionamento causale inverso robusto.

Le implicazioni principali includono:

• Sviluppo di AI Spiegabile (XAI): Per costruire sistemi che possano spiegare le proprie decisioni o rispondere a domande causali, è necessario migliorare le capacità abduttive, non solo deduttive.
• Direzioni Future: Gli autori suggeriscono futuri lavori per esplorare l'abduzione come "Inference to the Best Explanation" (IBE) con più candidati, approcci probabilistici (Bayesiani) e l'estensione a sillogismi più complessi e condizionali. Inoltre, è necessaria una comparazione diretta con le prestazioni umane su questi stessi task per calibrare meglio le aspettative.

In sintesi, il paper evidenzia che, sebbene gli LLM abbiano fatto passi da gigante, la loro capacità di "pensare come scienziati" (formulare ipotesi da osservazioni limitate) rimane un'area critica da migliorare rispetto alla loro capacità di "pensare come matematici" (dedurre conclusioni da premesse).