💬 NLP

Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning

Questo studio valuta se i modelli linguistici di grandi dimensioni aderiscono al rasoio di Occam nel ragionamento induttivo e abduittivo, introducendo un nuovo framework e metriche che rivelano come, sebbene capaci in scenari semplici, i modelli faticino a generare ipotesi corrette e parsimoniose in contesti complessi, anche con tecniche avanzate di ragionamento.

Autori originali: Yunxin Sun, Abulhair Saparov

Pubblicato 2026-03-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yunxin Sun, Abulhair Saparov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che deve risolvere un mistero. Hai una serie di indizi (le osservazioni) e devi scoprire la storia più semplice e logica che li spieghi tutti. Questo è il cuore del ragionamento umano: non solo dedurre (se A allora B), ma anche indurre (tutti i gatti che ho visto sono pelosi, quindi forse tutti i gatti sono pelosi) e abduire (ho sentito un verso strano, quindi probabilmente c'è un gatto nel giardino).

C'è una regola d'oro in questo gioco, chiamata Rasoio di Occam: tra tutte le spiegazioni possibili, quella più semplice è quasi sempre quella giusta. Se senti un rumore, è più probabile che sia un gatto che un'astronave aliena che sta imitando un gatto.

Il Problema: I Robot Pensano "Semplice"?

Gli autori di questo studio (Yunxin Sun e Abulhair Saparov) si sono chiesti: i grandi modelli di intelligenza artificiale (LLM), come quelli che usiamo ogni giorno, sono bravi a fare questo tipo di ragionamento? Segue il Rasoio di Occam o tendono a complicare le cose inutilmente?

Per scoprirlo, hanno creato un nuovo "campo di allenamento" chiamato INABHYD.

Come hanno fatto l'esperimento?

Invece di usare domande reali (che potrebbero essere confuse da conoscenze pregresse), hanno inventato un mondo finto, come un videogioco di logica.

Il Mondo: Hanno creato alberi genealogici di creature immaginarie (es. "I Dalpist sono liquidi", "I Gergit sono Dalpist").
Il Mistero: Hanno nascosto alcune regole di questo mondo e hanno dato al modello AI solo una lista di fatti osservati (es. "Jerry è liquido", "Jerry è marrone").
La Sfida: Il modello doveva indovinare le regole nascoste (le ipotesi) che spiegavano perché Jerry aveva quelle caratteristiche.

L'obiettivo non era solo trovare una risposta corretta, ma trovare la risposta più semplice ed elegante.

Cosa hanno scoperto? (I Risultati)

Bravi nei giochi da bambini, confusi nei labirinti:
Quando il mondo finto era semplice (un albero genealogico con pochi rami), i modelli AI erano molto bravi. Trovavano la soluzione giusta quasi sempre. Ma non appena il mondo diventava complesso (molte regole, molti livelli), le loro prestazioni crollavano. Era come se un bambino sapesse contare fino a 10, ma si bloccasse se gli chiedevi di fare un'operazione con numeri a tre cifre.
La trappola della "Semplicità":
Questo è il punto più importante. Spesso, i modelli AI trovavano una spiegazione che funzionava (era tecnicamente corretta), ma era troppo complicata.
- Esempio: Invece di dire "Tutti i Dalpist sono liquidi" (semplice), dicevano "Jerry è un Dalpist, e i Dalpist sono liquidi, e anche i Gergit sono liquidi, e anche i Rompuses..." (complicato e ridondante).
- In sintesi: I modelli riescono a risolvere il mistero, ma non riescono a essere "parsimoniosi". Non tagliano l'eccesso come farebbe un detective umano esperto.
Le "scorciatoie" non aiutano molto:
Hanno provato a usare tecniche avanzate per migliorare il ragionamento (come dare al modello degli esempi prima della domanda o fargli "pensare ad alta voce" passo dopo passo). Queste tecniche hanno aiutato un po', ma non sono state sufficienti a far sì che il modello capisse davvero il valore della semplicità.

Le Errori più comuni

Analizzando gli errori, hanno visto che i modelli tendono a:

Invertire le regole: Dire "Tutti i cani sono mammiferi" invece di "Tutti i mammiferi sono cani" (un errore di direzione).
Inventare cose: Creare regole che non esistono nel mondo finto (allucinazioni).
Ignorare la semplicità: Aggiungere regole inutili quando una sola bastava.

La Conclusione

Il paper ci dice che, sebbene l'Intelligenza Artificiale sia diventata bravissima a fare calcoli e deduzioni logiche rigide, le manca ancora un "senso comune" per la semplicità.

È come se avessimo costruito un'auto da corsa velocissima che può guidare perfettamente su una pista dritta, ma quando deve affrontare una strada piena di curve e ostacoli complessi, tende a fare giri inutili invece di trovare la via più breve. Per l'AI, il Rasoio di Occam è ancora un concetto che fatica a afferrare completamente: sa trovare la risposta, ma fatica a trovare la risposta migliore.

1. Il Problema

Il ragionamento non deduttivo, che comprende il ragionamento induttivo (identificare principi generali da casi specifici) e il ragionamento abduttivo (generare ipotesi per spiegare osservazioni), è fondamentale per la risoluzione di problemi complessi nel mondo reale. Una caratteristica distintiva di questi tipi di ragionamento è l'esistenza di molteplici ipotesi valide; tra queste, le più semplici (quelle che aderiscono al Rasoio di Occam) sono generalmente considerate le più utili e probabili.

Nonostante l'abbondanza di ricerche sulla capacità di ragionamento deduttivo dei Large Language Models (LLM), esiste una lacuna significativa nella valutazione della loro capacità di ragionamento induttivo e abduttivo, in particolare per quanto riguarda l'aderenza al principio di parsimonia (Rasoio di Occam). La domanda di ricerca centrale è: gli LLM sono in grado di ragionare induttivamente e abducativamente e, in tal caso, quanto bene aderiscono al Rasoio di Occam?

2. Metodologia

Per rispondere a questa domanda, gli autori hanno sviluppato un framework completo per la generazione sintetica di dati di valutazione e una nuova metrica automatica.

A. Dataset INABHYD (Inductive and Abductive Hypothesis Discovery)

Gli autori hanno creato un nuovo dataset benchmark, INABHYD, generato sinteticamente per evitare contaminazioni dai dati di addestramento.

Struttura: Ogni esempio consiste in un modello del mondo (sotto forma di un albero ontologico in logica del primo ordine) e un insieme di osservazioni.
Compito: L'agente (LLM) deve produrre ipotesi che spieghino tutte le osservazioni date un modello del mondo incompleto (alcuni assiomi sono nascosti e devono essere inferiti).
Variabili di controllo: La difficoltà è controllata variando l'altezza dell'albero ontologico (da 1 a 4) e il numero di ipotesi necessarie (singola o multipla).
Tipi di task:
1. Inferire una proprietà (Induttivo).
2. Inferire una relazione di appartenenza (Abducativo).
3. Inferire una relazione di sottotipo (Induttivo/Abducativo).

B. Metrica di Qualità delle Ipotesi

È stata proposta una nuova metrica automatica per quantificare l'aderenza al Rasoio di Occam. La qualità $q(H)$ di un insieme di ipotesi $H$ è definita come il rapporto tra:

La media del numero di volte in cui le ipotesi generate vengono utilizzate nei proof tree (alberi di dimostrazione) per spiegare le osservazioni.
La media del numero di volte in cui le ipotesi "ground-truth" (quelle ottimali e più semplici) vengono utilizzate.

Un punteggio di 1 indica un'ipotesi perfetta (corretta e parsimoniosa), mentre punteggi inferiori indicano ipotesi corrette ma non ottimali (troppo complesse) o errate.

C. Sperimentazione

Sono stati valutati 7 modelli LLM all'avanguardia (inclusi GPT-5.4, O3, Llama3-70B, Gemma3-27B, DeepSeek-V3, GPT-4O, DeepSeek-R1). Le valutazioni hanno considerato:

Accuratezza Debole (Weak Accuracy): Le ipotesi spiegano tutte le osservazioni?
Accuratezza Forte (Strong Accuracy): Le ipotesi corrispondono esattamente alle ipotesi ground-truth (le più semplici)?
Qualità: Punteggio basato sul Rasoio di Occam.
Tecniche di potenziamento: Sono stati testati l'apprendimento in contesto (In-Context Learning - ICL) con dimostrazioni "in-distribution" e "out-of-distribution", nonché prompt avanzati come Chain-of-Thought (CoT) e Buffer-of-Thought (BoT).

3. Risultati Chiave

I risultati sperimentali rivelano limitazioni significative negli LLM attuali:

Successo in scenari semplici: Gli LLM raggiungono un'alta accuratezza (sia debole che forte) in scenari con alberi ontologici di bassa profondità (altezza 1) e una singola ipotesi.
Crollo delle prestazioni nella complessità: Quando la struttura dell'albero ontologico diventa complessa (altezza $\ge$ 2) o richiede multiple ipotesi, l'accuratezza crolla drasticamente (da >80% a <50% per molti modelli).
Divario tra correttezza e parsimonia: In molti casi, gli LLM producono ipotesi validhe (spiegano le osservazioni, alta accuratezza debole) ma non di alta qualità (bassa accuratezza forte e basso punteggio di qualità). Spesso generano ipotesi ridondanti o più complesse del necessario, fallendo nell'applicare il Rasoio di Occam.
Limiti delle tecniche di potenziamento:
- L'In-Context Learning con dimostrazioni "in-distribution" migliora leggermente le prestazioni, aiutando i modelli a navigare meglio la gerarchia ontologica.
- Le tecniche di RLVR (Reinforcement Learning with Verifiable Rewards) e i modelli di ragionamento avanzati (come O3 e GPT-5.4) mostrano miglioramenti, ma il divario tra accuratezza debole e forte rimane persistente.
Analisi degli errori: Le analisi manuali e automatiche hanno identificato quattro errori principali:
- Direzione ontologica errata (es. invertire "Tutti i gatti sono mammiferi" in "Tutti i mammiferi sono gatti").
- Ignorare l'ontologia e generare ipotesi non necessarie.
- Ricadere in ipotesi banali (usare l'osservazione stessa come ipotesi).
- Allucinazione di entità (concetti o proprietà inesistenti).

4. Contributi Principali

Framework di Valutazione: Introduzione di un framework sintetico flessibile per generare problemi di ragionamento induttivo/abducativo esprimibili in logica del primo ordine, controllando rigorosamente la complessità.
Dataset INABHYD: Creazione di un benchmark di oltre 2.000 domande di ragionamento con modelli del mondo fittizi per evitare bias di memorizzazione.
Metrica Quantitativa del Rasoio di Occam: Sviluppo di una metrica automatica per valutare la "parsimonia" delle ipotesi, andando oltre la semplice correttezza binaria.
Analisi Empirica: Fornitura di evidenze sistematiche che gli LLM attuali, pur essendo capaci di ragionamento non deduttivo di base, faticano a produrre ipotesi di alta qualità (parsimonie) in scenari complessi, e che le tecniche attuali di potenziamento del ragionamento non risolvono completamente questo problema.

5. Significato e Implicazioni

Questo lavoro evidenzia una limitazione fondamentale degli attuali LLM: la capacità di selezionare la spiegazione più semplice ed elegante tra molte possibili, un tratto distintivo dell'intelligenza umana e del metodo scientifico.

Per la ricerca: Suggerisce che le tecniche attuali (CoT, RLVR) sono ottimizzate principalmente per la deduzione e la correttezza logica, ma non per l'ottimizzazione della complessità delle ipotesi.
Per le applicazioni: Avverte gli sviluppatori che gli LLM potrebbero non essere affidabili in domini che richiedono scoperta scientifica o diagnosi medica, dove la parsimonia è cruciale per evitare spiegazioni eccessivamente complesse o errate.
Futuro: Apre la strada a nuove ricerche su come addestrare o istruire i modelli a privilegiare la semplicità e a navigare spazi di ipotesi complessi in modo più efficiente.

In sintesi, il paper conclude che, sebbene gli LLM possano "ragionare", non lo fanno ancora con la parsimonia richiesta dal Rasoio di Occam in scenari complessi, rendendo la generazione di ipotesi di alta qualità una sfida aperta.