💬 NLP

Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

Questo studio rivela che, mentre i modelli BERT bidirezionali sono immuni alla "maledizione dell'inversione" che ostacola i modelli GPT auto-regressivi nella deduzione logica simmetrica, entrambe le architetture faticano con il ragionamento deduttivo complesso su multi-insiemi, suggerendo che la selezione del modello debba essere adattata alle specifiche esigenze logiche di compiti quali la costruzione di grafi di conoscenza biomedica.

Autori originali: Da Wu, Jingye Yang, Kai Wang

Pubblicato 2026-07-15

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Da Wu, Jingye Yang, Kai Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I Robot Brillanti e il Labirinto degli Specchi

Immagina di insegnare a un robot a comprendere il mondo. Gli mostri l'immagine di un gatto e dici: "Questo è un gatto". Più tardi, gli mostri la parola "gatto" e gli chiedi: "Quale immagine corrisponde a questa?". Un cervello umano gestisce questo scambio senza sforzo; sappiamo che se "Gatto" equivale a "Immagine", allora "Immagine" equivale a "Gatto". Ma per molto tempo, i cervelli informatici più avanzati, noti come Grandi Modelli Linguistici (LLM), hanno faticato con questo semplice ribaltamento. Erano come studenti che avevano memorizzato una lista di risposte ma non riuscivano a capire la domanda se veniva posta al contrario. Questo specifico difetto è chiamato "Maledizione dell'Inversione" (Reversal Curse).

Per capire perché questo sia importante, pensa a questi modelli IA come a due diversi tipi di lettori. Un tipo è il Decoder (come la famosa serie GPT), che legge una storia da sinistra a destra, prevedendo la parola successiva basandosi solo su ciò che è venuto prima. È bravissimo a scrivere storie o a completare frasi, ma non può sbirciare avanti per vedere l'immagine completa. L'altro tipo è l'Encoder (come BERT), che legge una frase tutta in una volta, osservando ogni parola in relazione a tutte le altre simultaneamente. È come leggere una frase con una lente d'ingrandimento che ti mostra il contesto di ogni singola parola nello stesso momento. Gli scienziati si sono chiesti: se insegniamo a questi robot a fare matematica di base con gruppi di cose — come combinare liste di amici o trovare gli amici che hanno in comune — possono effettivamente ragionare sulla logica, o stanno solo indovinando in base ai modelli che hanno visto in precedenza? Questa domanda è cruciale perché, se vogliamo usare questi robot per costruire mappe complesse di conoscenza (come in medicina o nella scienza), devono essere in grado di ragionare, non solo di ripetere.

La Storia del Paper: Chi Può Ribaltare le Carte?

In questo studio, i ricercatori Da Wu, Jingye Yang e Kai Wang hanno deciso di mettere alla prova questi diversi cervelli robotici. Volevano vedere se la "Maledizione dell'Inversione" fosse un bug permanente o solo una particolarità del modo in cui certi modelli sono costruiti, e se questi modelli potessero effettivamente gestire enigmi logici più complicati che coinvolgono insiemi di elementi.

Il Test dello Specchio: La Maledizione dell'Inversione
Per prima cosa, hanno affrontato la "Maledizione dell'Inversione". Immagina di insegnare a un robot che "Jimmy Carter è il 39° Presidente". Se chiedi al robot: "Chi è il 39° Presidente?", un robot standard (come GPT-3) spesso si blocca. Conosce il fatto in una direzione, ma non riesce a ribaltarlo per rispondere alla domanda inversa. I ricercatori hanno scoperto che i modelli Decoder (come GPT e Llama) soffrono davvero di questa maledizione; faticano a dedurre "B è A" da "A è B".

Tuttove, il modello Encoder (BERT) era una storia diversa. Poiché BERT legge in entrambe le direzioni contemporaneamente, non si è confuso. Quando i ricercatori hanno posto la domanda inversa, BERT ha risposto correttamente circa il 99% delle volte. Si scopre che, se vuoi che un robot comprenda che una relazione funziona in entrambi i sensi, hai bisogno di un cervello che possa guardare l'immagine completa, non solo il passato.

L'Enigma Logico: Mescolare e Abbinare Gruppi
Successivamente, il team è passato a una sfida più difficile: le operazioni sugli insiemi. Hanno insegnato ai robot a eseguire l' "Unione" (combinare due liste di amici in un unico grande elenco) e l' "Intersezione" (trovare gli amici che compaiono in entrambe le liste).

Il Livello Facile (Due Insiemi): Quando ai robot è stato chiesto di combinare o confrontare solo due gruppi di nomi (come "Supereroi" e "Dinosauri"), sia i modelli Decoder (Llama 2 e 3) che il modello Encoder (BERT) hanno fatto un lavoro fantastico. Hanno ottenuto le risposte giuste quasi ogni volta. Sembrava che avessero padroneggiato la logica.
Il Livello Difficile (Tre Insiemi): Poi, i ricercatori hanno reso l'enigma più difficile. Hanno chiesto ai robot di mescolare tre gruppi in una volta sola, o di eseguire un mix di operazioni, come "Trova gli amici in comune tra il Gruppo A e il Gruppo B, poi aggiungi il Gruppo C".

Ecco dove il trucco di magia è crollato. Mentre i robot erano bravi nei compiti semplici con due gruppi, sono inciampati vistosamente quando sono stati coinvolti tre gruppi.

Il Problema di BERT: Il modello BERT sembrava stare barando. Non stava realmente facendo la matematica; stava solo cercando parole che riconosceva. Se una frase conteneva un nome nuovo che non aveva mai visto, diceva immediatamente "No, è sbagliato". Ma se la risposta errata usava nomi che conosceva, si confondeva e diceva "Sì, è giusto". Stava memorizzando il vocabolario, non la logica.
Il Problema di Llama: Anche i modelli Llama (i modelli Decoder) hanno avuto difficoltà. Quando richiesti di trovare gli amici in comune in tre gruppi, spesso elencavano semplicemente tutti i nomi che conoscevano, ignorando le regole specifiche dell'enigma. Sembravano richiamare una lista di nomi visti durante l'addestramento piuttosto che calcolare l'intersezione corretta.

L'Imprevisto GPT-4
I ricercatori hanno testato anche l'ultimo modello disponibile, GPT-4, a codice chiuso. Questo robot era molto migliore degli altri. Poteva gestire la maggior parte degli enigmi logici a tre insiemi correttamente, spesso scomponendo il problema in passi più piccoli per risolverlo. Tuttavia, anche GPT-4 ha iniziato a commettere errori quando il numero di gruppi diventava troppo alto (come sette o otto insiemi), suggerendo che anche i modelli più intelligenti attuali hanno dei limiti quando si tratta di deduzioni complesse e multi-step.

La Grande Conclusione

La lezione principale di questo paper è che non tutti i cervelli IA sono costruiti allo stesso modo e nessun robot è perfetto per ogni lavoro. Se hai bisogno di un modello che comprenda una relazione al contrario (come ribaltare un fatto), un modello bidirezionale come BERT è il vincitore assoluto. Ma se hai bisogno di un modello che scriva una storia o preveda la parola successiva in una frase, i modelli unidirezionali come GPT sono ancora i re.

Anciente di tutto, lo studio suggerisce che, sebbene questi modelli siano incredibili nel individuare schemi e imitare il linguaggio umano, non stanno necessariamente "pensando" nel modo in cui lo fanno gli esseri umani. Quando la logica diventa troppo complessa, tendono a ricadere nella memorizzazione delle parole piuttosto che nella comprensione delle regole. Quindi, se stai costruendo un sistema per creare un grafo di conoscenza medica o risolvere una difficile dimostrazione matematica, non puoi semplicemente fidarti del fatto che il robot lo capisca da solo; devi essere molto attento a come poni le domande e a quale tipo di robot scegli per svolgere il lavoro. I robot stanno diventando più intelligenti, ma hanno ancora molto da imparare sul vero ragionamento logico.

Sintesi Tecnica: Esplorazione della Maledizione della Reversione e del Ragionamento Logico Deduttivo in BERT e nei Modelli LLM basati su GPT

Definizione del Problema

Lo studio affronta la "Maledizione della Reversione" (Reversal Curse), un fenomeno osservato nei modelli linguistici di grandi dimensioni (LLM) autoregressivi basati su decoder, in cui il modello non riesce a dedurre la relazione inversa "B è A" nonostante sia stato addestrato sulla relazione diretta "A è B". Questa limitazione ostacola l'affidabilità di modelli come GPT-3 e Llama-1 in compiti che richiedono l'inferenza logica bidirezionale, come la costruzione di grafi di conoscenza. Inoltre, il documento indaga se questi modelli, insieme ai modelli encoder bidirezionali come BERT, possiedano la capacità di eseguire un ragionamento deduttivo più complesso, specificamente la capacità di eseguire operazioni di intersezione ( $\cap$ ) e unione ( $\cup$ ) di insiemi multipli senza un addestramento esplicito su quelle specifiche combinazioni.

Metodologia

Gli autori hanno condotto un'analisi comparativa tra i modelli encoder bidirezionali (BERT) e i modelli decoder autoregressivi (GPT-4, Llama 2 e Llama 3) attraverso due domini sperimentali primari:

Valutazione della Maledizione della Reversione:
- Dataset: Lo studio ha utilizzato il dataset del paper originale sulla Maledizione della Reversione, adattato per la classificazione del testo. Includeva coppie sintetiche di nomi e descrizioni (ad esempio, "Jimmy Carter" e "39° presidente").
- Modelli: BERT (fine-tuned per la classificazione binaria) è stato confrontato con GPT-3 (175B) e Llama 3.
- Task: I modelli sono stati testati sulla loro capacità di inferire la direzione inversa (Descrizione $\to$ Nome) dopo l'addestramento sulla direzione diretta (Nome $\to$ Descrizione).
Ragionamento sulle Operazioni di Insieme (Intersezione e Unione):
- Generazione dei Dati: Sono stati creati dataset sintetici utilizzando quattro categorie di entità (Supereroi, Dinosauri, Mammiferi, Uccelli).
- Addestramento: I modelli sono stati sottoposti a fine-tuning su compiti "semplici" che coinvolgevano l'intersezione e l'unione di due insiemi ( $A \cap B$ $A \cap B$ e $A \cup B$ $A \cup B$ ).
  - BERT: Addestrato su esempi positivi e negativi per la classificazione binaria.
  - Llama 2/3: Addestrati esclusivamente su esempi positivi per la predizione del next-token (generazione autoregressiva).
- Test: I modelli sono stati valutati su:
  - Casi Semplici: Coppie non viste di due insiemi.
  - Casi Complessi: Operazioni che coinvolgono tre insiemi, inclusi tripli incroci ( $A \cap B \cap C$ ), tripli incroci di unione ( $A \cup B \cup C$ ) e operazioni miste ( $(A \cap B) \cup C$ e $(A \cup B) \cap C$ ).
- Metriche: BERT è stato valutato utilizzando Recall, Precision e punteggi F1. I modelli Llama sono stati valutati utilizzando Exact Match e tassi di corrispondenza dell'80%. GPT-4 è stato valutato euristicamente come modello proprietario.

Risultati Chiave

1. Immunità alla Maledizione della Reversione

BERT: Ha dimostrato un'elevata competenza (circa il 99% di accuratezza) nell'inferire "B è A" da "A è B", confermando che i modelli encoder bidirezionali non soffrono della Maledizione della Reversione.
Modelli Decoder (GPT-3, Llama 3): In linea con la letteratura precedente, questi modelli hanno mostrato un'accuratezza vicina allo zero nella direzione inversa quando si affidavano esclusivamente al pre-training o al fine-tuning su dati in direzione diretta.

2. Prestazioni sulle Operazioni a Due Insiemi

Sia BERT che i modelli Llama si sono comportati in modo robusto nei compiti semplici di intersezione e unione di due insiemi, raggiungendo alti tassi di accuratezza (BERT ~99%, Llama leggermente inferiore ma comunque elevato).
Gli autori notano che, sebbene le prestazioni siano state elevate, rimane incerto se i modelli abbiano realmente compreso la logica o se abbiano semplicemente riconosciuto pattern nelle parole chiave del prompt.

3. Fallimento sulle Operazioni Complesse a Tre Insiemi

Difficoltà Generale: Quando testati su operazioni che coinvolgevano tre insiemi senza un addestramento specifico preventivo su quelle combinazioni, entrambi i tipi di modelli hanno mostrato limitazioni significative.
Bias di BERT: Sebbene BERT mantenesse un'alta accuratezza sui casi positivi, mostrava un forte bias verso il vocabolario. Identificava correttamente i campioni negativi contenenti nuovi nomi (fuori dai set di addestramento), ma faticava quando i campioni negativi contenevano nomi noti disposti in modo errato (ad esempio, sottoinsiemi o sovrainsiemi). Ciò suggerisce che BERT faccia affidamento sulla ricorrenza dei termini piuttosto che sulla struttura logica semantica.
Pattern Matching di Llama: Llama 2 e 3 hanno performato bene solo nel compito di tripla unione ( $A \cup B \cup C$ ), raggiungendo fino al 92% di accuratezza nella predizione di almeno l'80% del set target. Tuttavia, hanno fallito significativamente nelle operazioni di intersezione e nelle operazioni miste, spesso allucinando o richiamando tutte le entità precedentemente viste invece di applicare l'operatore logico.
GPT-4: Ha mostrato una capacità migliore rispetto a Llama 2/3 nel gestire le operazioni a tre insiemi, spesso scomponendo il problema in passaggi. Tuttavia, i tassi di errore aumentavano con il numero di insiemi (ad esempio, sette o otto insiemi) e le prestazioni non erano perfette.

Contributi Chiave

Validazione Empirica della Maledizione della Reversione: Ha confermato che la Maledizione della Reversione è un limite architettonico dei decoder autoregressivi, mentre i modelli encoder bidirezionali (BERT) ne sono immuni.
Benchmark per il Ragionamento Logico: Ha dimostrato che il fine-tuning degli LLM su semplici operazioni di insieme (due insiemi) non si generalizza a composizioni logiche complesse (tre insiemi).
Confronto Architetturale: Ha fornito un confronto diretto mostrando che, mentre i decoder eccellono nella predizione di sequenze, gli encoder possono essere superiori per compiti che richiedono un contesto bidirezionale e la classificazione di relazioni logiche, a patto che il compito possa essere formulato in tal senso.
Analisi del Bias: Ha identificato che gli LLM spesso si affidano al pattern matching superficiale (richiamo di token visti) piuttosto che all'astrazione del ragionamento logico quando si trovano di fronte a nuove combinazioni di entità note.

Significato e Rivendicazioni

Il paper conclude che la selezione di un'architettura LLM (Encoder vs. Decoder) dovrebbe essere guidata dai requisori logici specifici del compito.

Per i Grafi di Conoscenza: Gli autori mettono in guardia contro l'uso esclusivo di modelli decoder autoregressivi per la costruzione di grafi di conoscenza medica o per l'esecuzione di rigorose deduzioni logiche (ad esempio, intersezioni/unioni di termini ontologici). L'incapacità di questi modelli di inferire in modo affidabile le relazioni inverse o di generalizzare operazioni di insieme complesse suggerisce che possano agire più come "assistenti alla scrittura" che replicano pattern appresi, piuttosto che come "macchine logiche".
Per i Compiti Logici: I compiti che richiedono la deduzione inversa o la classificazione di relazioni bidirezionali sono meglio adatti a encoder bidirezionali come BERT.
Limitazioni: Lo studio evidenzia come gli attuali LLM, anche se sottoposti a fine-tuning, manchino della capacità autonoma di dedurre sequenze logiche complesse (come $A \cap (B \cup C)$ ) senza un'esposizione esplicita a strutture simili. Gli autori suggeriscono che raggiungere un ragionamento logico affidabile in ambienti ad alto rischio (ad esempio, diagnosi medica, dimostrazioni matematiche) potrebbe richiedere più del semplice aumento dei dati; potrebbe necessitare di algoritmi avanzati progettati per migliorare la comprensione della struttura logica.