💬 NLP

Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

Deze studie onthult dat hoewel bidirectionele BERT-modellen immuun zijn voor de "Reversal Curse" die auto-regressieve GPT-modellen belemmert bij symmetrische logische deductie, beide architecturen worstelen met complexe multi-set deductieve redenering, wat suggereert dat modelselectie afgestemd moet worden op de specifieke logische eisen van taken zoals de constructie van biomedische kennisgrafen.

Oorspronkelijke auteurs: Da Wu, Jingye Yang, Kai Wang

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Da Wu, Jingye Yang, Kai Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Slimme Bots en de Spiegelmaze

Stel je voor dat je een robot leert om de wereld te begrijpen. Je laat het een foto van een kat zien en zegt: "Dit is een kat." Later laat je het woord "kat" zien en vraag je: "Welke foto hoort bij dit woord?" Een menselijk brein handelt deze omschakeling moeiteloos af; wij weten dat als "Kat" gelijk is aan "Foto", dan "Foto" ook gelijk is aan "Kat". Maar voor een lange tijd hadden de meest geavanceerde computerbreinen, bekend als Large Language Models (LLM's), moeite met deze eenvoudige omkering. Ze waren als studenten die een lijst met antwoorden uit hun hoofd hadden geleerd, maar niet de vraag konden beantwoorden als deze achterstevoren werd gesteld. Deze specifieke fout wordt de "Reversal Curse" (de omkeringsvloek) genoemd.

Om te begrijpen waarom dit belangrijk is, moet je deze AI-modellen zien als twee verschillende soorten lezers. Het ene type, de Decoder (zoals de beroemde GPT-serie), leest een verhaal van links naar rechts en voorspelt het volgende woord op basis van wat er eerder kwam. Het is geweldig in het schrijven van verhalen of het afmaken van zinnen, maar het kan niet vooruitkijken om het hele plaatje te zien. Het andere type, de Encoder (zoals BERT), leest een zin in één keer en bekijkt elk woord in relatie tot elk ander woord tegelijkertijd. Het is alsof je een zin leest met een vergrootglas dat de context van elk woord tegelijkertijd laat zien. Wetenschappers hebben zich afgevraagd: als we deze robots leren om basiswiskunde te doen met groepen dingen — zoals het combineren van vriendenlijsten of het vinden van de vrienden die zij gemeen hebben — kunnen ze dan echt door de logica nadenken, of zijn ze gewoon aan het gokken op basis van patronen die ze eerder hebben gezien? Deze vraag is cruciaal, want als we deze robots willen gebruiken om complexe kenniskaarten te bouwen (zoals voor de geneeskunde of wetenschap), moeten ze kunnen redeneren, niet alleen herhalen.

Het Verhaal van het Papier: Wie Kan de Rollen Omdraaien?

In deze studie besloten onderzoekers Da Wu, Jingye Yang en Kai Wang deze verschillende robotbreinen op de proef te stellen. Ze wilden zien of de "Reversal Curse" een permanente bug was of slechts een eigenaardigheid van hoe bepaalde modellen zijn gebouwd, en of deze modellen daadwerkelijk ingewikkelde logische puzzels met verzamelingen van items aan konden.

De Spiegeltest: De Reversal Curse
Eerst pakten ze de "Reversal Curse" aan. Stel je voor dat je een robot leert dat "Jimmy Carter de 39e president is". Als je de robot vraagt: "Wie is de 39e president?", bevriest een standaard robot (zoals GPT-3) vaak. Hij kent het feit in één richting, maar kan het niet omdraaien om de omgekeerde vraag te beantwoorden. De onderzoekers ontdekten dat de Decoder-modellen (zoals GPT en Llama) inderdaad last hebben van deze vloek; ze hebben moeite om "B is A" af te leiden uit "A is B".

De Encoder-modellen (BERT) waren echter een ander verhaal. Omdat BERT beide richtingen tegelijk leest, raakte het niet in de war. Wanneer de onderzoekers de omgekeerde vraag aan BERT stelden, antwoordde het in 99% van de gevallen correct. Het blijkt dat als je wilt dat een robot begrijpt dat een relatie in beide richtingen werkt, je een brein nodig hebt dat het hele plaatje kan overzien, en niet alleen het verleden.

De Logische Puzzel: Groepen Mengen en Matchen
Vervolgens gingen het team over op een moeilijkere uitdaging: verzamelingenoperaties. Ze leerden de robots om "Unie" (het combineren van twee vriendenlijsten tot één grote lijst) en "Doorsnede" (het vinden van de vrienden die op beide lijsten voorkomen) uit te voeren.

Het Makkelijke Niveau (Twee Verzamelingen): Wanneer de robots werden gevraagd om slechts twee groepen namen te combineren of te vergelijken (zoals "Superhelden" en "Dinosauriërs"), deden zowel de Decoder-modellen (Llama 2 en 3) als het Encoder-model (BERT) een fantastisch werk. Ze kregen de antwoorden bijna elke keer goed. Het leek erop dat ze de logica onder de knie hadden.
Het Moeilijke Niveau (Drie Verzamelingen): Daarna maakten de onderzoekers de puzzel moeilijker. Ze vroegen de robots om drie groepen tegelijk te mengen, of om een combinatie van operaties uit te voeren, zoals: "Zoek de vrienden die gemeen zijn aan Groep A en Groep B, en voeg dan Groep C toe."

Hier viel de goocheltruc uiteen. Terwijl de robots uitblonken in de eenvoudige taken met twee groepen, struikelden ze ernstig wanneer er drie groepen bij betrokken waren.

Het BERT-probleem: Het BERT-model leek te bedriegen. Het deed niet echt de wiskunde; het zocht alleen naar woorden die het herkende. Als een zin een nieuwe naam bevatte die het model niet kende, zei het onmiddellijk: "Nee, dat is fout." Maar als het foute antwoord namen gebruikte die het wél kende, raakte het in de war en zei het: "Ja, dat is juist." Het memoriseerde de woordenschat, niet de logica.
Het Llama-probleem: De Llama-modellen (de Decoder-modellen) hadden ook moeite. Wanneer ze werden gevraagd om de gemeenschappelijke vrienden in drie groepen te vinden, somden ze vaak simpelweg iedereen op die ze kenden, waarbij ze de specifieke regels van de puzzel negeerden. Het leek erop dat ze een lijst met namen ophaalden die ze tijdens hun training hadden gezien, in plaats van de juiste doorsnede te berekenen.

De GPT-4 Wildcard
De onderzoekers testten ook het nieuwste, gesloten model, GPT-4. Deze robot was veel beter dan de anderen. Het kon de meeste logische puzzels met drie verzamelingen correct afhandelen, vaak door het probleem op te splitsen in kleinere stappen om het op te lossen. Echter, zelfs GPT-4 begon fouten te maken wanneer het aantal groepen te hoog werd (zoals bij zeven of acht verzamelingen), wat suggereert dat zelfs de slimste huidige modellen grenzen hebben als het gaat om complexe, meerstaps deductie.

De Belangrijkste Les

De belangrijkste les van dit papier is dat niet alle AI-breinen hetzelfde zijn gebouwd, en dat geen enkele robot perfect is voor elke taak. Als je een model nodig hebt om een relatie in omgekeerde richting te begrijpen (zoals het omdraaien van een feit), is een bidirectioneel model zoals BERT de duidelijke winnaar. Maar als je een model nodig hebt om een verhaal te schrijven of het volgende woord in een zin te voorspellen, zijn de unidirectionele modellen zoals GPT nog steeds de koningen.

Het belangrijkste is dat de studie suggereert dat hoewel deze modellen geweldig zijn in het herkennen van patronen en het nabootsen van menselijke taal, ze niet noodzakelijkerwijs "denken" zoals mensen dat doen. Wanneer de logica te complex wordt, vallen ze vaak terug op het memoriseren van woorden in plaats van het begrijpen van de regels. Dus, als je een systeem bouwt om een medische kennisgraaf te creëren of een moeilijk wiskundig bewijs op te lossen, kun je niet simpelweg vertrouwen op de robot om het zelf uit te zoeken; je moet heel voorzichtig zijn over hoe je de vragen stelt en welk type robot je voor het werk kiest. De robots worden slimmer, maar ze moeten nog veel leren over echte logische redenering.

Technische Samenvatting: Onderzoek naar de Reversal Curse en Deductief Logisch Redeneren in BERT- en GPT-gebaseerde LLM's

Probleemstelling

De studie behandelt de "Reversal Curse" (omkeer-vloek), een fenomeen dat wordt waargenomen bij autoregressieve decoder-gebaseerde Large Language Models (LLM's), waarbij het model er niet in slaagt de inverse relatie "B is A" af te leiden, ondanks dat het getraind is op de voorwaartse relatie "A is B". Deze beperking belemmert de betrouwbaarheid van modellen zoals GPT-3 en Llama-1 bij taken die bidirectionele logische inferentie vereisen, zoals het construeren van kennisgrafieken. Verder onderzoekt het artikel of deze modellen, samen met bidirectionele encoder-modellen zoals BERT, de capaciteit bezitten voor complexere deductieve redenering, specifiek het vermogen om verzadigingsoperaties (doorsnede $\cap$ en vereniging $\cup$ ) uit te voeren op meerdere verzamelingen zonder expliciete training op die specifieke combinaties.

Methodologie

De auteurs voerden een vergelijkende analyse uit tussen bidirectionele encoder-modellen (BERT) en autoregressieve decoder-modellen (GPT-4, Llama 2 en Llama 3) over twee primaire experimentele domeinen:

Evaluatie van de Reversal Curse:
- Dataset: De studie maakte gebruik van de dataset uit het oorspronkelijke Reversal Curse-artikel, aangepast voor tekstclassificatie. Het bevatte synthetische paren van namen en beschrijvingen (bijv. "Jimmy Carter" en "39e president").
- Modellen: BERT (fijn afgesteld voor binaire classificatie) werd vergeleken met GPT-3 (175B) en Llama 3.
- Taak: De modellen werden getest op hun vermogen om de omgekeerde richting (Beschrijving $\to$ Naam) te infereren na training op de voorwaartse richting (Naam $\to$ Beschrijving).
Redeneren over verzamelingsoperaties (Doorsnede en Vereniging):
- Datageneratie: Synthetische datasets werden gecreëerd met behulp van vier categorieën entiteiten (Superhelden, Dinosaurussen, Zoogdieren, Vogels).
- Training: De modellen werden fijn afgesteld op "eenvoudige" taken die de doorsnede ( $\cap$ $\cap$ ) en vereniging ( $\cup$ $\cup$ ) van twee verzamelingen betreffen ( $A \cap B$ $A \cap B$ en $A \cup B$ $A \cup B$ ).
  - BERT: Getraind op positieve en negatieve voorbeelden voor binaire classificatie.
  - Llama 2/3: Uitsluitend getraind op positieve voorbeelden voor next-token voorspelling (autoregressieve generatie).
- Testen: Modellen werden geëvalueerd op:
  - Eenvoudige gevallen: Ongeziene paren van twee verzamelingen.
  - Complexe gevallen: Operaties waarbij drie verzamelingen betrokken zijn, inclusief drievoudige doorsneden ( $A \cap B \cap C$ ), drievoudige verenigingen ( $A \cup B \cup C$ ) en gemengde operaties ( $(A \cap B) \cup C$ en $(A \cup B) \cap C$ ).
- Metrieken: BERT werd geëvalueerd met behulp van Recall, Precision en F1-scores. Llama-modellen werden geëvalueerd met behulp van Exact Match en 80% Match rates. GPT-4 werd heuristisch geëvalueerd als een propriëtair model.

Belangrijkste Resultaten

1. Immuniteit voor de Reversal Curse

BERT: Toonde een hoge bekwaamheid (ongeveer 99% nauwkeurigheid) in het infereren van "B is A" vanuit "A is B", wat bevestigt dat bidirectionele encoder-modellen niet lijden onder de Reversal Curse.
Decoder-modellen (GPT-3, Llama 3): In overeenstemming met eerdere literatuur vertoonden deze modellen een bijna nul procent nauwkeurigheid in de omgekeerde richting wanneer ze uitsluitend vertrouwden op pre-training of fijn afstelling op voorwaarts gerichte data.

2. Prestaties op Twee-Verzameling Operaties

Zowel BERT als Llama-modellen presteerden robuust op eenvoudige doorsnede- en verenigingstaken met twee verzamelingen, waarbij ze hoge nauwkeurigheidspercentages behaalden (BERT ~99%, Llama iets lager maar nog steeds hoog).
De auteurs merken op dat hoewel de prestaties hoog waren, het onduidelijk blijft of de modellen de logica werkelijk begrepen of slechts patronen in de prompt-keywords herkenden.

3. Falen bij Complexe Drie-Verzameling Operaties

Algemene Moeilijkheid: Wanneer ze werden getest op operaties waarbij drie verzamelingen betrokken waren zonder voorafgaande specifieke training op die combinaties, vertoonden beide typen modellen aanzienlijke beperkingen.
BERT's Bias: Hoewel BERT een hoge nauwkeurigheid behield op positieve gevallen, vertoonde het een sterke bias naar vocabulaire. Het identificeerde negatieve monsters met nieuwe namen (buiten de trainingsverzamelingen) correct, maar worstelde wanneer negatieve monsters bekende namen bevatten die onjuist waren gerangschikt (bijv. deelverzamelingen of bovendelen). Dit suggereert dat BERT vertrouwt op termrecurrence in plaats van semantische logische structuur.
Llama's Patroonherkenning: Llama 2 en 3 presteerden goed op alleen de drievoudige verenigingstaak ( $A \cup B \cup C$ ), waarbij ze tot 92% nauwkeurigheid bereikten in het voorspellen van ten minste 80% van de doelverzameling. Echter, ze faalden significant bij doorsnede- en gemengde operaties, waarbij ze vaak hallucineerden of alle eerder geziene entiteiten ophaalden in plaats van de logische operator toe te passen.
GPT-4: Toonde een betere capaciteit dan Llama 2/3 bij het afhandelen van drie-verzameling operaties, door het probleem vaak stapsgewijs te deconstrueren. De foutmarges namen echter toe met het aantal verzamelingen (bijv. zeven of acht verzamelingen), en de prestaties waren niet perfect.

Belangrijkste Bijdragen

Empirische Validatie van de Reversal Curse: Bevestigd dat de Reversal Curse een architecturale beperking is van autoregressieve decoders, terwijl bidirectionele encoders (BERT) immuun zijn voor de Reversal Curse.
Logische Redeneerbenchmark: Gedemonstreerd dat het fijn afstellen van LLM's op eenvoudige verzamelingsoperaties (twee verzamelingen) niet generaliseert naar complexe logische composities (drie verzamelingen).
Architecturale Vergelijking: Biedt een directe vergelijking die laat zien dat hoewel decoders uitblinken in sequentievoorspelling, encoders superieur kunnen zijn voor taken die bidirectionele context en de classificatie van logische relaties vereisen, mits de taak als zodanig kan worden geformuleerd.
Bias Analyse: Geïdentificeerd dat LLM's vaak vertrouwen op oppervlakkige patroonherkenning (het oproepen van geziene tokens) in plaats van abstracte logische deductie wanneer ze worden geconfronteerd met nieuwe combinaties van bekende entiteiten.

Betekenis en Claims

Het artikel concludeert dat de selectie van een LLM-architectuur (Encoder vs. Decoder) gedreven moet worden door de specifieke logische vereisten van de taak.

Voor Kennisgrafieken: De auteurs waarschuwen tegen het uitsluitend vertrouwen op autoregressieve decoder-modellen voor het construeren van medische kennisgrafieken of het uitvoeren van rigoureuze logische deducties (bijv. doorsneden/verenigingen van ontologie-termen). Het onvermogen van deze modellen om betrouwbaar de omgekeerde relaties te infereren of complexe verzamelingsoperaties uit te voeren, suggereert dat ze eerder fungeren als "schrijfassistenten" die geleerde patronen repliceren dan als "logische machines".
Voor Logische Taken: Taken die omgekeerde deductie of classificatie van bidirectionele relaties vereisen, zijn beter geschikt voor bidirectionele encoders zoals BERT.
Beperkingen: De studie benadrukt dat huidige LLM's, zelfs wanneer ze fijn zijn afgesteld, niet over de autonome capaciteit beschikken om complexe logische sequenties (zoals $A \cap (B \cup C)$ ) af te leiden zonder expliciete blootstelling aan soortgelijke structuren. De auteurs suggereren dat het bereiken van betrouwbare logische redenering in omgevingen met een hoog risico (bijv. medische diagnose, wiskundige bewijzen) meer vereist dan alleen het opschalen van data; het kan noodzakelijke geavanceerde algoritmen vereisen die ontworpen zijn om het begrip van logische structuren te verbeteren.