💬 NLP

Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs

Dit onderzoek toont aan dat relationele semantiek in autoregressieve taalmodellen al bij lage diepte kan ontstaan door logische supervisie, maar dat reversiefouten voornamelijk worden veroorzaakt door een vooringenomenheid voor de link-naar-rechts volgorde in plaats van een gebrek aan omkeerlogica.

Oorspronkelijke auteurs: Yihua Zhu, Qianying Liu, Jiaxin Wang, Fei Cheng, Chaoran Liu, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

Gepubliceerd 2026-04-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yihua Zhu, Qianying Liu, Jiaxin Wang, Fei Cheng, Chaoran Liu, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Taal van de AI: Leren of gewoon onthouden?

Stel je voor dat je een jonge student (een AI) leert om een enorme bibliotheek te bestuderen. De onderzoekers van deze studie wilden twee grote vragen beantwoorden:

Begrijpt de student echt de logica? (Bijvoorbeeld: als A de vader is van B, begrijpt hij dan automatisch dat B de zoon is van A?)
Waarom faalt de student soms? (Waarom kan hij "A is de vader van B" zeggen, maar faalt hij als je vraagt: "Wie is de vader van B?" terwijl je alleen "A is de vader van B" hebt geleerd?)

Om dit te testen, bouwden ze een kunstmatige wereld (een synthetische dataset) in plaats van de hele internet te gebruiken. Het is alsof ze een speciaal trainingskamp hebben gebouwd waar alleen logische regels gelden, zonder de rommel en verwarring van echte taal.

Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse beelden:

1. Het "Aha!"-moment (De Fase-overgang)

Stel je voor dat je een kind leert om te tellen. Eerst telt het willekeurig: "een, twee, drie, ... tien, twaalf, vijftien". Het onthoudt de volgorde, maar begrijpt het niet.
Op een bepaald moment, als je genoeg voorbeelden geeft, gebeurt er iets magisch. Het kind schakelt plotseling over van "raadsels raden" naar "wiskunde doen". Het begrijpt dat als je 10 hebt, het volgende getal 11 is, ongeacht de specifieke voorbeelden.

Wat de studie vond: De AI vertoonde precies dit gedrag. Als je genoeg logische voorbeelden gaf (genoeg "supervisie"), schakelde de AI plotseling over van simpel onthouden naar het begrijpen van de logica.
De verrassing: Dit gebeurde zelfs bij heel kleine, simpele AI-modellen (met slechts 2 of 3 lagen, alsof het een heel klein breintje is). Het is niet nodig om een gigantische supercomputer te hebben; je hebt vooral de juiste hoeveelheid logische training nodig.

2. De "Reversal Curse" (De Omgekeerde Vloek)

Dit is het meest interessante deel. Stel je voor dat je een robot leert om een weg te lopen van punt A naar punt B.

De training: De robot loopt duizenden keren van A naar B. Hij kent de weg perfect.
De test: Vraag de robot nu: "Hoe kom je van B terug naar A?"
Het probleem: De robot loopt tegen de muur. Hij weet niet hoe hij terug moet, zelfs als hij de weg van A naar B perfect kent.
De vraag: Is de robot dom? Begrijpt hij niet dat A en B met elkaar verbonden zijn?
Het antwoord van de studie: Nee, de robot is niet dom. Hij begrijpt de logica perfect (hij weet dat A de vader is van B en vice versa). Het probleem is zijn leefstijl.
- De AI is getraind als een leesrobot die tekst van links naar rechts leest (zoals wij lezen in een boek). Hij is gewend om de eerste naam te zien en de tweede te voorspellen.
- Als je de volgorde omdraait (van B naar A), raakt hij in de war omdat hij niet gewend is om "terug te lezen". Het is alsof je iemand vraagt om een zin van achteren voor te lezen; hij kent de woorden, maar de volgorde in zijn hoofd is vastgezet op "van links naar rechts".

3. De Oplossing: Tweezijdig Kijken

De studie toonde aan dat als je de AI traint met beide richtingen (A naar B én B naar A), het probleem verdwijnt.

Analogie: Het is alsof je de robot niet alleen leert lopen van A naar B, maar hem ook laat lopen van B naar A. Dan heeft hij geen last meer van de "omgekeerde vloek".
Bewijs: Ze testten ook een ander type AI (een "diffusiemodel") dat niet van links naar rechts leest, maar naar alle kanten tegelijk kijkt (zoals een mens die een foto bekijkt). Deze AI had geen last van het probleem. Dit bewijst dat het probleem ligt bij de manier van lezen (links-rechts), niet bij het gebrek aan logica.

4. Wat gebeurt er in het "brein" van de AI?

De onderzoekers keken diep in de lagen van de AI (zoals lagen in een taart).

Bij succes: De logica werd duidelijk zichtbaar in de middelste lagen van de AI. Het was alsof het brein daar de regel had opgeschreven en deze stabiel hield tot het einde.
Bij mislukking: De AI begon de regel te begrijpen in het midden, maar in de laatste lagen (net voordat hij antwoord gaf) raakte hij in de war en vergat hij de logica weer. Het was alsof hij de oplossing had, maar door de druk van de laatste seconde toch het verkeerde antwoord koos.

Samenvatting in één zin

De AI is niet dom en begrijpt de logica van relaties (zoals vader/zoon) heel goed, maar hij faalt soms alleen omdat hij is getraind om tekst strikt van links naar rechts te lezen; als je hem beide kanten op leert, of als je een ander type AI gebruikt, werkt het perfect.

De les voor ons: Soms is het probleem niet dat de technologie niet slim genoeg is, maar dat we hem op een te eenzijdige manier hebben getraind.

1. Het Probleem

Autoregressieve Large Language Models (LLMs) presteren goed op relationele taken waarbij entiteiten via relationele woorden (zoals "vader/zoon" of "vriend") worden gekoppeld. Echter, er bestaat onduidelijkheid over twee fundamentele vragen:

Semantisch begrip: Leren LLMs daadwerkelijk de logische semantiek van deze relaties (zoals symmetrie en inversie), of baseren ze hun prestaties slechts op oppervlakkige co-occurrence-patronen uit de trainingsdata?
De "Reversal Curse": Waarom falen modellen vaak bij omgekeerde queries (bijv. een model dat leert "A is de vader van B" kan vaak niet beantwoorden "Wie is de zoon van B"?). Is dit falen het gevolg van een gebrek aan begrip van inversie, of wordt het veroorzaakt door een bias in de autoregressieve (links-naar-rechts) decodeerstructuur?

Het gebruik van bestaande, vooraf getrainde web-schaal modellen maakt het moeilijk om deze vragen te beantwoorden vanwege verontreiniging in de data en polysemie (meerdere betekenissen) van woorden.

2. Methodologie

De auteurs stellen een volledig gecontroleerd experimenteel raamwerk voor om deze vragen te isoleren en te testen.

Synthetische KG-Data: Ze bouwen een corpus gebaseerd op Knowledge Graphs (KG). Ze genereren triples met entiteiten (namen, beroepen) en relaties die expliciet logische eigenschappen hebben:
- Inversie: vader/zoon, echtgenoot/echtgenote.
- Symmetrie: vriend, broer, echtgenoot (in beide richtingen).
- Niet-logisch: persoon-beroep.
Data Generatie: Elke triple wordt verbaal gemaakt in natuurlijke taal met behulp van templates. Er worden drie soorten grafieken gegenereerd:
- Train Graphs: Bevatten alle relaties in beide richtingen.
- Evaluation Graphs: Bevatten alleen de "voorwaartse" richting (bijv. "A is vader van B", maar niet "B is zoon van A").
- ICL Graphs: Bevatten alleen nieuwe, ongezette entiteiten om generalisatie te testen.
Model Training: Ze trainen GPT-2-achtige autoregressieve modellen vanaf nul (from scratch) op deze synthetische data.
- Pre-training: Voorspelling van de volgende token op het gecombineerde trainings- en evaluatiecorpus.
- Supervised Fine-Tuning (SFT): Het model wordt gefinetuned op vraag-antwoordparen (QA) die alleen zijn gegenereerd uit de trainingsdata, om QA-capaciteiten te versterken.
Evaluatie: Ze testen op drie niveaus:
1. Memorize QA: Kan het model feiten onthouden die expliciet in de evaluatie-data staan?
2. Logic QA: Kan het model logische inferenties maken (bijv. de inverse afleiden) op basis van de trainingsdata?
3. In-Context Learning (ICL): Generaliseert het model de logica naar volledig nieuwe, ongeziene entiteiten?
Vergelijking: Ze vergelijken autoregressieve modellen met Diffusion Language Models (LLaDA), die geen links-naar-rechts bias hebben, om de oorzaak van reversie-fouten te isoleren.

3. Belangrijkste Bijdragen en Resultaten

A. Ontwikkeling van Relationele Semantiek (Emergence)

Fase-overgang: Er wordt een scherpe fase-overgang waargenomen. Zodra er voldoende supervisie met logische inhoud is (een bepaalde drempel aan trainingsdata $N$ ), schakelen de modellen abrupt van willekeurige prestaties naar bijna perfecte prestaties.
Generalisatie: Deze emergentie stelt het model in staat om logica toe te passen op ongeziene entiteiten (ICL). Dit gebeurt zelfs in zeer ondiepe modellen (2-3 lagen).
Interne Dynamiek: Analyse van de lagen toont aan dat succesvolle generalisatie correleert met stabiele, logische representaties in de intermediaire lagen. Bij mislukende modellen zijn de signalen in de latere lagen instabiel en verslechteren ze op het einde (laatste laag), wat suggereert dat het model de logica wel "leert" maar deze niet correct kan aflezen of integreren.
Grokking: De auteurs observeren een "grokking"-fenomeen waarbij generalisatie soms zelfs voorbij memorisatie kan optreden, afhankelijk van de data-omvang en template-diversiteit.

B. De Oorzaak van de "Reversal Curse"

Bias vs. Semantiek: De studie toont aan dat reversie-fouten primair worden gedreven door autoregressieve order-bias (links-naar-rechts decodeerstructuur) en niet door een gebrek aan begrip van inversie-semantiek.
- Bewijs: Symmetrische relaties (die geen inversie vereisen) vertonen hetzelfde grote prestatieverschil tussen voorwaartse en achterwaartse queries als inversierelaties. Als het een semantisch probleem was, zou symmetrie geen reversie-problemen moeten hebben.
- Bewijs: Wanneer het model wordt getraind met data in beide richtingen (bidirectionele blootstelling), verdwijnt het prestatieverschil tussen voorwaartse en achterwaartse queries.
Diffusion Modellen: Diffusion-based modellen, die geen causale masking gebruiken en bidirectioneel context gebruiken, vertonen geen reversie-curse. Dit bevestigt dat de fout ligt in de decodeerrichting van autoregressieve modellen.

C. Schaal en Architectuur

Model Diepte: Diepere modellen (meer lagen) herstellen de memorisatie en QA-prestaties beter bij grote datasets, maar de emergentie van logica kan ook in zeer ondiepe modellen plaatsvinden.
Template Diversiteit: Een voldoende diversiteit aan zinsconstructies (templates) is cruciaal. Zelfs met veel data, als de taalvariatie beperkt is, leert het model de regels niet goed.

4. Significatie en Conclusie

Dit paper levert een cruciale bijdrage aan het mechanistische begrip van LLMs door:

Isolatie van factoren: Het scheidt effectief memorisatie, logisch redeneren en order-bias door gebruik te maken van synthetische, gecontroleerde data.
Verduidelijking van de Reversal Curse: Het weerlegt het idee dat LLMs "niet begrijpen" dat A de vader is van B impliceert dat B de zoon is van A. In plaats daarvan is het een artefact van de autoregressieve trainings- en inferentiearchitectuur.
Inzicht in Emergentie: Het toont aan dat logische vaardigheden niet noodzakelijk afhankelijk zijn van enorme modelgrootte, maar van voldoende logische supervisie in de data, en dat deze vaardigheden vaak in de middenlagen van het netwerk worden gevormd.

De conclusie is dat autoregressieve LLMs wel degelijk relationele logica kunnen internaliseren, maar dat hun vermogen om deze logica in omgekeerde volgorde toe te passen wordt beperkt door hun fundamentele architectuur (links-naar-rechts decoding), niet door een gebrek aan semantisch inzicht.