💬 NLP

The Illusion of Latent Generalization: Bi-directionality and the Reversal Curse

Deze studie toont aan dat hoewel bidirectionele trainingsdoelen het 'reversal curse' bij taalmodellen kunnen verminderen, dit succes voortkomt uit het opslaan van voorwaartse en achterwaartse relaties als afzonderlijke entiteiten in plaats van een echte, richting-onafhankelijke latent generalisatie.

Oorspronkelijke auteurs: Julian Coda-Forno, Jane X. Wang, Arslan Chaudhry

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Julian Coda-Forno, Jane X. Wang, Arslan Chaudhry

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎭 De Illusie van de "Omgekeerde Waarheid"

Stel je voor dat je een slimme robot hebt die alles leert door naar een boek te kijken. Als je de robot leert dat "De Koe is groter dan de Muis", dan denkt hij dat hij dit concept perfect begrijpt.

Maar als je hem later vraagt: "Is de Muis kleiner dan de Koe?", dan raakt de robot in paniek en geeft hij het antwoord niet. Dit fenomeen noemen onderzoekers de "Reverse Curse" (of omgekeerde vloek). De robot heeft de feiten niet echt "begrepen" als een logisch geheel; hij heeft ze alleen als een specifieke zin in zijn geheugen opgeslagen.

🛠️ De Oplossing: Twee Manieren om te Leren

In dit onderzoek kijken ze naar twee manieren om deze robot slimmer te maken, zodat hij de omgekeerde zin wel begrijpt:

De "Masker"-methode (MLM): Dit is alsof je de robot een tekst geeft met gaten erin (bijv. "De Koe is ... dan de Muis") en vraagt hem de gaten in te vullen. De robot mag dan naar links én naar rechts kijken om de oplossing te vinden.
De "Voorspel"-methode met een truc (NTP+Masking): Dit is een standaard robot die normaal gesproken alleen naar links kijkt om het volgende woord te voorspellen. Maar onderzoekers geven hem een trucje: ze laten hem eerst een versie van de tekst zien met gaten, en daarna de volledige tekst. Zo leert hij toch ook naar achteren te kijken.

Het resultaat: Beide methoden werken! De robot kan nu zowel "Koe > Muis" als "Muis < Koe" beantwoorden. Tot nu toe dachten we dat dit betekende dat de robot een universeel concept van "grootte" had geleerd.

🕵️‍♂️ De Ontmaskering: Het is een Illusie

Hier komt de verrassing. De onderzoekers kijken diep in het "brein" van de robot (de neurale netwerken) om te zien hoe hij dit doet. Hun conclusie is verrassend: De robot heeft het concept niet echt verenigd.

In plaats van één slimme, flexibele gedachte over "grootte", heeft de robot eigenlijk twee aparte notities in zijn geheugen geschreven:

Notitie 1: "Koe is groter dan Muis"
Notitie 2: "Muis is kleiner dan Koe"

Het is alsof je een telefoonboek hebt. Als je zoekt op "Koe", vind je het nummer van de Muis. Maar als je zoekt op "Muis", moet je een ander nummer in het boek vinden om de Koe te bereiken. De robot heeft geen ingebouwde "omkeer-knop" die automatisch de relatie omdraait; hij heeft gewoon twee keer dezelfde informatie opgeslagen, maar dan in een andere volgorde.

🧭 Twee Verschillende Manieren van Ordenen

Hoewel beide methoden werken, ordenen ze hun geheugen op een heel andere manier:

De "Masker"-methode (MLM): Deze robot is erg onderwerp-georiënteerd. Als je vraagt naar de Koe, vindt hij direct alle feiten die met de Koe te maken hebben, ongeacht of het om "groter" of "kleiner" gaat. Het is alsof hij een mapje heeft genaamd "Koe" met daarin alle papieren.
De "Voorspel"-methode (NTP+Masking): Deze robot is een beetje chaotischer. Voor hem lijkt de omgekeerde zin ("Muis < Koe") soms net zo ver weg als een totaal willekeurige zin over een "Auto". Hij heeft geen sterke link tussen de twee richtingen.

💡 Wat betekent dit voor de toekomst?

De grote les van dit paper is een waarschuwing. We denken vaak dat als een AI een fout oplost (zoals de Reverse Curse), hij daardoor "slimmer" of "mensenachtiger" wordt.

Maar dit onderzoek toont aan dat het soms slechts een oppervlakkige fix is. De robot leert niet dat "A > B" en "B < A" hetzelfde zijn. Hij leert gewoon dat hij die twee zinnen ook moet kunnen zeggen. Hij heeft geen diep inzicht gekregen, maar gewoon een tweede notitie in zijn geheugen gekregen.

Kortom:
Het lijkt alsof de robot de taal van de logica spreekt, maar in werkelijkheid heeft hij gewoon twee keer dezelfde zin uit zijn hoofd geleerd. Om echt slim te worden, moeten we AI-systemen leren om deze twee notities te verbinden tot één flexibel concept, in plaats van ze als losse feiten op te slaan.

Titel: De Illusie van Latente Generalisatie: Bidirectionaliteit en de Reversal Curse

Doel: ICLR 2026 Workshop on Representational Alignment (Re-Align)

1. Het Probleem: De Reversal Curse

Het paper adresseert het fenomeen van de Reversal Curse (omkeer-vloek) bij autoregressieve taalmodellen (LLMs). Dit is een vorm van "latente generalisatie" waarbij een model dat een feit in één richting heeft geleerd (bijv. "A > B"), faalt om het logisch equivalente omgekeerde feit af te leiden (bijv. "B < A"), zelfs als de relatie in de trainingsdata expliciet reversibel is.

Hoewel recente studies hebben aangetoond dat trainingsdoelen met bidirectionele supervisie (zoals bidirectionele attention of masking-based reconstructie) dit gedragsprobleem kunnen oplossen, blijft de vraag open hoe dit mechanisch gebeurt:

Leert het model één enkele, richtingsongebonden representatie van het feit (waarbij "A > B" en "B < A" in dezelfde latente ruimte samenvallen)?
Of leert het model twee afzonderlijke, apart geïndexeerde geheugeninvoer voor de voorwaartse en omgekeerde richting?

2. Methodologie

De auteurs voeren een uitgebreide evaluatie uit over vier benchmarks (van synthetisch tot semantisch gestructureerd) en vergelijken drie trainingsobjectieven:

NTP (Next-Token Prediction): Standaard autoregressief trainen met een causale masker (alleen toekomstige tokens voorspellen).
MLM (Masked Language Modeling): Bidirectionele attention waarbij tokens willekeurig worden gemaskeerd en voorspeld moeten worden (zoals bij BERT).
NTP + Masking: Een decoder-only model dat getraind wordt op een specifieke post-training setup (volgens Pan et al., 2025). Hierbij wordt een gemaskeerde versie van een passage in de context geplaatst voor de ongemaskeerde voortzetting. De loss wordt alleen berekend op de ongemaskeerde voortzetting, maar de context dwingt het model om bidirectioneel te redeneren.

Experimentele Opzet:

Ablatie-studies: De auteurs isoleren welke voorspellingstargets noodzakelijk zijn voor succes. Ze testen scenario's waarbij de bron-entiteit (A) nooit wordt gemaskeerd (en dus nooit een voorspellingstarget is).
Representatie-analyse:
- Neurale Afstanden: Berekening van de gemiddelde cosinus-afstand tussen representaties van voorwaartse en omgekeerde feiten in de MLP-lagen van het model.
- Lineaire Probing: Training van een lineaire probe (logistische regressie) om te bepalen of het verschilvector tussen een feit en zijn omkering ( $\Delta_{rev}$ ) lineair onderscheidbaar is van andere verschilvectoren (zoals tussen twee willekeurige feiten).

3. Belangrijkste Resultaten

A. Gedragsmatige Succesfactoren

Bidirectionele supervisie werkt: Zowel MLM als NTP+Masking lossen de Reversal Curse op (bereiken hoge nauwkeurigheid), terwijl standaard NTP-modellen bijna volledig falen (nabij 0%).
Voorspelling van de bron is cruciaal: Een cruciale ablatie toont aan dat als het model nooit wordt gedwongen om de bron-entiteit (A) te voorspellen op basis van de relatie en het doel (B), de nauwkeurigheid voor omkering instort tot 0%. Het is dus noodzakelijk dat de bron een voorspellingstarget is.
Verschil in eisen:
- Bij NTP+Masking is het voldoende om de bron (A) soms te maskeren; dit leidt al tot succes.
- Bij MLM is dit niet voldoende; alleen het maskeren van zowel bron als doel (Source & Target) leidt tot consistente success.

B. Mechanistische Analyse: Geen Unificatie

De kernbevindingen van de representatie-analyse weerleggen de hypothese van een unificatie:

Geen "Collapse" naar één concept: De representatieve afstand tussen "A > B" en "B < A" blijft groot in beide modellen. Ze vallen niet samen in de latente ruimte zoals men zou verwachten bij een richting-onafhankelijk concept.
Distincte Invoer: De resultaten suggereren dat beide modellen twee distincte geheugeninvoer leren: één voor de voorwaartse richting en één voor de omgekeerde richting.
Verschillende Indexeringsgeometrie:
- NTP+Masking: De omgekeerde richting lijkt voor een lineaire lezer net zo willekeurig als een volledig ongerelateerd feit.
- MLM: De omgekeerde richting wordt verward met andere feiten die onder hetzelfde onderwerp (source) zijn geïndexeerd. Dit suggereert een sterkere "subject-centric" clustering bij MLM.

C. Voorspellingsbias (Prediction Bias)

Een extra ablatie (Ablation III) toont aan dat als een token (bijv. B) constant zichtbaar is in de attention-mechanisme maar nooit een doelwit is van de loss-functie (nooit gemaskeerd), het model geen generatieve representatie voor dat token leert. Zelfs als B nodig is om A te voorspellen, kan het model B niet genereren als het later als output wordt gevraagd. Dit benadrukt dat blootstelling via attention niet voldoende is voor latente generalisatie; expliciete gradient-updates op het token zelf zijn nodig.

4. Bijdragen en Conclusies

Kernbijdragen:

Bevestiging van het mechanisme: Het paper bewijst dat het oplossen van de Reversal Curse door bidirectionele supervisie niet betekent dat het model een diepere, richting-onafhankelijke conceptuele eenheid heeft geleerd.
Illusie van Generalisatie: Het succes is een "illusie" van latente generalisatie. In plaats van een unificatie, leert het model een tweede, apart geïndexeerd geheugenitem voor de omgekeerde query.
Noodzaak van expliciete targets: Voor succesvolle omkering moet het model expliciet worden getraind om de bron-entiteit te voorspellen. Zonder deze loss-signaal op de bron, faalt het model, ongeacht de bidirectionele context.
Geometrische verschillen: Hoewel beide methoden werken, organiseren ze de kennis anders (MLM is meer onderwerp-georiënteerd, NTP+Masking is meer willekeurig/indifferent).

Significantie:
De bevindingen waarschuwen dat "fixes" op objectniveau (zoals het toevoegen van masking) de gedragsmatige zwakte van LLMs kunnen verhelpen zonder de onderliggende kwetsbaarheid van latente generalisatie op te lossen. Het model leert niet noodzakelijkerwijs de "waarheid" van de relatie, maar leert gewoon een tweede manier om de vraag te beantwoorden. Voor toekomstig onderzoek is het essentieel om doelstellingen te ontwerpen die de twee richtingen van een feit echt koppelen (bijv. via gedeelde sleutels of consistentie-beperkingen) in plaats van alleen maar een tweede, onafhankelijk geïndexeerd geheugenitem te laten leren.