💬 NLP

Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Dit artikel toont aan dat het falen van Large Language Models in impliciete multi-hop redeneren niet voortkomt uit een gebrek aan memoriseerde feiten, maar uit een tekortkoming in de pretraining, aangezien compositionele redeneervaardigheden alleen worden overgedragen aan individuen die tijdens de pretraining expliciet zijn blootgesteld aan multi-hop contexten.

Oorspronkelijke auteurs: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente bibliothecaris hebt (de AI) die een enorme bibliotheek aan biografieën uit het hoofd heeft geleerd.

Als je vraagt: "Wanneer is Thierry geboren?", geeft de bibliothecaris direct antwoord.
Als je vraagt: "Wie is de beste vriend van Zinedine?", geeft de bibliothecaris ook direct antwoord.

Maar als je vraagt: "Wanneer is de beste vriend van Zinedine geboren?", bevriest de bibliothecaris. Hoewel ze beide feiten perfect kennen, kunnen ze de puntjes niet verbinden om het antwoord in één keer te geven. Ze kennen de puzzelstukjes, maar ze kunnen de puzzel niet in elkaar zetten.

Dit artikel onderzoekt waarom dit gebeurt en of we de bibliothecaris dit kunnen leren, simpelweg door de boeken te veranderen die ze tijdens hun training lezen.

Het kernproblein: De "Ontbrekende Schakel"

De onderzoekers noemen dit de Compositionality Gap (het compositiegat). Het is alsof je een gereedschapskist hebt vol perfecte hamers en spijkers, maar niet weet hoe je een stoel moet bouwen wanneer daarom wordt gevraagd. De AI kan de feiten wel vinden, maar kan ze niet impliciet aan elkaar "ketenen".

Het experiment: Twee groepen mensen

Om dit te bestuderen, creëerden de onderzoekers een fictieve wereld met 100.000 mensen. Ze verdeelden deze mensen in twee groepen:

De "Exposed" groep (Blootgestelde groep): Deze mensen verschijnen in de trainingsboeken in complexe verhalen. Bijvoorbeeld: "De vriend van Marcus is Delia, en Delia is geboren in Parijs." Dit leert de AI om "Marcus" te koppelen aan "Delia" aan "Parijs".
De "Held-Out" groep (Buiten de groep gehouden): Deze mensen verschijnen wel in de boeken, maar alleen in eenvoudige verhalen met één enkel feit. De boeken zeggen: "Marcus is geboren in Londen." Ze verschijnen nooit in een verhaal dat hen koppelt aan iemand anders. Zij zijn de "vreemdelingen" die nooit geïntroduceerd zijn in het complexe web van relaties.

De onderzoekers trainden de AI vervolgens op deze boeken en testten de AI op vragen over beide groepen.

De grote ontdekking: Je kunt niet leren wat je niet hebt gezien

De onderzoekers probeerden negen verschillende manieren om de trainingsdata te "augmenteren" (het veranderen van de manier waarop de verhalen werden geschreven, het gebruik van natuurlijke taal, of het gebruik van gestructureerde data zoals RDF).

Dit is wat ze vonden:

Voor de "Exposed" groep: Wanneer de AI de complexe verhalen zag tijdens de training, werd het veel beter in het beantwoorden van vragen met meerdere stappen. Als het leerde dat "A bevriend is met B" en "B is geboren in X", kon het de vraag "Wanneer is de vriend van A geboren?" correct beantwoorden.
Voor de "Held-Out" groep: Hoezeer ze de trainingsdata ook aanpasten, de AI faalde volledig op deze groep. Zelfs als de AI de feiten perfect kende, kon hij ze niet verbinden als de specifieke persoon nooit in een "complexe" context in de training was verschenen.

De analogie:
Stel je voor dat je een kind leert om wiskundige problemen op te lossen.

Exposed Groep: Je laat het kind een probleem zien: "Als Jan 2 appels heeft en er 1 aan Marie geeft, hoeveel appels heeft Marie dan?" Je doet dit vele malen. Het kind leert de logica van delen.
Held-Out Groep: Je laat het kind een ander kind zien, "Bob", maar vraagt alleen steeds: "Hoeveel appels heeft Bob?" Je vraagt nooit over Bob in de context van delen.
De Test: Wanneer je vraat: "Als Bob een appel aan Alice geeft, hoeveel appels heeft Alice dan?", faalt het kind (de AI). Ze weten dat Bob appels heeft, maar omdat ze nooit Bob in de context van delen hebben gezien, kunnen ze de logica niet op hem toepassen.

Belangrijkste inzichten

Het is een trainingsprobleem, geen geheugenprobleem: De AI faalt niet omdat hij "dom" is of niet genoeg geheugen heeft. De AI faalt omdat hij tijdens zijn "schooltijd" (pretraining) nooit aan dit specifieke type redeneren voor die specifieke mensen is blootgesteld.
Blootstelling is verplicht: Om te leren de puntjes te verbinden, moet de AI de puntjes ook vooraf verbonden zien. Je kunt de AI niet leren om over een persoon te redeneren als die persoon nooit in een complexe context is verschenen tijdens de training.
Expliciet vs. Impliciet: De onderzoekers probeerden de verhalen op twee manieren te schrijven:
- Expliciet: "De vriend van Marcus, Delia, is geboren in Parijs." (De naam van de vriend noemen).
- Impliciet: "De vriend van Marcus is geboren in Parijs." (De naam van de vriend verbergen).
  Ze ontdekten dat Impliciet (de naam verbergen) eigenlijk beter was voor het aanleren van redeneren aan de AI, omdat het de AI dwong om de link zelf te ontdekken, in plaats van alleen het antwoord af te lezen. Echter, zelfs de beste trainingsmethoden faalden voor de "Held-Out" groep.

Conclusie

Het artikel concludeert dat impliciete multi-hop redenering gebonden is aan blootstelling tijdens de pretraining.

Als de AI een specifieke persoon (of entiteit) niet in een "meerdere stappen" context heeft gezien tijdens het leren, zal de AI waarschijnlijk niet in staat zijn om later over die persoon te redeneren, ongeacht hoe slim het model is of hoeveel data je erin stopt. Het vermogen om de puntjes te verbinden is geen algemene superkracht die de AI uit zichzelf ontwikkelt; het is een specifieke vaardigheid die de AI alleen leert voor de specifieke personages waarmee hij geoefend heeft.

Technische Samenvatting: Multi-Hop Kenniscompositie wordt Beperkt door Pretraining-expositie

Probleemstelling
Large Language Models (LLM's) vertonen een hoge getrouwheid bij het opslaan en ophalen van individuele feitelijke kennis, maar falen consistent bij impliciete multi-hop redenering binnen een enkele forward pass. Een model kan correct antwoorden op "Wanneer werd X geboren?" en "Wie is de beste vriend van Y?", maar faalt vervolgens bij de vraag "Wanneer werd de beste vriend van Y geboren?", zelfs wanneer beide constituerende feiten perfect zijn gememoriseerd. Dit fenomeen, bekend als de compositionaliteitskloof (compositionality gap), blijft bestaan over verschillende modelmaten en architecturen heen. Hoewel bestaande oplossingen redeneren externaliseren via chain-of-thought of decompositie tijdens inferentie, blijft het onduidelijk of compositionele redenering louter kan emergeren uit pretraining. Bovendien is de onderliggende oorzaak bij propriëtaire modellen niet te diagnosticeren vanwege de niet-openbaar gemaakte pretraining-data.

Methodologie
De auteurs onderzoeken deze kloof met behulp van een gecontroleerde natuurlijke taalsetting die individuen die tijdens pretraining aan compositionele contexten zijn blootgesteld, strikt scheidt van degenen die dat niet zijn.

Dataset Constructie: Bouwend op het synthetische biografie-framework van Allen-Zhu en Li (2024), creëerden de auteurs een dataset van $N=100.000$ individuen, elk beschreven door zes attributen (bijv. geboortedatum, geboorteplaats) en directionele "vriend"- en "vijand"-relaties.
Populatie Partitionering: De populatie is verdeeld in twee disjuncte sets:
- $P_{comp}$ (Compositioneel): Individuen wier relaties uitsluitend wijzen naar andere leden van $P_{comp}$ . Deze individuen worden tijdens pretraining blootgesteld aan compositionele contexten.
- $P_{held}$ (Held-out): Individuen wier relaties uitsluitend binnen $P_{held}$ blijven. Cruciaal is dat deze individuen nooit voorkomen als intermediaire (brug-)entiteiten in enige tijdens de pretraining geziene compositionele keten.
Pretraining en Augmentatie: De auteurs pretrainen GPT-2 modellen (Small, Medium, Large) vanaf nul. Ze introduceren negen verschillende data-gecentreerde augmentatiestrategieën voor $P_{comp}$ $P_{co m p}$ , variërend langs twee assen:
- Formaat: Natuurlijke Taal (NL) versus RDF (gestructureerde triples).
- Verbalisatie: Expliciet (het benoemen van de brug-entiteit) versus Impliciet (het weglaten van de brug-entiteit).
- Alle condities bevatten atomaire 1-hop biografieën met multi5p-permute augmentatie.
Evaluatieprotocol: Modellen worden gefinetuned op 75% van $P_{comp}$ ( $P^{train}_{comp}$ ) en geëvalueerd op de resterende 25% van $P_{comp}$ ( $P^{test}_{comp}$ ) en de volledig ongeziene $P_{held}$ . Evaluatie meet de first-token accuratesse voor 1-hop, 2-hop en 3-hop queries zonder toegang tot de intermediaire entiteiten in de context.

Belangrijkste Resultaten
De experimenten leveren drie primaire bevindingen op:

De Compositionaliteitskloof is een Pretraining-falen: Zelfs met bijna perfecte 1-hop accuratesse (97%), scoren modellen bijna 0% op 2-hop queries voor $P_{held}$ en slechts marginaal beter voor $P_{comp}$ onder baseline training. Dit bevestigt dat de kloof geen capaciteitslimiet of een gebrek aan kennis is, maar een falen om feiten te componeren tijdens de pretraining.
Pretraining-expositie is een Noodzakelijke Voorwaarde: Compositionele pretraining verbetert de multi-hop QA op ongeziene vragen voor geëxposeerde individuen ( $P^{test}_{comp}$ ) aanzienlijk, waarbij de 2-hop accuratesse tot wel 0,83 reikt onder specifieke augmentatiestrategieën (bijv. impliciet + expliciet NL-RDF). Echter, er vindt nul transfer plaats naar $P_{held}$ . Geen enkele data-gecentreerde augmentatie compenseert voor de afwezigheid van expositie aan een individu in een compositionele context.
Impliciete versus Expliciete Augmentatie:
- Impliciete augmentatie (waarbij de brug-entiteit wordt weggelaten) presteert consistent beter dan expliciete augmentatie (waarbij de brug wordt benoemd) in isolatie. Expliciete formaten verbeteren de lokalisatie van de brug-token (geverifieerd via Log-Lens analyse), maar vertalen zich niet naar compositioneel succes.
- Hybride benaderingen (het mengen van impliciete en expliciete signalen) leveren de beste prestaties op $P^{test}_{comp}$ , wat suggereert dat het mengen van signalen de representatie-alignement verbetert.
- RDF formaten (specifiek impliciete RDF) blijken zeer effectief, waarbij ze een hoge compositionele accuratesse bereiken tegen een fractie van de datacosten vergeleken met NL.

Betekenis en Claims
Het artikel stelt vast dat expositie aan compositionele contexten tijdens pretraining een noodzakelijke voorwaarde is voor impliciete multi-hop redenering. De auteurs stellen dat augmentatie entiteit-specifieke associaties induceert in plaats van een herbruikbare, generaliseerbare compositie-logica. Bijgevolg falen modellen in het componeren van feiten voor individuen die zij nooit in een multi-hop context zijn tegengekomen, ongeacht de modelmaten of fine-tuning strategieën.

De studie daagt het idee uit dat compositionele redenering puur door data-augmentatie voor ongeziene entiteiten geïnduceerd kan worden. Het suggereert dat om impliciete multi-hop redenering te bereiken, de trainingsdistributie expliciet de specifieke entiteiten binnen de vereiste relationele ketens moet bevatten. De auteurs publiceren hun code en een reproductie van het biografie-framework om toekomstig onderzoek naar trainingsdoelstellingen of architecturale modificaties te ondersteunen die deze fundamentele limiet zouden kunnen overwinnen.

Beperkingen
De auteurs erkennen dat hun setting volledig synthetisch is en dat de generalisatie naar natuurlijk voorkomende corpora nog niet is getest. Ze merken op dat hoewel hun experimenten GPT-2 schalen gebruiken, de compositionaliteitskloof bekend staat als persistent tot 175B parameters. Daarnaast richt de studie zich op data-gecentreerde interventies onder standaard pretraining en evalueert het geen alternatieve doelstellingen zoals reinforcement learning of kennisdistillatie.