Scaling Knowledge Graph Construction through Synthetic Data Generation and Distillation

Dit paper introduceert SynthKG en Distill-SynthKG, een pipeline die synthetische document-KG-paren genereert om een kleiner model te trainen dat niet alleen superieure kennisgrafiek-kwaliteit levert ten opzichte van grotere baselines, maar ook de prestaties verbetert in zoekopdrachten en vraagbeantwoording via een nieuw grafiekgebaseerd ophaalframework.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken (documenten) en je wilt een slimme assistent bouwen die alle feiten uit die boeken kan vinden en begrijpen. Dit is wat Retrieval Augmented Generation (RAG) doet: het helpt kunstmatige intelligentie (AI) om antwoorden te geven die gebaseerd zijn op echte feiten, niet alleen op wat de AI uit haar hoofd kent.

Maar hier zit een probleem: om die feiten goed te kunnen vinden, moet je eerst een kennisnetwerk (een "Knowledge Graph" of KG) maken. Dit is als een gigantisch spinnenweb van feiten: wie is wie, wat heeft wie gedaan, en hoe hangt alles samen?

Deze paper, getiteld "Scaling Knowledge Graph Construction", lost een groot probleem op: hoe maak je zo'n web voor duizenden boeken, zonder dat het je een fortuin kost of uren duurt?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Grote Chef" vs. De "Snelle Knecht"

Tot nu toe waren er twee manieren om dit kennisnetwerk te maken:

• De dure methode: Je gebruikt een super-intelligente, maar dure AI (zoals GPT-4). Dit is alsof je een beroemde chef-kok huurt om voor elke sandwich in je restaurant te koken. Het smaakt perfect, maar het kost je een vermogen en je kunt nooit genoeg sandwiches maken voor een drukke dag.
• De goedkope methode: Je gebruikt een kleinere, goedkopere AI. Dit is alsof je een stagiair vraagt om de sandwiches te maken. Het gaat snel en goedkoop, maar de sandwiches zijn vaak half op, missen ingrediënten of smaken raar.

De auteurs zeggen: "Wacht even! Het probleem is niet dat de stagiair (de kleine AI) dom is. Het probleem is dat hij nooit goed heeft geoefend met de juiste recepten."

2. De Oplossing: SynthKG (De "Recepten-Fabriek")

De auteurs hebben een nieuwe fabriek bedacht, genaamd SynthKG. In plaats van dat de kleine AI direct de sandwiches maakt, doet deze fabriek het zware werk in stappen:

1. Knippen: Ze nemen een heel lang document en knippen het in kleine, beheersbare stukjes (zoals het in stukken snijden van een lange broodtrommel).
2. Duidelijk maken: Soms staat er in een stukje "Hij deed dit", maar wie is "Hij"? De fabriek kijkt naar het vorige stukje en schrijft het stukje opnieuw zodat alles duidelijk is (bijv. "John deed dit"). Dit noemen ze decontextualisatie.
3. De feiten eruit halen: Nu, met die duidelijke stukjes, vraagt de dure AI (de chef-kok) om de feiten eruit te halen en in een strakke lijst te zetten.

Het resultaat: De fabriek produceert duizenden perfecte voorbeelden van "Document -> Feitenlijst".

3. De Magie: Distill-SynthKG (De "Stagiair die de Chef wordt")

Nu komt het slimme deel. Ze nemen die duizenden perfecte voorbeelden die de fabriek heeft gemaakt en gebruiken ze om de kleine AI (de stagiair) te trainen.

Het is alsof je de stagiair duizenden keren laat oefenen met de perfecte recepten van de chef-kok. Na een tijdje kan de stagiair de hele sandwich (het hele document) in één keer maken, net zo goed als de chef-kok, maar dan veel sneller en goedkoper.

Ze noemen dit Distill-SynthKG. Het is een kleine AI die het werk van een grote AI doet, omdat hij is getraind op de perfecte synthetische data.

4. De Test: Een Nieuwe Spelregels

Hoe weet je of het werkt? Je kunt niet zomaar zeggen "kijk, er zijn veel feiten". Je moet weten of de juiste feiten erin zitten.
De auteurs hebben een slimme truc bedacht: ze nemen bestaande quizvragen (waarvoor je meerdere feiten moet combineren om het antwoord te vinden) en zetten die om in de "juiste" feitenlijst.

• Vergelijking: Stel je voor dat je een spoorzoeker bent. Als je de juiste feiten hebt, vind je het antwoord. Als je de feiten mist, loop je vast. Hun nieuwe methode zorgt ervoor dat de spoorzoeker altijd de juiste kaart heeft.

5. Het Resultaat: De "Super-Spinnenweb"

Wat bleek uit de tests?

• De kleine AI (getraind met hun methode) maakte betere kennisnetwerken dan de dure AI's die dat zonder training deden.
• Zelfs een AI die 8 keer kleiner was dan de grootste modellen, deed het beter dan die grote modellen.
• De zoekresultaten werden veel beter. Vragen die eerder onbeantwoord bleven, kregen nu het juiste antwoord.

Samenvatting in één zin

In plaats van te proberen steeds grotere en duurdere robots te bouwen, hebben de auteurs een slimme manier bedacht om kleine robots te trainen met perfecte voorbeelden, zodat ze net zo goed (of zelfs beter) kunnen werken als de grote robots, maar dan voor een fractie van de prijs.

De kernboodschap: Het gaat niet om hoe groot je robot is, maar om hoe goed je hem hebt getraind. En met hun "SynthKG-fabriek" hebben ze de perfecte trainingsboeken geschreven.

Technische samenvatting

Probleemstelling

Document-level kennisgrafiek (KG) constructie staat voor een fundamenteel schaalprobleem. Bestaande methoden staan vaak voor een keuze tussen twee ongewenste opties:

1. Afhankelijkheid van grote LLM's: Methoden die gebruikmaken van grote modellen (zoals GPT-4o) via zero-shot of few-shot prompting zijn economisch onhaalbaar voor grootschalige corpora vanwege de hoge inferentiekosten en het aantal API-calls dat nodig is.
2. Onvolledigheid bij kleinere modellen: Kleinere modellen die direct worden gebruikt voor KG-extractie produceren vaak onvolledige en inconsistente grafieken.

De auteurs concluderen dat deze beperkingen niet voortkomen uit een gebrek aan modelcapaciteit, maar uit een tekort aan hoogwaardige trainingsdata voor document-level KG-constructie. Er ontbreekt een gespecialiseerd, gestructureerd trainingscorpus voor "ontology-free" KG's (grafieken zonder vooraf gedefinieerd schema), wat leidt tot afhankelijkheid van dure inferentie in plaats van efficiënt leren.

Methodologie

Het paper introduceert een data-gedreven aanpak bestaande uit twee hoofdcomponenten: SynthKG (een data-synthese pijplijn) en Distill-SynthKG (een gedistilleerd model).

1. SynthKG: Een Data Synthese Pijplijn

SynthKG is een meestaps proces dat hoogwaardige document-KG-paren genereert om trainingsdata te creëren. Het proces omvat:

• Chunking en Decontextualisatie: Lange documenten worden opgesplitst in semantisch complete chunks. Om contextverlies te voorkomen bij het verwerken van individuele chunks, wordt een "decontextualisatie"-stap uitgevoerd. Hierbij herschrijft een LLM elke chunk door entiteitsverwijzingen (zoals voornaamwoorden of afkortingen) te vervangen door hun meest informatieve vorm, gebaseerd op de context van de voorgaande chunk. Dit zorgt voor zelfstandige eenheden en consistente entiteitsnamen.
• Extractie: Voor elke gecontextualiseerde chunk extrahert de LLM entiteiten, relaties en proposities.
  • Proposities: In tegenstelling tot traditionele triples, voegt SynthKG een "propositie" toe: een volledige zin die de relatie tussen entiteiten beschrijft. Dit fungeert als een tussenstap in het "Chain-of-Thought" proces en biedt rijkere context voor retrieval.
  • De output bestaat uit een set triplets (head, predicate, tail) gekoppeld aan de bijbehorende propositie.

2. Distill-SynthKG: Efficiënte Single-Step Generatie

Om de kosten en complexiteit van de meestaps-pijplijn te omzeilen, wordt een kleiner LLM (bijv. Llama-3-8B) gefinetuned op de synthetische document-KG-paren gegenereerd door SynthKG.

• Distillatie: Het model leert het patroon van de meestaps-pijplijn in één enkele inferentiestap te internaliseren.
• Resultaat: Het model Distill-SynthKG kan volledige documenten direct omzetten in hoogwaardige KG's zonder de dure meervoudige API-calls van de originele pijplijn.

3. Evaluatie Framework

Omdat er geen bestaande datasets zijn voor het evalueren van ontology-free KG's op documentniveau, repurposeden de auteurs bestaande multi-hop QA-datasets (MuSiQue, 2WikiMultiHopQA, HotpotQA):

• Proxy Triplets: Vragen en antwoorden worden omgezet in ground-truth relationele triplets.
• Nieuwe Metrics: Er worden drie metrics geïntroduceerd die focussen op semantische overeenkomst en dekking (recall) in plaats van exacte matching:
  • Semantic Score: Cosine similariteit tussen ground-truth en gegenereerde triplets.
  • Triplet Coverage: Het percentage ground-truth triplets dat in de gegenereerde KG voorkomt.
  • F1 Score: Gebaseerd op semantische matching.

4. Retrieval Framework

De auteurs presenteren een Proposition-Entity Graph Retriever voor RAG (Retrieval-Augmented Generation):

• Het systeem zoekt eerst naar semantisch vergelijkbare proposities.
• Vervolgens wordt een sub-grafiek geconstrueerd en getraverseerd via de in de vraag genoemde entiteiten (N-hop neighborhood) om logisch verbonden informatie te vinden.
• Een LLM wordt gebruikt voor her-ranking van de gevonden proposities om de meest relevante context te selecteren.

Belangrijkste Bijdragen

1. SynthKG: Een systematische data-synthese pijplijn die schaarste aan trainingsdata voor document-level KG's oplost.
2. Distill-SynthKG: Het bewijs dat kleinere modellen (8B parameters) de kwaliteit van veel grotere modellen (70B+ of GPT-4o) kunnen bereiken wanneer ze worden getraind op hoogwaardige synthetische data.
3. Evaluatie Framework: Een nieuw framework voor het evalueren van ontology-free KG's door bestaande QA-datasets te repurposen, inclusief nieuwe metrics voor dekking.
4. Novel Retrieval: Een grafiekgebaseerd retrieval framework dat proposities als primaire eenheid gebruikt, wat superieur is aan traditionele triplet- of tekst-retrieval.
5. Open Data: Publicatie van een dataset van 100.000 document-KG-paren voor toekomstig onderzoek.

Resultaten

De experimentele resultaten tonen aan dat Distill-SynthKG (een 8B model) presteert op of boven het niveau van modellen die acht keer zo groot zijn:

• KG Kwaliteit: Distill-SynthKG behaalt een hogere triplet-coverage en semantische score dan directe prompting met Llama-3-70B en zelfs concurrerend met de volledige SynthKG-70B pijplijn.
• Retrieval: Het gebruik van Distill-SynthKG KG's in combinatie met de Graph+LLM retriever leidt tot een significante verbetering in Hits@2 (gemiddeld +28 punten ten opzichte van een ongetraind Llama-3-8B) en MRR.
• QA Performance: In multi-hop QA taken (MuSiQue, 2Wiki, HotpotQA) overtreft Distill-SynthKG zowel kleinere als grotere baselines, evenals state-of-the-art systemen zoals GraphRAG en HippoRAG (die gebruikmaken van GPT-4o).
• Kostenefficiëntie: De inferentiekosten van Distill-SynthKG zijn ongeveer 3% van die van GPT-4o, terwijl de prestaties vergelijkbaar zijn.

Betekenis

Dit paper verschuift de paradigma van "schaalvergroting van modelgrootte" naar "schaalvergroting van trainingsdata". Het demonstreert dat complexe structurele extractie-taken (zoals KG-constructie) niet per se enorme rekenkracht vereisen, maar juist een gestructureerde, hoogwaardige trainingsdataset nodig hebben. Door deze data synthetisch te genereren en te distilleren naar kleinere modellen, wordt het mogelijk om kostenefficiënte, schaalbare en hoogwaardige kennisgrafieken te bouwen voor grote corpora. Dit opent de deur voor praktisch toepasbare RAG-systemen in zakelijke omgevingen waar kosten en snelheid cruciaal zijn.