SocraticKG: Knowledge Graph Construction via QA-Driven Fact Extraction

Probleemstelling

Het construeren van Kennisgrafieken (Knowledge Graphs, KG's) uit ongestructureerde tekst met behulp van Large Language Models (LLM's) staat voor een fundamenteel compromis:

1. Factual Coverage vs. Relational Fragmentation: Methoden die proberen alle feitelijke informatie te extraheren, leiden vaak tot gefragmenteerde subgrafieken met zwakke semantische connectiviteit.
2. Premature Consolidation vs. Information Loss: Methoden die zich eerst richten op het structureren van entiteiten (entity-first) en dan relaties zoeken, verliezen vaak contextuele nuances en impliciete relaties omdat ze te vroeg filteren op vooraf gedefinieerde structuren.

Bestaande benaderingen, zoals directe extractie (OpenIE) of consolidatie-gestuurde strategieën (zoals GraphRAG of KGGen), slagen er niet in om de narratieve logica van een document volledig te externaliseren naar een gestructureerde graaf zonder verlies van diepgang of samenhang.

Methodologie: SocraticKG

De auteurs stellen SocraticKG voor, een geautomatiseerde methode die vraag-antwoordparen (QA-paren) gebruikt als een gestructureerde tussenliggende representatie. In plaats van triples direct uit ruwe tekst te extraheren, wordt het document eerst ontbonden in expliciete QA-paren om documentniveau-semantiek te ontsluiten.

Het proces verloopt in drie hoofdstappen:

1. 5W1H-Gestuurde QA-Generatie:

   • Het document wordt omgezet in een collectie discrete, zelfstandige QA-paren.
   • Er wordt gebruikgemaakt van het 5W1H-framework (Wie, Wat, Wanneer, Waar, Waarom, Hoe) om systematische vragen te genereren. Dit zorgt voor een brede dekking van feitelijke inhoud, inclusief causale redenen ('waarom') en procedurele details ('hoe').
   • Contextuele Onafhankelijkheid: De gegenereerde antwoorden moeten volledig begrijpelijk zijn zonder verwijzing naar de originele tekst (bijv. voornaamwoorden worden vervangen door expliciete entiteitsnamen). Dit lost referentiële ambiguïteiten op voordat de extractie begint.

2. Triple Extractie vanuit QA:

   • Elk QA-paar wordt behandeld als een onafhankelijke eenheid voor extractie.
   • Het model decomposeert de paren in atomaire triples (entiteit, relatie, entiteit).
   • Door te werken met logisch zelfstandige eenheden worden fouten die vaak voorkomen bij het extraheren uit lange, complexe zinnen gereduceerd.
   • Er worden strikte regels gehanteerd: entiteiten moeten specifieke zelfstandige naamwoorden zijn (geen voornaamwoorden) en relaties moeten geconcretiseerde werkwoorden zijn.

3. Grafiekconstructie en Canonicalisatie:

   • De geëxtraheerde triples worden uniek gemaakt en samengevoegd tot een coherente graaf.
   • Een canonicalisatie-procedure (gebaseerd op Mo et al., 2025) gebruikt embedding-clustering en LLM-verfijning om synoniemen en oppervlaktevariaties op te lossen, waardoor fragmentatie wordt voorkomen.

Belangrijkste Bijdragen

• QA als Semantisch Steiger: SocraticKG formaliseert vraag-antwoord niet slechts als een ophaalmechanisme, maar als een gestructureerde tussenlaag die documentsemantiek systematisch ontsluit voordat structurele extractie plaatsvindt.
• 5W1H-Gestuurde Expansie: De introductie van het 5W1H-framework als leidraad voor vraaggeneratie helpt bij het blootleggen van latente afhankelijkheden en causale relaties die bij directe extractie vaak worden gemist.
• Oplossing voor het Trade-off Probleem: De methode lost het compromis op tussen feitelijke dekking en structurele samenhang, wat resulteert in grafieken die zowel rijk aan feiten zijn als goed verbonden.

Resultaten

De methode is geëvalueerd op twee benchmarks:

1. MINE Benchmark (Factual Retention):

   • SocraticKG presteert consistent beter dan state-of-the-art methoden (Direct Extraction, GraphRAG, KGGen) over verschillende LLM-backbones (o.a. GPT-4o, Claude-4, Qwen-2.5).
   • Het bereikte een factual retention score van 96,3% met Claude-4, wat aanzienlijk hoger is dan concurrenten.
   • Grafieken gegenereerd door SocraticKG tonen een hogere connectiviteitsdichtheid (gemiddelde graad) en een lagere fragmentatie-index (NFI), zelfs bij een groter aantal geëxtraheerde triples.

2. HotpotQA (Multi-hop Redenering):

   • Als downstream taak voor complex redeneren (multi-hop reasoning) presteerde SocraticKG significant beter dan Naive RAG en andere KG-methoden.
   • Bijvoorbeeld, met Claude-4 en 3-hop retrieval bereikte SocraticKG 56,38% nauwkeurigheid, wat 8,5 procentpunten beter is dan Naive RAG.
   • Dit bewijst dat de verbeterde structuur van de graaf direct bijdraagt aan het vermogen om feiten over verschillende documenten heen te verbinden.

Betekenis en Conclusie

SocraticKG demonstreert dat expliciete semantische organisatie via QA-generatie geen louter voorverwerkingsstap is, maar een essentieel onderdeel voor het behoud van graaf-integriteit bij LLM-gestuurde kennisconstructie.

• Technische Impact: De methode toont aan dat het "interrogatieve" proces (het stellen van vragen) een natuurlijke schakel is om complexe, impliciete relaties in tekst expliciet te maken.
• Praktische Toepassing: Het biedt een robuuste basis voor toepassingen die vertrouwen op nauwkeurige feitelijke terugwinning en complex redeneren, zoals geavanceerde RAG-systemen.
• Toekomstperspectief: Hoewel de methode meer tokens verbruikt dan directe extractie, is de investering gerechtvaardigd door de kwalitatieve sprong in kennisvolume en structuur. Toekomstig werk richt zich op het optimaliseren van de efficiëntie en het verfijnen van de vraagstrategieën om nog specifieker te zijn.

Kortom, SocraticKG biedt een nieuwe paradigma voor kennisgrafiekconstructie waarbij het systematisch ontrafelen van documenten via vragen leidt tot grafieken die zowel vollediger als beter verbonden zijn dan huidige stand van de techniek.