💬 NLP

KGCaRe: Explainable Complex Conditional Question Answering using Automatic Knowledge Graph Construction and Context Retrieval with LLMs

Het artikel introduceert KGCaRe, een hybride framework dat complexe conditionele vraagbeantwoording verbetert door neurale retrieval te combineren met door LLM gestuurde automatische kennisgraafconstructie en iteratieve graafdoorloop, waarmee een superieure prestatie wordt aangetoond ten opzichte van bestaande baselines over meerdere modellen en datasets heen.

Oorspronkelijke auteurs: Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, gelaagde mysteries probeert op te lossen, zoals precies uitzoeken waarom een personage in een videogame een specif으로 item wel of niet kan kopen. Je hebt een enorme bibliotheek aan regelboeken (documenten) en een gigantisch, rommelig notitieblok vol aanwijzingen (een kennisgrafiek). Als je een superintelligente robot (een AI) gewoon de hele bibliotheek laat lezen en het antwoord laat raden, kan hij in de war raken, een kleine regel over het hoofd zien die op pagina 400 begraven ligt, of een reden verzinnen die goed klinkt maar niet waar is. Dit is de wereld van "Question Answering" voor computers. Wetenschappers proberen deze robots te leren betere detectives te zijn, vooral wanneer de vragen lastig zijn, vol zitten met "als dit, dan dat"-voorwaarden, en vereisen dat er stippen tussen verschillende pagina's worden verbonden. Dit papier pakt dit aan door de robot twee superkrachten tegelijk te geven: het vermogen om de rommelige tekst te lezen zoals een mens, en het vermogen om een strikte, logische kaart van feiten te volgen zoals een computer.

De onderzoekers achter deze studie, Ghanshyam Verma en zijn team, merkten op dat hoewel AI geweldig is in chatten, het vaak struikelt wanneer er complexe vragen worden gesteld die afhankelijk zijn van specifieke voorwaarden, zoals juridische regels of beleidsdetails. Om dit op te lossen, hebben ze een nieuw systeem gebouwd genaamd KGCaRe. Denk aan KGCaRe als een detective die niet alleen het dossier leest; ze bouwen ook een fysieke kaart van de aanwijzingen terwijl ze bezig zijn. In plaats van de AI alleen te vragen om het antwoord te "raden" uit een stapel tekst, gebruikt KGCaRe de AI eerst om de documenten om te zetten in een gestructureerde "Knowledge Graph" — een web van verbonden feiten (zoals "Aanvrager" → "moet indienen" → "Formulier"). Vervolgens gebruikt het een tweede methode om relevante tekstfragmenten te vinden die misschien nog niet in de kaart staan.

Hier is hoe de magie werkt: Wanneer een vraag wordt gesteld, stopt KGCaRe niet zomaar bij het beantwoorden. Het begint stap voor stap door het web van feiten te wandelen. Als de eerste stap niet genoeg informatie oplevert, gedraagt de AI zich als een nieuwsgierige ontdekkingsreiziger en vraagt: "Oké, wie is er nog meer bij betrokken? Waar moet ik nog meer naar zoeken?" Het gebruikt deze nieuwe aanwijzingen om naar het volgende deel van de kaart te springen. Als het het mysterie nog steeds niet kan oplossen, pakt het relevante tekst uit de originele documenten om de gaten op te vullen. Ten slotte combineert het het logische pad dat het op de kaart heeft bewandeld met de gevonden tekst om een antwoord te geven dat niet alleen correct is, maar ook gepaard gaat met een duidelijke uitleg over hoe het tot de conclusie kwam.

Het team heeft dit systeem getest op twee uitdagende datasets: één met complexe Britse beleidsvragen en een andere met Wikipedia-gebaseerde raadsels. Ze lieten KGCaRe strijden tegen andere methoden, waaronder AI die alleen maar gokt, AI die alleen tekst leest, en AI die alleen een grafiek volgt. De resultaten waren duidelijk: KGCaRe won consequent. Of ze nu een kleinere open-source AI gebruikten of een krachtige zoals GPT-4o, de hybride aanpak van het combineren van de kaart en de tekst leidde tot betere antwoorden, vooral voor die lastige "als-dan"-vragen. Bijvoorbeeld, op de Britse beleidsdataset behaalde KGCaRe een gemiddelde score van 57,89, waarmee het de op één na beste methode met een aanzienlijke marge versloeg. Het artikel suggereert dat door AI zowel een gestructureerde kaart als de vrijheid om ruwe tekst te lezen te geven, we ze veel beter kunnen maken in het oplossen van echte puzzels waarbij het missen van één enkele voorwaarde het hele antwoord kan veranderen. En het beste eraan? Omdat het systeem een verslag bijhoudt van elke stap die het op de kaart heeft genomen, kan het je precies laten zien hoe het tot zijn conclusie kwam, wat het denken van de AI transparant en betrouwbaar maakt.

Technische Samenvatting: KGCaRe

Probleemstelling

Het beantwoorden van complexe conditionele vragen met behulp van Large Language Models (LLMs) en Retrieval-Augmented Generation (RAG) blijft een aanzienlijke uitdaging, met name binnen domeinspecifieke contexten. Algemene LLMs presteren vaak ondermaats wanneer de input betrekking heeft op conditionele logica of vereist dat er wordt geredeneerd over gespecialiseerde inhoud. Deze prestatiedaling wordt toegeschreven aan een gebrek aan fine-tuning op gespecialiseerde corpora en een neiging tot hallucinaties wanneer de context onvoldoende is. Conditionele vragen zijn uniek gevoelig voor ontbrekende of impliciete beperkingen; het model moet zich bewust zijn van zowel de vraag als de specifieke voorwaarden waaronder een antwoord geldig is. Bestaande oplossingen, zoals standaard RAG (vertrouwend op trefwoord- of gelijkeniszoekopdrachten) of puur symbolische Knowledge Graph (KG)-benaderingen, falen vaak bij het ophalen van kritieke logische afhankelijkheden of worstelen met schaarse grafische connectiviteit.

Methodologie: KGCaRe

De auteurs stellen KGCaRe voor (Knowledge Graph Context aware Reasoning for complex Question Answering), een hybride benadering die symbolisch redeneren over door LLM gegenereerde Knowledge Graphs integreert met neurale retrieval uit vector stores. Het systeem werkt via de volgende componenten:

1. Automatische Constructie van de Knowledge Graph

KGCaRe construeert een KG uit ongestructureerde documenten met behulp van een multi-prompt LLM extractiestrategie die wordt opgeslagen in een Neo4j-database. Dit proces omvat vier progressieve stadia:

Stadium 1 (Contextueel Begrip): Extraheert initiële entiteiten en relaties, waarbij de nadruk ligt op temporele, causale, procedurele en conditionele constructen.
Stadium 2 (Conditionele Expansie): Richt zich op conditionele logica, uitzonderingen en "als-dan"-structuren om de nuances van regelgeving en vertakkende beslissingslogica vast te leggen.
Stadium 3 (Verfijning & Logische Expansie): Valideert volledigheid en gebruikt transitieve of geïmpliceerde logica om nieuwe triples af te leiden (bijv. afleiden dat een Voogd toestemming kan delegeren aan een Rechtbank als Ouders toestemming kunnen delegeren aan de Rechtbank).
Stadium 4 (Normalisatie): Formatteert en importeert de triples in de grafische database.

2. Semantische Vector Indexering

Parallel daaraan worden documenten geëmbed in hoogdimensionale vectoren met behulp van een LLM-gestuurde embedder en opgeslagen in een FAISS-index. Dit maakt snelle, benaderende nearest-neighbor zoekopdrachten mogelijk om relevante tekstfragmenten te extraheren op basis van semantische gelijkenis met de gebruikersvraag.

3. Iteratieve Grafische Traversering (Symbolisch Redeneren)

Het kernmechanisme voor inferentie is een LLM-gestuurde iteratieve grafische traversering (Algoritme 1):

Initialisatie: Onderwerp-entiteiten ( $E_{topic}$ ) worden uit de vraag geëxtraheerd om de traversering te verankeren.
Diepte-gebonden Zoektocht: Het systeem doorloopt de graaf tot een maximale diepte $D$ $D$ .
- Diepte 1: Gebruikt gedeeltelijke matching (inclusief subwoord-matching) voor brede exploratie.
- Vervolgdieptes: Gebruikt exacte matching voor gefocuste redenering.
Clue Entity Mechanisme: Als de initiële traversering onvoldoende context oplevert, wordt de LLM geprompt om "clue entities" ( $E_{clue}$ ) te genereren om verdere traversering te sturen, geïnspireerd door de Tree-of-Traversal aanpak.
Pruning (Snoeien): Een LLM-gestuurde functie ($PruneTriples$) filtert de geëxtraheerde triples en behoudt alleen de triples die contextueel nuttig zijn voor de specifieke vraag.
Terminatie: Het proces stopt als er voldoende context is verzameld om de vraag te beantwoorden, of als er geen nieuwe clues/triples meer worden gevonden.

4. Gefuseerde Antwoordgeneratie

Het uiteindelijke antwoord wordt gegenereerd door een aangepaste prompt naar de LLM te voeren. Deze prompt synthetiseert:

Symbolische Context: Gecureerde triples en traverseringspaden uit de KG.
Neurale Context: Top-gerangschikte tekstfragmenten uit de vector store.
De prompt instrueert het model expliciet om bewijs uit beide bronnen te incorporeren en te vermelden onder welke voorwaarden het antwoord geldt, wat ervoor zorgt dat de output zowel accuraat als verklaarbaar is.

Belangrijkste Bijdragen

End-to-End Pipeline: Ontwerp en implementatie van een geautomatiseerde pipeline voor het construeren van KGs uit lange, complexe documenten met behulp van een multi-prompt LLM triple extractie-aanpak.
Hybride Architectie: Introductie van KGCaRe, dat uniek de combinatie vormt van symbolische KG-retrieval met vector-gebaseerde semantische zoekopdrachten om complexe conditionele QA aan te pakken.
Empirische Validatie: Demonstratie dat KGCaRe verschillende baselines (Vanilla LLM, Code Prompt, Text Prompt, Think-on-Graph, Vanilla RAG, en HybridContextQA) verslaat over meerdere LLMs (Mistral, Mixtral, GPT-3.5, GPT-4o).
Reproduceerbaarheid: Openbare release van de softwarepipeline en de bijbehorende prompts.

Experimentele Resultaten

De auteurs hebben KGCaRe geëvalueerd op twee datasets: ConditionalQA (Britse beleidsdocumenten met complexe conditionele beperkingen) en HotpotQA (Wikipedia-gebaseerde multi-hop vragen).

Prestaties: KGCaRe behaalde consequent de hoogste gemiddelde F1-scores over alle antwoordtypen (Ja/Nee, Span, Conditioneel) en alle geteste LLMs.
- Op ConditionalQA met Mistral behaalde KGCaRe een F1 van 57,89, wat aanzienlijk beter is dan Vanilla RAG (40,12) en HybridContextQA (45,17).
- Op HotpotQA met GPT-4o behaalde KGCaRe een F1 van 80,21, waarmee het in de meeste categorieën HybridContextQA (73,37) versloeg, hoewel de twee methoden vergelijkbare F1-scores behaalden in de Ja/Nee categorie.
Conditioneel Redeneren: De methode toonde een bijzondere kracht in de "Conditioneel" categorie, waar redeneren multi-hop stappen en het afhandelen van impliciete beperkingen vereist.
Ablatieonderzoek: Bij het analyseren van 106 Ja/Nee vragen met enkelvoudige definitieve antwoorden, behield KGCaRe een voorsprong op de baselines over alle modellen heen, inclusclusief hoogwaardige modellen zoals GPT-4o (88,67 vs. 85,85 voor Text Prompt).
Baseline Vergelijking: Zuivere KG-benaderingen (Think-on-Graph) presteerden slecht, omdat ze vaak niet in staat waren de noodzakelijke context uit schaarse grafen te halen. Zuivere RAG-benaderingen presteerden beter, maar misten de gestructureerde redeneerkracht van het hybride model.

Betekenis en Claims

Het artikel claimt dat KGCaRe de hypothese valideert dat een hybride context, bestaande uit zowel symbolische (gestructureerde) als neurale (ongestructureerde) representaties, de prestaties op complexe conditionele QA-taken verbetert. De betekenis van het werk ligt in het vermogen om:

Verklaarbaarheid te verbeteren: Door een expliciet redeneerspoor te behouden (getraverseerde paden en gesnoeide triples), biedt het systeem menselijk begrijpelijke verklaringen voor zijn antwoorden, een cruciaal kenmerk voor hoog-risico domeinen zoals recht en publiek beleid.
Beperkingen van schaarse grafen te overwinnen: In tegenstelling tot methoden die uitsluitend vertrouwen op dichte grafische connectiviteit, vult KGCaRe schaarse KGs aan met semantisch opgehaalde tekst, waardoor robuust redeneren mogelijk blijft zelfs wanneer de KG incompleet is.
Te generaliseren over modellen: De aanpak demonstreert consistente verbeteringen ongeacht de capaciteit van de onderliggende LLM, van open-source modellen (Mistral) tot propriëtaire modellen (GPT-4o).

De auteurs concluderen dat dit framework een levensvatbaar pad biedt naar meer precieze en transparante QA-systemen in gespecialiseerde domeinen waar de getrouwheid en traceerbaarheid van antwoorden van groot belang zijn.