GRAIL:Learning to Interact with Large Knowledge Graphs for Retrieval Augmented Reasoning

Probleemstelling

Bestaande Retrieval-Augmented Generation (RAG) systemen presteren uitstekend op ongestructureerde tekstdata, maar hebben moeite met gestructureerde kennis zoals kennisgrafieken (Knowledge Graphs - KG). De huidige methoden voor grafretrieval kampen met twee fundamentele beperkingen:

1. Gebrek aan holistische structuur: Ze kunnen de complexe structuren van een graf niet effectief vastleggen, wat leidt tot onvolledige informatie of overmatige redundantie.
2. Beperkte aanpassingsvermogen: Bestaande aanpakken (op basis van gelijkenis, graf-neurale netwerken of LLM's) missen een interactief mechanisme. Ze halen vaak subgrafen in één keer op, wat resulteert in of te weinig context (kritieke informatie mist) of te veel ruis (redundante verbindingen), waardoor het redeneringsvermogen van het LLM wordt ondermijnd.

Het doel is dus een systeem te creëren dat dynamisch kan navigeren door een grote graf om de meest relevante informatie te vinden voor een specifieke vraag, zonder de context van het LLM te overladen.

Methodologie: GRAIL Framework

GRAIL (Graph-Retrieval Augmented Interactive Learning) is een raamwerk dat een agent traint om autonoom te interageren met een kennisgraf via een iteratief proces. De aanpak bestaat uit drie hoofdfasen:

1. Data Synthese en Actie-ontwerp

Omdat er een gebrek is aan hoogwaardige, gestructureerde grafdata voor training, ontwikkelt GRAIL een pijplijn om synthetische trainingsdata te genereren zonder menselijke annotatie.

• Acties: Er worden drie fundamentele operaties gedefinieerd voor de agent:
  • Explore Entity: Ontdek alle relaties en buren van een entiteit.
  • Choose Relation: Filter de waargenomen subgraf op relevantie voor de query (om redundantie te verminderen).
  • Finish: Beëindig de zoektocht als de informatie voldoende is om het antwoord te geven.
• Synthese: Een krachtig gesloten LLM (GPT-4o) simuleert interacties met de graf, kiest acties en genereert redeneertrajecten. Alleen trajecten met het juiste antwoord worden behouden.

2. Twee-fasen Trainingsparadigma

Om de agent effectief te maken, wordt een twee-staps trainingsproces gebruikt:

• Fase 1: Supervised Fine-Tuning (SFT): Het model wordt getraind op de gegenereerde synthetische data om basisvaardigheden in grafbegrip en instructievolging te verwerven.
• Fase 2: Reinforcement Learning (RL): Het model wordt verder geoptimaliseerd met GRPO (Group Relative Policy Optimization).
  • Innovatie in Beloning: In plaats van alleen een beloning op het eindantwoord (Outcome-based Reward), gebruikt GRAIL Process-based Rewards (PRM). Dit geeft feedback op elke stap van het redeneerproces.
  • Shortest Path Refinement: Om ruis in de synthetische data te elimineren, worden alleen de kortste en meest efficiënte paden behouden voor de RL-training. Dit zorgt voor een scherpere beloningssignaal en verhoogt de leerefficiëntie.

3. Interactieve Retrieval

Tijdens de inferentie (gebruik) navigeert het model dynamisch door de graf. Het voert een "Chain-of-Thought" (CoT) redenering uit om te beslissen of het moet verkennen (nieuwe knopen toevoegen) of filteren (irrelevante relaties verwijderen). Dit proces gaat door totdat de agent besluit dat de verkregen informatie voldoende is om de vraag te beantwoorden.

Belangrijkste Bijdragen

1. Interactief Retrieval Framework: Een nieuw systeem dat adaptieve, structuur-bewuste exploratie mogelijk maakt over grote kennisgrafieken, in plaats van statische opvraging.
2. Schalbare Data Synthese: Een pijplijn voor het automatisch genereren van RL-data voor graf-retrievers zonder menselijke tussenkomst, wat het tekort aan hoogwaardige grafdata oplost.
3. Geavanceerde Trainingsstrategie: Een combinatie van SFT en RL met proces-gestuurde beloningen (PRM) en kortste-pad-filtering, wat leidt tot superieure redeneerprestaties.

Resultaten

GRAIL is getest op drie benchmarks: WebQSP, CWQ (Complex WebQuestions) en MetaQA. De resultaten tonen een aanzienlijke verbetering ten opzichte van state-of-the-art baselines (zoals G-Retriever, LightRAG, ToG en standaard RAG):

• Prestatieverbetering: GRAIL behaalde een gemiddelde stijging van 21,01% in nauwkeurigheid (Accuracy) en 22,43% in F1-score.
• Efficiëntie: In tegenstelling tot methoden die veel redundantie ophalen, haalt GRAIL gemiddeld slechts 11,44% van het aantal triples op dat nodig is voor G-Retriever, terwijl het toch een hogere nauwkeurigheid behaalt. Dit bewijst het vermogen om diepte en precisie in balans te brengen.
• Ablatie-studies: Verwijdering van de RL-fase, de interactieve inferentie of de kortste-pad-filter leidde tot significante prestatiedalingen, wat aantoont dat elk onderdeel essentieel is voor het succes.

Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen de kracht van Large Language Models en de structuur van kennisgrafieken. Het lost het probleem op dat LLM's vaak overweldigd worden door de complexiteit van grafdata als deze niet selectief wordt opgehaald.

• Vooruitgang in RAG: Het introduceert een nieuwe generatie van RAG-systemen die niet alleen tekst, maar ook complexe gestructureerde relaties kunnen doorzoeken en redeneren.
• Efficiëntie: Door dynamisch te filteren en alleen de noodzakelijke informatie te ophalen, maakt het RAG-toepassingen op grote schaal praktischer en sneller.
• Toekomstperspectief: De methode van proces-gestuurde beloning en synthetische data-generatie biedt een blauwdruk voor het trainen van agents op andere complexe, gestructureerde domeinen waar gespecialiseerde datasets schaars zijn.

Kortom, GRAIL bewijst dat door interactief te leren navigeren in een graf en te redeneren over de zoekstappen, AI-systemen veel nauwkeuriger en efficiënter kunnen worden in kennisintensieve taken.