Technische Samenvatting: RAS (Retrieval-And-Structuring) voor kennisintensieve LLM-generatie

Probleemstelling

Large Language Models (LLMs) hebben indrukwekkende capaciteiten getoond in kennisintensieve taken, maar worstelen vaak met meerstapsredeneringen. Deze beperking komt grotendeels voort uit de ongestructureerde aard van de opgehaalde context in standaard Retrieval-Augmented Generation (RAG) frameworks. Hoewel RAG externe informatie biedt, dwingt het gebrek aan expliciete organisatie tussen de opgehaalde passages het model om logische hiaten impliciet te overbruggen, wat vaak leidt tot broze redeneerpaden en hallucinaties.

Bestaande pogingen om Knowledge Graphs (KGs) met LLMs te integreren, vertrouwen doorgaans op statische, corpusbrede grafen. Deze benaderingen kampen met twee belangrijke beperkingen:

1. Hoge Kosten: Het bouwen en onderhouden van globale KGs (bijv. voor Wikipedia) vereist miljoenen LLM-aanroepen en aanzienlijke financiële middelen.
2. Ambiguïteit: Globale grafen combineren vaak bewijs uit conflicterende documenten, wat resulteert in ambigue of tegenstrijdige relaties die de specifieke context die relevant is voor een gebruikersvraag vertroebelen.

Consequent is er behoefte aan een systeem dat dynamisch kennisstructuren kan construeren die zijn afgestemd op specifieke vragen, wat een meer interpreteerbare en robuuste redenering mogelijk maakt zonder de prohibitieve kosten van offline indexering.

Methodologie: Het RAS-framework

De auteurs stellen Retrieval-And-Structuring (RAS) voor, een framework dat vraagspecifieke kennisgrafen dynamisch construeert via iteratieve retrieval en gestructureerde kennisopbouw. RAS weeft gerichte retrieval-planning samen met incrementele grafenconstructie, waardoor het model in staat is om evoluerende, op de vraag afgestemde kennisstructuren te assembleren en erover te redeneren.

Het framework werkt via drie primaire stadia:

1. Kennisbewuste Planning

Het proces wordt geïnitieerd en gecontroleerd door een planningsmodule die de huidige kennisstatus dynamisch beoordeelt.

• Initiële Planning: Gegeven een inputvraag $Q$, bepaalt het model of de vraag direct beantwoord kan worden ([NO_RETRIEVAL]) of dat retrieval nodig is. Indien retrieval vereist is, dient de hoofdvraag als de initiële subvraag ($q_0$).
• Iteratieve Planning: In elke iteratie $i$ analyseert het model de geaccumuleerde kennisgraaf $G_i$ en de geschiedenis van subvragen en geëxtraheerde triples. Het besluit of het:
  • Een nieuwe gefocuste subvraag ($q_{i+1}$) moet genereren om specifieke kennishiaten te vullen ([SUBQ]).
  • De retrieval moet beëindigen als de geaccumuleerde kennis voldoende is ([SUFFICIENT]).

2. Tekstretrieval en Structurering

Zodra een subvraag is gegenereerd, voert het systeem een retrieval-en-structureringspipeline uit:

• Retrieval: Een dense retriever haalt de top-$k$ semantisch relevante passages ($t_i$) op voor de subvraag.
• Text-to-Triples Conversie: Een gespecialiseerd model ($f_{t2t}$) zet de opgehaalde tekst om in gestructureerde feitelijke triples (onderwerp-predicaat-object). Dit model is getraind op de WikiOfGraph dataset.
• Grafenconstructie: De geëxtraheerde triples worden omgezet in een grafenstructuur $g'_i$ met semantische embeddings voor knopen en randen.
• Iteratieve Verrijking: De nieuwe graaf $g'_i$ wordt samengevoegd in een evoluerende, vraagspecifieke kennisgraaf $G_Q$. Deze graaf groeit iteratief en accumuleert bewijs dat relevant is voor de hoofdvraag.

3. Kennisversterkt Antwoorden

Wanneer de planningsmodule signaleert dat de kennis voldoende is, genereert het model het definitieve antwoord.

• Als er geen retrieval nodig was, wordt het antwoord direct vanuit de vraag gegenereerd.
• Zo niet, dan wordt het antwoord gegenereerd onder conditie van de gecodeerde vraagspecifieke KG ($G_Q$) en de keten van subvragen en hun bijbehorende grafeninformatie. Het model is gericht op deze gestructureerde context om accurate, coherente outputs te produceren.

Trainingsstrategie

RAS maakt gebruik van een Structure-Aware Multitask Learning benadering. Een enkele Graph LLM wordt getraind om zowel plannings- als antwoordtaken uit te voeren met behulp van een parameter-efficiënte fine-tuning strategie (LoRA). De trainingsdata, HotpotQA-SUBQ, wordt geconstrueerd door HotpotQA-documenten te filteren, subvragen te genereren voor elk ondersteunend document, en samples te labelen met de juiste planningsactie ([SUBQ], [SUFFICIENT], of [NO_RETRIEVAL]) of het uiteindelijke antwoord.

Belangrijkste Bijdragen

1. RAS Framework: De voorstel van een framework dat dynamisch vraagspecifieke kennisgrafen bouwt door iteratieve retrieval en structurering, waardoor de kosten en ruis van globale KGs worden vermeden.
2. Verenigde Modelarchitectuur: Het ontwerp van een verenigde Graph LLM die zowel de retrievalbehoeften plant als antwoorden genereert over evoluerende kennisgrafen, gebruikmakend van een multitask learning setup.
3. Empirische Validatie: Demonstratie van consistente prestatiewinsten over zeven diverse benchmarks, waarbij wordt aangetoond dat dynamische structurering de nauwkeurigheid en robuustheid van redeneringen verbetert.

Experimentele Resultaten

De auteurs hebben RAS geëvalueerd op zeven benchmarks die open-domein QA (TriviaQA, PopQA, 2WikiMultihopQA), closed-set taken (PubHealth, ARC-Challenge) en langvormige generatie (ASYA, ELI5) beslaan.

• Prestatiewinsten: RAS presteerde consequent beter dan sterke baselines, waaronder Self-RAG, RPG en SuRe.
  • Met open-source LLMs (LLaMA-2-7B/LLaMA-3-8B) behaalde RAS winsten van tot wel 7,0% ten opzichte van de baselines.
  • Met proprietary modellen (Claude-3.5-Sonnet) behaalde RAS winsten van tot wel 8,7%.
• Ablatie-studies:
  • Iteratieve Planning: Het verwijderen van de planningsmodule (waarbij werd teruggevallen op single-pass retrieval) veroorzaakte aanzienlijke prestatiedalingen, wat het belang van het dynamisch bepalen van de retrievalbehoeften onderstreept.
  • Grafenconstructie: Het verwijderen van de text-to-triple conversie of de graafencoder leidde tot substantiële degradatie, wat de waarde van gestructureerde kennisrepresentatie bevestigt.
  • Trainingsstrategie: Gecombineerde multitask training en het gebruik van LoRA bleken cruciaal voor optimale prestaties.
• Efficiëntie: In tegenstelling tot statische grafenmethoden (zoals GraphRAG) die dure offline indexering vereisen (geschat op \85k–\500k voor Wikipedia-schaal), brengt RAS verwaarloosbare offline kosten met zich mee door grafen dynamisch tijdens de inferentie te construeren.

Betekenis en Claims

Het artikel claimt dat dynamische, vraagspecifieke kennisstructurering een robuust pad biedt om de nauwkeurigheid en robuustheid van redeneringen in taalmodelgeneratie te verbeteren. Door opgehaalde kennis expliciet te organiseren in evoluerende grafen, verzacht RAS de risico's op hallucinaties die geassocieerd worden met ongestructureerde context en de inefficiënties van globale kennisgrafen.

De auteurs benadrukken dat hun aanpak aansluit bij interpreteerbaarheidsstudies die suggereren dat falen van LLM's vaak voortkomt uit gebroken impliciete redeneerketens. Door deze ketens expliciet te maken via gestructureerde intermediaire redenering, biedt RAS een transparante en schaalbare oplossing voor kennisintensieve taken. Het framework wordt gepresenteerd als een algemeen bruikbare aanpak voor open-domein vraagbeantwoording in plaats van beperkt te zijn tot specifieke Knowledge Graph Question Answering (KGQA) taken.