Technische Samenvatting: TIGRAG (Token-Induced GraphRAG)

1. Probleemstelling

Retrieval-Augmented Generation (RAG) is een standaardmethode om hallucinaties in Large Language Models (LLMs) te verminderen door generatie te funderen in externe kennis. Echter, standaard vectorgebaseerde RAG-systemen behandelen documenten als geïsoleerde eenheden, wat ze ineffectief maakt voor multi-hop redeneringstaken die synthese vereisen van verspreide bewijslast over onafhankelijke tekstfragmenten (chunks).

Hoewel Graph-augmented RAG (GraphRAG) benaderingen proberen dit op te lossen door relaties te modelleren via Knowledge Graphs (KGs), worden zij geconfronteerd met twee kritieke barrières voor adoptie:

1. Computationele Overhead: De offline constructie van KGs vertrouwt vaak op computationeel dure en latentie-inducerende LLM-gebaseerde extractiepipelines.
2. Extractiekwetsbaarheden: LLM-gestuurde extractie van entiteiten en relaties is gevoelig voor hallucinaties, ruis en ontbrekende verbindingen. Deze fouten propageren door de retrieval-pipeline, wat leidt tot cascade-fouten in downstream redenering.

2. Methodologie: TIGRAG Architectuur

De auteurs stellen TIGRAG (Token-Induced GraphRAG) voor, een framework dat direct een topologische Knowledge Graph construeert op basis van token-co-occurrences (het gezamenlijk voorkomen van tokens), in plaats van te vertrouwen op LLM-gebaseerde extractie. De architectuur opereert in twee stadia: Offline Graph Construction en Online Inference.

2.1. Offline Graph Construction

In plaats van LLMs te gebruiken om entiteiten en relaties te extraheren, gebruikt TIGRAG een statistische benadering:

• Preprocessing: Het corpus wordt gesegmenteerd in overlappende tekstfragmenten met behulp van een sliding-window strategie over zinnen.
• Tokenization: Fragmenten worden getokenized en stopwords worden verwijderd. Geldige tokens worden gefilterd op basis van lengte en numerieke beperkingen.
• Graph Building: Een gewogen, ongerichte KG wordt geconstrueerd waarbij:
  • Nodes (Knopen) tokens representeren.
  • Edges (Verbindingen) co-occurrences representeren tussen tokens binnen een sliding window van grootte $w$.
  • Weights (Gewichten) overeenkomen met de cumulatieve frequentie van co-occurrences over het corpus.
• Embeddings: Dichte vectorrepresentaties voor elk fragment worden vooraf berekend en geïndexeerd voor gelijkeniszoekopdrachten (similarity search).

2.2. Online Inference

Het retrievalproces is iteratief en multi-hop, bestaande uit vier kerncomponenten:

1. Semantic Expansion (PPR):
   • De gebruikersquery wordt getokenized om seed-nodes in de KG te identificeren.
   • Personalized PageRank (PPR) wordt uitgevoerd vanaf deze seed-nodes om de topologische buurt te verkennen en semantisch gerelateerde concepten te identificeren.
   • De top-$\gamma$ nodes worden geselecteerd om een uitgebreide tokenset $\Phi_\mu$ te vormen.
2. Candidate Retrieval & Graph-Weighted Scoring:
   • Kandidaat-fragmenten worden opgehaald als ze tokens bevatten uit de originele query of de uitgebreide set.
   • Een hybride score $\rho(c, \mu)$ wordt berekend door BM25 scores te combineren met de door PPR afgeleide waarschijnlijkheidsgewichten van de tokens, waarbij de nadruk ligt op structureel relevante concepten boven eenvoudige lexicale overlap.
3. Dynamic Candidate Pooling:
   • Een mechanisme voor cumulatieve score-thresholding filtert de kandidatenlijst. Alleen fragmenten waarvan de cumulatieve score een vooraf gedefinieerd deel ($th_\rho$) van de totale scoremassa bereikt, worden behouden, waarbij de poolgrootte dynamisch wordt aangepast op basis van vertrouwen.
4. Neural Reranking:
   • De dynamische pool wordt opnieuw gerankt met behulp van cosine similarity tussen de query-embedding en de fragment-embeddings om maximale semantische getrouwheid te garanderen.

2.3. Multi-Hop Reasoning Strategie

Om complexe queries aan te pakken die meerdere redeneringsstappen vereisen:

• Iteratieve Entity-Driven Expansie: Na de eerste retrieval-hop worden de top-gehaalde fragmenten verwerkt door een Named Entity Recognition (NER) pipeline.
• Query Augmentatie: Nieuwe, niet eerder geziene entiteiten die uit deze fragmenten zijn geëxtraheerd, worden samengevoegd met de originele query om een uitgebreide query ($\mu_{exp}$) te vormen.
• Re-retrieval: Het graph-gebaseerde retrieval- en rerankingproces wordt herhaald met de uitgebreide query.
• Terminatie: Het proces stopt wanneer er geen nieuwe entiteiten meer worden gevonden of wanneer een maximaal aantal hops is bereikt.
• Finale Aggregatie: Gehaalde fragmenten uit alle hops worden samengevoegd, waarbij de maximale relevantiescore voor elk fragment wordt behouden, en de top-$\beta$ fragmenten worden geïnjecteerd in de LLM-prompt.

3. Belangrijkste Bijdragen

• Efficiënte Graph Constructie: TIGRAG elimineert de noodzaak voor LLM-gebaseerde entiteitsextractie door de KG te construeren via statistische token co-occurrence, wat de indexeringstijd en computationele kosten aanzienlijk vermindert.
• Topologische Semantische Expansie: Het maakt gebruik van PPR om retrieval-signalen natuurlijk te laten propageren over semantische nodes, wat de ontdekking van onderling verbonden bewijs mogelijk maakt zonder expliciete query-decompositie.
• Iteratieve Entity-Driven Retrieval: Het framework introduceert een mechanisme om queries progressief uit te breiden met behulp van brug-entiteiten uit de opgehaalde contexten, specifiek gericht op de hiaten in multi-hop redenering.
• Hybride Scoring & Reranking: Het combineert graph-gewogen structurele relevantie met neurale semantische alignment om ruis te filteren en hoogwaardige contextselectie te waarborgen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie multi-hop QA-benchmarks: HotpotQA, 2WikiMultiHopQA, en MuSiQue.

• Retrieval Performance: TIGRAG presteerde consistent beter dan dense retrieval (NaiveRAG) en state-of-the-art graph-gebaseerde methoden (inclusief HippoRAG2, LightRAG, en GraphRAG).
  • Op HotpotQA verbeterde het de Recall@2 met 9,70% ten opzichte van NaiveRAG.
  • Op MuSiQue behaalde het een winst van 19,92% in Recall@2 ten opzichte van HippoRAG2.
• Downstream QA Performance: TIGRAG bereikte nieuwe state-of-the-art resultaten in Exact Match (EM) en token-level F1-scores over alle datasets. Op HotpotQA verbeterde het bijvoorbeeld de EM met 13,67% ten opzichte van NaiveRAG.
• Efficiëntie:
  • Indexing Time: De offline graph constructie van TIGRAG was aanzienlijk sneller dan andere graph-gebaseerde methoden (bijv. ~191s vs. ~308.000s voor HippoRAG2 op HotpotQA) en vergelijkbaar met dense retrieval.
  • Inference Latency: Op complexe datasets (2WikiMultiHopQA, MuSiQue) was TIGRAG end-to-end sneller dan NaiveRAG vanwege de kleinere prompt footprint.
  • Prompt Footprint: Door dynamisch compacte, hoog-relevante fragmenten te selecteren, reduceert TIGRAG het aantal naar de LLM verzonden tokens aanzienlijk vergeleken met methoden die uitgebreide KG-samenvattingen of triplets injecteren.

5. Betekenis en Claims

Het artikel claimt dat TIGRAG aantoont dat graph-augmented RAG-systemen complexe multi-hop redeneringstaken kunnen oplossen zonder computationele efficiëntie op te offeren.

• Schaalbaarheid: Door de dure LLM-gestuurde graph constructie te omzeilen, biedt TIGRAG een zeer schaalbare oplossing die geschikt is voor real-world implementatie.
• Robuustheid: De statistische constructie van de graph voorkomt de problemen met hallucinaties en ruis die inherent zijn aan LLM-gebaseerde extractiepipelines.
• Prestaties: Het framework vestigt nieuwe benchmarks voor zowel retrieval nauwkeurigheid als generatiekwaliteit in multi-hop QA, waarmee bewezen wordt dat topologische expansie via token co-occurrence een levensvatbaar en superieur alternatief is voor traditionele dense retrieval en complexe GraphRAG architecturen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het framework afhankelijk is van de kwaliteit van de NER-pipeline (met risico op semantische drift als entiteiten onnauwkeurig zijn) en primair relaties vastlegt op basis van token-nabijheid. Toekomstig werk wordt voorgesteld om semantische edges te integreren, polysemie van tokens aan te pakken en de aanpak uit te breiden naar multimodale settings.