IndexRAG: Bridging Facts for Cross-Document Reasoning at Index Time

IndexRAG is een nieuwe aanpak die cross-document redenering voor meerstaps-vraagbeantwoording verplaatst van online inferentie naar offline indexering door bruggende feiten te genereren, waardoor prestaties op meerdere benchmarks aanzienlijk verbeteren zonder extra training of complexe grafische structuren.

De kern

Stel je voor dat je een detective bent die een complex mysterie moet oplossen. Je hebt een enorme bibliotheek met duizenden boeken (de documenten) nodig om het antwoord te vinden.

Het oude probleem (Naive RAG):
Stel, je vraagt: "Waar is de regisseur van de film 'Aylwin' geboren?"
Een traditionele zoekmachine (zoals een simpele RAG) pakt één boekje erbij waarin staat: "Aylwin is geregisseerd door Henry Edwards."
Dan zoekt het in een ander boekje: "Henry Edwards is geboren in Weston-super-Mare."
Maar hier zit de valkuil: de zoekmachine ziet deze twee feiten niet als één geheel. Het haalt het eerste boekje op, maar vergeet het tweede omdat het niet direct op de zoekterm "Weston-super-Mare" lijkt. De detective (de AI) ziet alleen de naam van de regisseur en raakt in de war. Hij moet nu zelf gaan "nadenken" en hopelijk de juiste boeken vinden, wat veel tijd kost en vaak fouten oplevert.

De oplossing van IndexRAG: De "Brugbouwers"
De auteurs van dit paper, IndexRAG, hebben een slimme truc bedacht. In plaats van dat de detective tijdens het zoeken moet nadenken, bouwen ze vooraf bruggen tussen de boeken.

Hier is hoe het werkt, in drie simpele stappen:

1. De Voorbereiding (Het "Indexeren")

Stel je voor dat je een team hebt dat voor je vertrekt, alle boeken doorleest. Ze zoeken naar namen die in meerdere boeken voorkomen (zoals "Henry Edwards").
Wanneer ze zien dat Boek A zegt: "Henry Edwards regisseerde Aylwin" en Boek B zegt: "Henry Edwards is geboren in Weston-super-Mare", maken ze een nieuwigheid: een "brugfact".

Ze schrijven een nieuw kaartje:

"De regisseur van de film Aylwin is geboren in Weston-super-Mare."

Dit kaartje is een onafhankelijke eenheid. Het is een samenvatting van twee verschillende boeken, maar het staat nu als een losse, makkelijke te vinden zin in de bibliotheek. Ze doen dit voor duizenden van deze verbindingen. Dit noemen ze Bridging Facts (Brugfeiten).

2. Het Zoeken (De "Vraag")

Nu komt jij met je vraag: "Waar is de regisseur van Aylwin geboren?"
Omdat de bibliotheek nu vol zit met die handgemaakte kaartjes (de brugfeiten), vindt de zoekmachine direct het kaartje dat precies jouw vraag beantwoordt.

• Geen gedoe: De AI hoeft niet meer te "redeneren" of te springen van het ene boek naar het andere. Het antwoord ligt er gewoon.
• Snelheid: Het is alsof je in plaats van twee boeken te moeten vinden, direct op het juiste antwoord wordt gewezen.

3. Het Resultaat

In het echte leven betekent dit:

• Sneller: De computer hoeft niet lang te zoeken of meerdere keren te vragen. Het antwoord is er in één keer.
• Beter: De AI maakt minder fouten (hallucinaties) omdat het antwoord expliciet in de zoekresultaten staat, in plaats van dat de AI het zelf moet "raden" door stukjes informatie te combineren.
• Slimmer: Het werkt zelfs beter dan dure systemen die complexe "kaarten" (grafieken) van alle boeken moeten bouwen en doorlopen. IndexRAG houdt het simpel: een rechte lijn naar het antwoord.

De Metafoor van de "Telefoongids"
Stel je voor dat je een telefoongids hebt.

• Oude manier: Je zoekt op "Bakker". Je vindt een lijst met bakkers. Je moet dan zelf in een andere gids zoeken naar hun geboortedatum.
• IndexRAG manier: Iemand heeft vooraf een speciale lijst gemaakt met de regel: "Bakker Jan, geboren in Utrecht". Je zoekt op "Bakker Jan" en het antwoord staat er direct bij. Je hoeft niet meer te schakelen tussen verschillende gidsen.

Kortom:
IndexRAG verplaatst het zware denkwerk van het moment dat je iets vraagt (online), naar het moment dat de bibliotheek wordt aangelegd (offline). Ze bouwen de bruggen tussen de eilanden van informatie voordat je er überhaupt bij komt. Hierdoor is het zoeken sneller, slimmer en betrouwbaarder.

Technische samenvatting

Probleemstelling

Multi-hop vraag-antwoordsystemen (QA) vereisen redenering over meerdere documenten om een correct antwoord te formuleren. Bestaande Retrieval-Augmented Generation (RAG) benaderingen hebben hier moeite mee:

• Naive RAG: Haalt passages onafhankelijk op. Als het antwoord informatie uit twee verschillende documenten vereist (bijv. "Wie regisseerde film X?" en "Waar is die regisseur geboren?"), faalt het vaak omdat de relevante passage uit het tweede document niet in de top-k resultaten wordt opgehaald.
• Graph-based RAG (bijv. HippoRAG, FastGraphRAG): Construeren kennisgrafieken om relaties tussen documenten expliciet te maken. Dit vereist echter vaak complexe online verwerking, zoals grafen-traversie, query-decompositie en meerdere LLM-aanroepen tijdens de inferentie, wat leidt tot hoge latentie en kosten.
• Iteratieve methoden (bijv. IRCoT): Breken vragen op in meerdere stappen met herhaalde zoekopdrachten. Dit verhoogt ook de inferentiekosten en de responstijd aanzienlijk.

Het kernprobleem is dus hoe men cross-document redenering kan mogelijk maken zonder de inferentie-tijd te belasten met complexe grafen-traversie of iteratieve zoekcycli.

Methodologie: IndexRAG

IndexRAG verschuift de last van cross-document redenering van het inferentietijdstip (online) naar het indexeringstijdstip (offline). De methode bestaat uit twee fasen:

1. Offline Indexering

Tijdens het indexeren worden twee belangrijke stappen uitgevoerd:

• Fase 1: Extractie van Atomische Kenniseenheden (AKU's) en Entiteiten:
  • Voor elk document in het corpus gebruikt een LLM om "atomische kennis" te extraheren, gestructureerd als vraag-antwoordparen (bijv. "Wie regisseerde Aylwin? -> Henry Edwards"). Deze worden opgeslagen als AKU's.
  • Tegelijkertijd worden entiteiten uit de documenten geëxtraheerd.
• Fase 2: Generatie van "Bridging Facts" (Brugfacten):
  • Het systeem identificeert brug-entiteiten (bridge entities) die in meerdere documenten voorkomen.
  • Voor elke brug-entiteit genereert de LLM bridging facts. Dit zijn nieuwe, zelfstandig ophaalbare eenheden die impliciete redeneringsketens tussen documenten expliciet maken.
  • Voorbeeld: Als Document A zegt "Aylwin is geregisseerd door Henry Edwards" en Document B zegt "Henry Edwards is geboren in Weston-super-Mare", genereert IndexRAG een brugfact: "De regisseur van de film Aylwin is geboren in Weston-super-Mare".
  • Zowel de originele AKU's als de gegenereerde brugfacten worden opgeslagen in één uniforme vector-store.

2. Online Inferentie

• Bij een gebruikersvraag wordt er één enkele zoekopdracht uitgevoerd in de vector-store.
• Er wordt een Balanced Context Selection toegepast: Omdat brugfacten vaak korter zijn dan originele passages, zou een simpele top-k zoekopdracht kunnen leiden tot een oververtegenwoordiging van brugfacten. IndexRAG selecteert daarom een evenwichtige mix van AKU's en brugfacten om de context te vormen.
• De geselecteerde context wordt één keer naar de LLM gestuurd om het antwoord te genereren. Er is geen grafen-traversie, geen query-decompositie en geen iteratieve lus nodig.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: IndexRAG introduceert het concept van "index-time reasoning", waarbij cross-document redenering wordt voorafgegaan en opgeslagen in de index in plaats van tijdens de inferentie te worden berekend.
2. Bridging Facts: Een nieuw type ophaaleenheid die redenering over documentgrenzen heen encodeert als zelfstandig ophaalbare items in een vlakke vector-store.
3. Trainingsvrij Framework: Het systeem vereist geen fine-tuning van de embedding-modellen of de LLM. Het is agnostisch ten opzichte van de onderliggende ophaalstrategie en kan worden gecombineerd met iteratieve methoden zoals IRCoT.
4. Efficiëntie: Het bereikt superieure prestaties met slechts één zoekopdracht en één LLM-call tijdens de inferentie.

Resultaten

De methode is geëvalueerd op drie populaire multi-hop QA-benchmarks: HotpotQA, 2WikiMultiHopQA en MuSiQue.

• Prestaties: IndexRAG verbetert de gemiddelde F1-score met 4,6 punten ten opzichte van Naive RAG.
• Vergelijking met Single-Call Methodes: IndexRAG presteert beter dan alle andere methodes die slechts één LLM-call vereisen (waaronder FastGraphRAG en RAPTOR), met name op de uitdagende MuSiQue-dataset.
• Vergelijking met Multi-Call Methodes: Wanneer IndexRAG wordt gecombineerd met IRCoT, overtreft het zelfs geavanceerde graph-based baselines zoals HippoRAG en FastGraphRAG in gemiddelde prestaties.
• Efficiëntie: IndexRAG is aanzienlijk sneller dan graph-based methoden. Op de MuSiQue-dataset is de ophaal-latentie van IndexRAG (0,30s) bijna gelijk aan Naive RAG (0,29s), terwijl FastGraphRAG 2,55s nodig heeft en HippoRAG 3,13s (met extra LLM-calls).

Significantie en Conclusie

IndexRAG demonstreert dat het mogelijk is om complexe cross-document redenering te bereiken zonder de kosten en latentie van online grafen-verwerking of iteratieve zoekopdrachten. Door de redenering naar het indexeringstijdstip te verschuiven en "bridging facts" te creëren, wordt de vector-store verrijkt met expliciete redeneringspaden die direct ophaalbaar zijn.

Dit biedt een nieuwe richting voor RAG-systemen: in plaats van te vertrouwen op complexe inferentie-architecturen, kan men de kennisbasis zelf intelligenter structureren. De methode is bijzonder waardevol voor toepassingen waar lage latentie en lage kosten cruciaal zijn, terwijl toch complexe vragen over meerdere bronnen moeten worden beantwoord.