💻 computer science

StratRAG: A Multi-Hop Retrieval Evaluation Dataset for Retrieval-Augmented Generation Systems

StratRAG is een nieuwe open-source dataset die is ontworpen om de prestaties van Retrieval-Augmented Generation (RAG)-systemen te testen op complexe, meerstaps redeneertaken binnen een realistische omgeving met ruis en afleidende documenten.

Oorspronkelijke auteurs: Aryan Patodiya

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aryan Patodiya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een ingewikkelde moordzaak moet oplossen. Je hebt een stapel van 15 dossiers op je bureau liggen. Twee van die dossiers bevatten de cruciale aanwijzingen die de dader aan het licht brengen, maar de andere 13 zijn 'ruis': ze gaan over vergelijkbare onderwerpen, maar bevatten alleen maar zijpaden en irrelevante details die je alleen maar in de war brengen.

Dit is precies het probleem waar de wetenschap tegenaan loopt bij moderne AI (zoals ChatGPT). Dit onderzoek, genaamd StratRAG, gaat over hoe we de "zoekmachine-kant" van AI kunnen trainen om in die stapel dossiers razendsnel de juiste twee documenten te vinden.

Hier is de uitleg van het onderzoek in begrijpelijke taal:

1. Het probleem: De "Blinde Vlek" van de AI-zoekmachine

Wanneer een AI een vraag beantwoordt, gebruikt hij vaak een techniek genaamd RAG (Retrieval-Augmented Generation). Je kunt dit zien als een assistent die eerst in een bibliotheek rent om boeken te zoeken voordat hij je antwoord geeft.

Tot nu toe testten wetenschappers vooral of het antwoord van de AI goed was. Maar ze vergaten de assistent te testen: "Vind je eigenlijk wel de juiste boeken?" Als de assistent de verkeerde boeken meeneemt, kan de slimste AI ter wereld nog steeds een fout antwoord geven.

2. De oplossing: StratRAG (De Ultieme Test)

De auteur, Aryan Patodiya, heeft een nieuwe "examenlijst" gemaakt: StratRAG.
In plaats van de AI gewoon een vraag te stellen, geeft hij de AI een streng gecontroleerde test:

Je krijgt een vraag.
Je krijgt een stapel van precies 15 documenten.
Er zitten precies 2 "gouden" documenten tussen (de waarheid) en 13 "afleiders" (slimme leugens of zijpaden).

Het doel is simpel: kan de AI de 2 gouden documenten vinden in de top van zijn zoekresultaten?

3. De drie soorten vragen (De moeilijkheidsgraden)

Het onderzoek verdeelt de vragen in drie niveaus, vergelijkbaar met een videogame:

De "Ja/Nee" vragen (Makkelijk): "Is de hoofdstad van Frankrijk Parijs?" De aanwijzingen liggen voor het oprapen. De AI vindt deze bijna altijd.
De "Vergelijkings" vragen (Gemiddeld): "Wie is ouder, de koning van Engeland of de koning van Spanje?" Hier moet de AI twee feiten naast elkaar leggen. Omdat de vraag woorden bevat als "ouder" of "groter", geeft dat goede hints.
De "Bridge" (Brug) vragen (De Eindbaas): Dit is de grootste uitdaging. Dit zijn vragen waarbij de link tussen de twee documenten niet direct in de vraag staat.
- Voorbeeld: "In welke stad werd de uitvinder van de eerste moderne auto geboren?"
- Je moet eerst document A vinden (wie vond de auto uit?) en dan met die informatie naar document B zoeken (waar werd die persoon geboren?). Er is geen directe "brug" van woorden tussen de vraag en het tweede document. De AI raakt hier vaak de weg kwijt in de 13 afleiders.

4. De resultaten: De "Hybride" Detective

De onderzoeker testte verschillende manieren waarop de AI kan zoeken:

De Woordzoeker (BM25): Zoekt alleen op exacte woorden. (Als je zoekt op "auto", vindt hij alleen teksten met het woord "auto").
De Betekeniszoeker (Dense): Begrijpt de context. (Als je zoekt op "voertuig", snapt hij dat hij ook over "auto's" moet praten).
De Hybride Detective (De Winnaar): Dit is een combinatie van beide. Het is alsof je een detective hebt die zowel een woordenboek als een intuïtie voor betekenis heeft. Deze methode presteerde het allerbeste.

5. De toekomst: Een AI die leert van zijn fouten

De auteur stelt voor om in de toekomst Reinforcement Learning (beloningsleren) te gebruiken.

Stel je voor dat de assistent een snoepje krijgt elke keer dat hij de juiste twee dossiers vindt, en een tik op de vingers als hij de verkeerde pakt. Op die manier leert de AI niet alleen om op woorden te letten, maar leert hij echt te redeneren om die lastige "brug-vragen" op te lossen.

Kortom: StratRAG is een nieuwe meetlat om te controleren of de "zoek-assistenten" van onze AI's slim genoeg zijn om de waarheid te vinden in een zee van informatie.

Technische Samenvatting: StratRAG

1. Probleemstelling (The Problem)

Hoewel Retrieval-Augmented Generation (RAG) een dominante methode is geworden om Large Language Models (LLM's) te voorzien van externe kennis, is de evaluatie van de retrieval-stap (het ophalen van relevante documenten) onder realistische, ruisgevoelige omstandigheden onderbelicht.

Bestaande benchmarks voor multi-hop vraag-antwoordsystemen (zoals HotpotQA) zijn niet specifiek ontworpen voor het isoleren en meten van de kwaliteit van de retriever. Ze missen vaste documentpools, gegarandeerde posities van de 'gouden' (juiste) documenten en gecontroleerde sets met afleidende informatie (distractors). Hierdoor is het moeilijk om de prestaties van een retriever onafhankelijk van de generator te evalueren.

2. Methodologie (Methodology)

De auteur introduceert StratRAG, een dataset die is afgeleid van de HotpotQA-distractor-setting, maar is gestructureerd voor directe retrieval-evaluatie.

Dataset Constructie:
- Bron: Gebaseerd op 2.200 voorbeelden uit HotpotQA.
- Document Pool: Elk voorbeeld bevat een vaste pool van 15 documenten: precies 2 "gouden" documenten (die het antwoord bevatten) en 13 topisch gerelateerde distractoren.
- Vraagtypen: De vragen zijn gecategoriseerd in drie types: bridge (het moeilijkst, vereist impliciete verbindingen), comparison (vergelijkingen) en yes-no vragen.
- Preprocessing: Lege paragrafen zijn verwijderd en de gouden documenten zijn nauwkeurig geïdentificeerd via Unicode-normalisatie.
Evaluatie-strategieën:
De auteur test drie standaard retrieval-methoden:
1. BM25: Een klassieke sparse retrieval methode gebaseerd op trefwoordoverlap.
2. Dense Retrieval: Gebruik van de all-MiniLM-L6-v2 bi-encoder voor semantische gelijkenis.
3. Hybrid Fusion: Een combinatie van BM25 en Dense scores (met een gewicht van $\alpha = 0.5$ ), waarbij beide scores zijn genormaliseerd.
Metrieken: De prestaties worden gemeten met Recall@k (k=1, 2, 5), Mean Reciprocal Rank (MRR) en NDCG@5.

3. Belangrijkste Bijdragen (Key Contributions)

StratRAG Dataset: Een nieuwe, gestructureerde benchmark die specifiek gericht is op de retrieval-fase van RAG-systemen, inclusief geverifieerde indices voor gouden documenten.
Baseline Benchmarks: Het leveren van vergelijkingsmateriaal voor BM25, dense en hybride retrieval op multi-hop taken.
Identificatie van de 'Bridge' uitdaging: Het aantonen dat specifieke soorten multi-hop redeneringen (bridge questions) een hardnekkig probleem vormen voor huidige retrieval-technieken.

4. Resultaten (Results)

De experimenten op de validatieset (n=200) laten het volgende zien:

Hybride wint: De hybride methode presteert het best over alle metrieken (Recall@2 = 0.70, MRR = 0.93, NDCG@5 = 0.85). Dit bewijst dat lexicale precisie (BM25) en semantische dekking (Dense) elkaar complementeren.
Semantiek is cruciaal: Dense retrieval presteert consistent beter dan BM25, wat aangeeft dat semantische matching belangrijker is dan trefwoordoverlap bij complexe multi-hop vragen.
De 'Bridge' kloof: Er is een significant prestatieverschil tussen de vraagtypen. Bridge-vragen zijn het moeilijkst (Recall@2 = 0.67), omdat de verbinding tussen de twee gouden documenten vaak impliciet is en niet direct in de zoekopdracht staat. Comparison-vragen zijn het makkelijkst door sterke trefwoorden (bijv. "groter dan").

5. Betekenis en Toekomstig Werk (Significance & Future Work)

StratRAG biedt een fundamentele "bovengrens" voor RAG-systemen: een Recall@5 van ~90% betekent dat een generator in 90% van de gevallen de benodigde informatie binnen de top 5 documenten zal vinden.

De belangrijkste wetenschappelijke implicatie is de noodzaak voor geavanceerdere retrieval-strategieën. De auteur stelt voor om over te stappen van statische retrieval naar Reinforcement Learning (RL)-gebaseerde retrieval-policies. In plaats van te zoeken op basis van tekstuele gelijkenis, zou een model getraind kunnen worden om documenten te selecteren die de kans op een correct eindantwoord maximaliseren. StratRAG is bij uitstek geschikt om de effectiviteit van dergelijke RL-modellen te testen.