💬 NLP

MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation

MiRAGE is een multi-agent framework dat geverifieerde, domeinspecifieke, multimodale en multi-hop vraag-antwoorddatasets genereert om het gebrek aan gespecialiseerde benchmarks voor het evalueren van Retrieval-Augmented Generation-systemen in risicovolle enterprise-toepassingen aan te pakken.

Oorspronkelijke auteurs: Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

Gepubliceerd 2026-01-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar licht naïeve robot probeert te leren hoe hij een complexe handleiding van een kerncentrale moet lezen. De handleiding bestaat niet alleen uit woorden; hij zit vol met grafieken, 3D-diagrammen en tabellen. Als je de robot alleen simpele vragen stelt zoals "Wat is de druk?", kan hij gaan gissen of dingen verzinnen omdat hij niet heeft geleerd om de verbanden te leggen tussen een afbeelding op pagina 10 en een zin op pagina 50.

Dit is het probleem dat MiRAGE oplost.

Het Probleem: De "Eén-stap" Robot

Huidige AI-systemen (genaamd RAG, of Retrieval-Augmented Generation) zijn als studenten die erg goed zijn in het vinden van één specifieke zin in een boek om een vraag te beantwoorden. Maar in de echte wereld — zoals in de financiële sector, de medische wereld of de techniek — staan antwoorden zelden op één plek. Ze zijn verspreid. Je moet misschien een grafiek bekijken, een regelgeving lezen en een tabel controleren om tegelijkertijd het juiste antwoord te krijgen.

Bestaande tests voor deze AI-systemen zijn te makkelijk. Ze gebruiken eenvoudige vragen uit algemeen nieuws of Wikipedia. Ze testen niet of de AI in staat is om om te gaan met de rommelige, multi-afbeelding, multi-stap puzzels die voorkomen in echte bedrijfsdocumenten.

De Oplossing: Een Team van Gespecialiseerde Experts (MiRAGE)

De auteurs hebben MiRAGE ontwikkeld, wat staat voor een Multiagent framework voor RAG Evaluatie. In plaats van één AI alles te laten doen, fungeert MiRAGE als een bouwploeg of een redactie waar verschillende specialisten samenwerken om een perfecte test te bouwen.

Zo werkt hun "zwerm" aan AI-agenten, met behulp van een eenvoudige analogie:

De Bibliothecaris (Data Ingestie):
Stel je een rommelige bibliotheek voor waar boeken gemengd zijn met blauwdrukken en schema's. De Bibliothecaris-agent scant niet alleen de tekst; hij kijkt ook naar de plaatjes en tabellen, beschrijft ze in woorden en organiseert alles in nette, logische stapels. Hij zorgt ervoor dat de verbinding tussen een grafiek en het bijschrift niet verloren gaat.
De Detective (Context Opbouw):
Deze agent is de meester van de "multi-hop". Als je een vraag stelt, pakt de Detective niet zomaar de eerste pagina die relevant lijkt. Hij begint met één aanwijzing, beseft dat hij informatie mist, en gaat op zoek naar meer aanwijzingen. Hij blijft graven totdat hij alle verspreide stukjes bewijs heeft verzameld die nodig zijn om de puzzel op te lossen. Hij bouwt een "semantisch contextvenster", wat een chique manier is om te zeggen dat hij het volledige verhaal samenstelt voordat hij antwoord geeft.
De Expert (Persona Injectie):
Het systeem weet dat het te maken heeft met een specifiek vakgebied, zoals financiën of biologie. Het zet een "hoed" op (een persona) van een senior expert in dat vakgebied. Dit zorgt ervoor dat de gegenereerde vragen klinken alsof ze van een echte professional komen, en niet van een generieke robot. Het stelt diepgaande, deductieve vragen die echt begrip vereisen.
De Factchecker (Adversarial Verifier):
Dit is het meest cruciale onderdeel. Zodra het team een vraag en een antwoord heeft gegenereerd, komt de Factchecker in actie. Het fungeert als een sceptische redacteur. Het kijkt naar het antwoord en zegt: "Wacht even, zegt het document dit echt wel?" Als de AI een getal heeft verzonnen of twee ongerelateerde feiten met elkaar heeft verbonden, gooit de Factchecker het antwoord bij het oud papier. Dit voorkomt "hallucinaties" (het verzinnen van zaken).
De Redacteur (Verfijning):
Ten slotte kijkt een Redacteur-agent naar alle gegenereerde vragen om er zeker van te zijn dat ze niet allemaal hetzelfde zijn. Het verwijdert duplicaten en zorgt ervoor dat de uiteindelijke test een grote variëteit aan onderwerpen dekt, net als een echt examen.

Wat ze ontdekten

Het team testte dit framework op vier zeer verschillende soorten documenten:

Financiën: Jaarverslagen vol complexe tabellen.
Regelgeving: Strikte overheidsregels met zware logica.
Wetenschap: Biologische papers met 3D moleculaire modellen.
Journalistiek: Opiniestukken uit kranten.

De Resultaten:

Moeilijkere Vragen: De vragen die MiRAGE creëerde, waren aanzienlijk moeilijker. Gemiddeld vereiste het beantwoorden van de vragen het verbinden van meer dan 2,3 verschillende stukken informatie (hops), terwijl standaardtests meestal slechts 1 hop vereisen.
Waarheidsgetrouwe Antwoorden: Dankzij de Factchecker waren de antwoorden zeer accuraat en gebaseerd op de werkelijke documenten.
De Visuele Kloof: Het systeem is erg goed in tekst, maar het heeft nog steeds wat moeite met puur visueel redeneren. De auteurs ontdekten dat als ze de AI een tekstuele beschrijving van een afbeelding gaven, het goed werkte. Maar als de AI de afbeelding direct moest "zien" zonder beschrijving, raakte het soms in de war. Ze noemen dit een "frontier" (grens) die nog aandacht behoeft.

De Kernboodschap

MiRAGE is een tool die automatisch "Gold Standard"-examens bouwt voor AI-systemen. In plaats van makkelijke, generieke vragen, creëert het uitdagende, realistische tests gebaseerd op de eigen rommelige documenten van een bedrijf. Dit helpt bedrijven te weten of hun AI daadwerkelijk slim genoeg is om complexe taken uit te voeren, of dat het systeem simpelweg aan het gokken is.

Kortom: MiRAGE is een team van AI-specialisten dat een moeilijke, meerstapsige puzzel bouwt, deze oplost, het werk controleert, en vervolgens die puzzel gebruikt om te testen of andere AI's echt klaar zijn voor de echte wereld.

Technische Samenvatting: MiRAGE

Probleemstelling

De snelle uitrol van Retrieval-Augmented Generation (RAG)-systemen in hoogwaardige zakelijke domeinen (bijv. medische diagnose, windenergie, financiën) is sneller gegaan dan de ontwikkeling van geschikte evaluatiebenchmarks. Bestaande datasets, zoals Natural Questions of MS MARCO, vertrouwen op algemene corpora en puur tekstuele retrieval, waardoor ze niet in staat zijn de complexiteit van gespecialiseerde technische documenten te vatten. Kennis in deze domeinen is in de praktijk vaak onlosmakelijk multimodaal (vastgelegd in grafieken, diagrammen en complexe lay-outs) en vereist multi-hop redeneren om uiteenlopende bewijsstukken te synthetiseren.

Huidige methoden voor het genereren van synthetische datasets (bijv. DataMorgana, SMMQG) maken doorgaans gebruik van lineaire strategieën die geen robuuste feedbackmechanismen hebben, wat vaak resulteert in gehallucineerde datasets die er niet in slagen om domeinspecificiteit, multimodaliteit en complexe redenering tegelijkertijd aan te pakken. Er is een kritieke behoefte aan 'gold-standard' evaluatiedatasets die de latente thematische structuur van propriëtaire corpora weerspiegelen om de volgende generatie informatie-retrievelsystemen rigoureus te benchmarken.

Methodologie: Het MiRAGE-framework

MiRAGE (Multiagent Framework for RAG systems Evaluation) is een model-agnostisch, multi-agent framework dat is ontworpen om gevalideerde, domeinspecifieke, multimodale en multi-hop Vraag-Antwoord (QA)-datasets te automatiseren. Het framework orkestreert een collaboratieve zwerm van gespecialiseerde agenten via vijf afzonderlijke fasen:

Multimodale Dataingestie en Semantische Chunking:
- Een hybride parsing-pipeline maakt gebruik van een document layout analysis engine en een Vision Language Model (VLM) "Description Agent" om dichte tekstuele beschrijvingen te genereren voor visuele elementen (tabellen, grafieken).
- Een semantische chunking agent segmenteert documenten met behulp van een sliding window met een optimalisatiefunctie die semantische discontinuïteit minimaliseert terwijl overmatige fragmentatie van tabellen en tekstblokken wordt voorkomen.
Identificatie van Expert Persona en Domein:
- Een agent voert globale corpusanalyse uit met behulp van manifold learning en density-based clustering om latente thematische structuren te ontdekken.
- Het synthetiseert een specifieke Expert Persona ( $P_C$ ) en Domein ( $D_C$ ) (bijv. "Financial Reporting Analyst") om daaropvolgende generatie-agents te conditioneren, zodat de output het cognitieve workflow van experts nabootst in plaats van generieke keyword matching.
Semantische Multihop Contextopbouw:
- Een recursieve retrieval-loop breidt een initiële seed-chunk uit naar een volledige semantische context ( $C_s$ ).
- Een multimodale agent analyseert de huidige context om ontbrekende informatie te detecteren, waarbij nieuwe zoekopdrachten worden gegenereerd.
- Een hybride retrieval-strategie (embedding + multimodale reranking) haalt kandidaten op, die door een agent worden geverifieerd om te garanderen dat ze strikt nut toevoegen en contextdrift voorkomen. Dit proces gaat door totdat de context als compleet wordt beschouwd.
Agentic QA-generatie en Verificatie:
- Een QA Generation Agent formuleert complexe, multi-hop vragen op basis van de uitgebreide context, de expert persona en het domein.
- Een Adversarial Verifier Agent controleert de gegenereerde antwoorden op feitelijke juistheid tegenover de broncontext. Het evalueert Correctheid (feitelijke ondersteuning) en Noodzakelijkheid (of de vraag de specifieke context vereist om beantwoord te worden), waarbij hallucinaties worden gefilterd.
Verfijning en Deduplicatie:
- Een hiërarchisch clusteringproces groepeert QA-paren op basis van semantische thema's en antwoordredundantie.
- Een verfijningsagent synthetiseert uniforme QA-paren uit hoog-gelijkaardige clusters om diversiteit te waarborgen en redundantie te minimaliseren, terwijl de semantische dekking wordt gemaximaliseerd.

Belangrijkste Bijdragen

Model-Agnostisch Multi-Agent Framework: MiRAGE automatiseert de ingestie en semantische segmentatie van complexe multimodale documenten, waarbij de semantische afhankelijkheden tussen tekst en visuele elementen behouden blijven.
Nieuwe Generatieve Methodologie: Het framework maakt gebruik van recursieve contextexpansie en persona-injectie om multi-hop QA-paren te produceren die logische deductie over uiteenlopende chunks vereisen, wat de complexiteit van extractieve QA overtreft.
Empirische Validatie: Uitgebreide evaluatie over vier verschillende domeinen (Regulering, Financiën, Kwantitatieve Biologie en Journalistiek) toont aan dat MiRAGE datasets genereert met een significant hogere redeneercomplexiteit (gemiddeld aantal hops > 2,3) en feitelijke getrouwheid.
Ablatie-inzichten: De studie laat zien dat domein/persona-injectie, multi-hop contextopbouw en QA-verificatie cruciaal zijn voor de kwaliteit van de dataset. Er wordt verder opgemerkt dat hoewel visuele gronding (visual grounding) een frontlijn blijft, MiRAGE kan worden aangedreven door LLM's als er tekstuele beschrijvingen van afbeeldingen beschikbaar zijn.

Experimentele Resultaten

De auteurs evalueerden MiRAGE op 1.000 QA-paren gegenereerd uit elk van vier corpora: S&P Global Annual Reports (Financiën), UNECE GTR's (Regulering), Kwantitatieve Biologie papers (Wetenschap) en NYTimes Opinions (Journalistiek).

Redeneercomplexiteit: MiRAGE genereerde consistent multi-hop vragen. Het gemiddelde aantal hops oversteeg 2,3 voor de domeinen Financiën, Regulering en Wetenschap, met een piek van 2,84 (Financiën, Gemini 2.5 Flash). Het domein Journalistiek vertoonde een lagere complexiteit (~1,2), toegeschreven aan de minder verbonden aard van de corpus.
Getrouwheid en Relevantie: De adversarial verifier bleek effectief, met faithfulness scores consequent boven de 0,91 voor drie van de vier domeinen en relevantiescores die de 0,81 overstegen in alle experimenten.
Visuele Gronding (Visual Grounding): Dit blijft een uitdaging. De scores voor visuele gronding waren matig (max. 0,45), wat aangeeft dat hoewel modellen afbeeldingen kunnen beschrijven, het genereren van complexe vragen die precieze redenering over specifieke visuele elementen vereisen, moeilijk is. De auteurs hypothetiseren dat gegenereerde beschrijvingen visuele elementen gedeeltelijk redundant kunnen maken, wat de grondingsscores verlaagt.
Ablatie-bevindingen:
- Het verwijderen van de Multihop Context stap veroorzaakte een instorting in de difficulty scores (0,85 $\to$ 0,61) en een enorme toename in Jensen-Shannon divergentie (4,35), wat wijst op een verlies van domeinaansluiting.
- Het verwijderen van de Verifier Agent veroorzaakte de meest significante daling in faithfulness (0,97 $\to$ 0,74), wat de rol ervan bevestigt bij het beperken van hallucinaties.
- Het verwijderen van Domein/Persona Injectie verminderde de vraagcomplexiteit (0,85 $\to$ 0,52), wat aantoont dat modellen zonder deze condities vervallen in generieke redenering.
- Datarepresentatie: De "Description Only" configuratie presteerde vergelijkbaar met de volledige multimodale setup, wat suggereert dat LLM's het framework effectief kunnen aandrijven als afbeeldingbeschrijvingen beschikbaar zijn.

Betekenis en Claims

Het artikel claimt dat MiRAGE de noodzakelijke infrastructuur biedt om de volgende generatie informatie-retrievelsystemen rigoureus te benchmarken. Door de automatisering van de creatie van 'gold-standard' evaluatiedatasets die de latente thematische structuur van propriëtaire corpora weerspiegelen, adresseert MiRAGE de kritieke kloof in het evalueren van RAG-systemen voor hoogwaardige, multimodale en multi-hop scenario's.

De auteurs positioneren MiRAGE als een oplossing die de beperkingen van lineaire synthetische pipelines overstijgt. Door een zwerm van gespecialiseerde agenten te orkestreren, produceert het framework datasets die diepe deductieve redenering en strikte feitelijke getrouwheid vertonen. Hoewel erkend wordt dat visuele gronding een frontlijn blijft en de multi-agent architectuur computationeel intensief is, stelt het artikel dat MiRAGE een robuuste standaard vestigt voor geautomatiseerde datasetgeneratie, waardoor organisaties hun RAG-systemen kunnen testen tegen de specifieke complexiteiten van hun eigen data.