🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

Het artikel stelt MM-R2 voor, een multimodale agentische framework die retrieval-augmented generation verbetert door expliciet te redeneren over retrieval-doelwitten en de zoekruimte te structureren via een KnowledgeMap, ondersteund door een nieuwe trajectdataset en een tweestaps post-training strategie om superieure nauwkeurigheid en interpreteerbaarheid op benchmark-datasets te bereiken.

Oorspronkelijke auteurs: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, maar in plaats van één aanwijzing heb je een enorme, rommelige stapel boeken, foto's en kaarten die allemaal in één grote doos zijn gegooid. Dit is de wereld van "Multimodale Retrieval-Augmented Generation" (mRAG). Het is een chique manier om te zeggen dat we willen dat computers antwoorden geven op vragen over afbeeldingen door feiten op te zoeken in een enorme bibliotheek. Meestal probeert een computer dit te doen als een gejaagde shopper in een gigantische supermarkt: hij pakt een vraag, roept deze in de hele winkel en hoopt dat de eerste paar items die hij op de schappen vindt, de juiste zijn. Het probleem is dat de computer vaak de verkeerde dingen pakt omdat hij niet echt begrijpt wat hij zoekt of waar in de winkel dat item verborgen zou kunnen zijn. Het is alsof je vraagt naar "de rode auto" en een foto van een rode appel krijgt, omdat de computer alleen het woord "rood" zag en het eerste rode ding greep dat hij kon vinden.

Dit is waar het nieuwe artikel om de hoek komt kijken. De onderzoekers realiseerden zich dat je, voordat je zelfs maar begint met zoeken, even moet stoppen en nadenken. Ze noemen hun nieuwe systeem MM-R2, wat staat voor "Reason Before You Retrieve" (Redeneer voordat je opzoekt). In plaats van blindelings in de leegte te roepen, werkt MM-R2 als een slimme detective. Eerst kijkt het naar de foto en de vraag samen om precies te bepalen wat de "aanwijzing" is (het specifieke object in de foto) en wat voor soort informatie er nodig is. Vervolgens, in plaats van de hele rommelige doos te doorzoeken, raadpleegt het een speciale, georganiseerde kaart van de bibliotheek, een "KnowledgeMap". Het kiest de juiste gang, pakt het juiste boek, leest het en besluit of het ergens anders moet kijken. Het artikel suggereert dat door deze "eerst nadenken"-stap te volgen, de computer veel beter wordt in het vinden van de juiste antwoorden en zelfs zijn werk kan laten zien, waarmee hij bewijst hoe hij het mysterie heeft opgelost.

De Nieuwe Strategie van de Detective

De kern van dit artikel is dat computers momenteel te ongeduldig zijn om in actie te komen. Wanneer je een computer vraagt: "Wat voor soort vogel is dit op de foto?" terwijl je een foto laat zien, mengen huidige systemen vaak simpelweg de woorden en de afbeelding en beginnen ze overal tegelijk naar te zoeken. De auteurs stellen dat dit een fout is. Ze ontdekten dat deze systemen in de war raken omdat ze niet weten welk deel van de afbeelding belangrijk is of welke specifieke informatie ze nodig hebben. Het is alsof je probeert een specifiek recept te vinden in een bibliotheek door te zoeken naar het woord "taart" in elk boek in het hele gebouw, in plaats van direct naar de sectie "Bakken" te gaan.

Om dit op te lossen, bouwde het team MM-R2, een systeem dat de computer dwingt om eerst te plannen voordat hij gaat zoeken. Ze breken het proces af in drie leuke stappen:

Het "Wat" en "Waar" Plan: Voordat er gezocht wordt, maakt het systeem een "retrieval state" (opzoekstatus). Denk hierbij aan het schrijven van een perfect boodschappenlijstje. Het identificeert de Information Need (wat moet ik weten?), de Grounded Referent (over welk specifiek ding in de foto praten we?) en de Constraints (heb ik een datum nodig? een locatie? een wetenschappelijke naam?). Dit voorkomt dat de computer wordt afgeleid door irrelevante details.
De Georganiseerde Kaart (KnowledgeMap): De onderzoekers realiseerden zich dat het zoeken in een platte, rommelige lijst met feiten inefficiënt is. Daarom hebben ze hun bibliotheek georganiseerd in een KnowledgeMap. Stel je voor dat de bibliotheek niet alleen een stapel boeken is, maar een reeks netjes gelabelde bakken: één bak voor "Vogels", één voor "Auto's", één voor "Geschiedenis". Wanneer de computer zijn boodschappenlijstje heeft, doorzoekt hij niet de hele bibliotheek; hij beslist eerst welke bak hij opent. Dit wordt "routing" genoemd.
De Detective Loop: Zodra de computer de juiste bak heeft gekozen (de retrieval unit), zoekt hij binnen die bak naar het specifieke antwoord. Als hij het antwoord vindt, geweld! Als niet, kan hij besluiten een andere bak te kiezen of een specifere vraag te stellen. Hij blijft dit doen totdat hij genoeg bewijs heeft om de zaak op te lossen.

Hoe Ze de Computer Leerden Denken

Je vraagt je misschien af: "Hoe leert een computer te plannen als een detective?" De auteurs hebben de computer niet alleen verteld dat hij "slim moet zijn". In plaats daarvan creëerden ze een enorme trainingsdataset genaamd MM-R2-Traj. Deze dataset bevat 900.000 voorbeelden van "denkprocessen".

Stel je een leraar voor die een leerling laat zien hoe hij een puzzel oplost. De leraar geeft niet alleen het antwoord; hij laat de stappen zien: "Kijk eerst naar de hoekstukjes. Sorteer dan op kleur. Probeer dan deze twee bij elkaar te passen." De onderzoekers gebruikten een "leraar"-AI om deze stapsgewijze verhalen voor de "leerling"-AI te genereren. Ze leerden de leerling om:

De afbeelding en de vraag te analyseren om een plan te maken.
De juiste "bak" (KnowledgeMap unit) te kiezen.
Een specifieke vraag te stellen binnen die bak.
Samen te vatten wat er is gevonden.
Te beslissen of het klaar is of nog verder moet zoeken.

Ze trainden de computer in twee fasen. Eerst gebruikten ze Supervised Fine-Tuning (SFT), wat lijkt op een leerling die de aantekeningen van de leraar overschrijft om de basisregels te leren. Daarna gebruikten ze Group Relative Policy Optimization (GRPO), wat lijkt op een spel waarbij de leerling verschillende strategieën probeert, en als hij het goede antwoord heeft, een hoge score krijgt. Als hij het antwoord fout heeft, leert hij om de volgende keer een ander pad te proberen. Dit hielp de computer om echt goed te worden in het maken van de juiste keuzes.

De Resultaten: Slimmer en Duidelijker

Toen ze MM-R2 testten op twee grote uitdagingen — InfoSeek (een dataset met 1,3 miljoen beeld-vraag paren) en Encyclopedic VQA (een test van encyclopedische kennis) — waren de resultaten indrukwekkend.

Op de InfoSeek-test kreeg MM-R2 in totaal 54,3% van de keren het juiste antwoord. Dit is een grote sprong vergeleken met andere slimme systemen, die meestal rond de 46-47% schommelden. Zelfs op het specifieke deel van de "Unseen-Question" (waar de computer vragen moet afhandelen die hij nog nooit eerder heeft gezien), scoorde MM-R2 56,0%, waarmee het de vorige recordhouder met een stevige marge versloeg. Zelfs op de Encyclopedic VQA-test bereikte het 39,4%, wat aantoont dat het goed werkt, zelfs wanneer de vragen zeer specifiek en moeilijk zijn.

Maar het artikel suggereert iets dat nog belangrijker is dan alleen een hogere score: transparantie. Omdat MM-R2 zijn stappen plant, kunnen we daadwerkelijk zien hoe het het probleem heeft opgelost.

Betere Routing: Het systeem koos in 74% van de gevallen de juiste "bak" (KnowledgeMap unit), vergeleken met slechts 23% voor de oudere systemen. Het stopte met tijd verspillen door op de verkeerde plekken te zoeken.
Duidelijkere Verklaringen: Wanneer het systeem zijn antwoord uitlegde, was het compacter en meer gefocust. De "Fidelity"-score (die controleert of het antwoord echt voortkomt uit het gevonden bewijs) was 0,90, wat betekent dat het antwoord bijna volledig gebaseerd was op de gevonden feiten en niet op simpelweg gokken.

Wat Dit Betekent

Het artikel suggereert dat de oude manier van "alles doorzoeken" tegen een muur aanloopt. Door de computer te dwingen om te redeneren voordat hij opzoekt, kunnen we systemen bouwen die niet alleen slimmer zijn, maar ook betrouwbaarder. Ze gokken niet alleen; ze volgen een logisch pad, controleren hun werk en kunnen precies laten zien hoe ze het antwoord hebben gevonden. Het is het verschil tussen een chaotische speurtocht en een goed geplande detectivemissie. Hoewel de onderzoekers opmerken dat dit een specifieke benadering is van multimodale AI en niet elk probleem in de wereld oplost, suggereren de resultaten dat even de tijd nemen om na te denken voordat men handelt, een krachtige strategie is voor de toekomst van slimme computers.

Technische Samenvatting: Redeneer vóór je ophaalt: Agentische Planning voor Multi-modale RAG

Probleemstelling

Multimodale Retrieval-Augmented Generation (mRAG) beoogt vragen over beeld-tekstcombinaties te beantwoorden door gebruik te maken van externe kennis. Bestaande systemen maken echter doorgaans gebruik van een "retrieve-then-generate" (haal op en genereer) pijplijn die opereert over een vlakke, zwak gestructureerde bewijsvoeringsruimte. De auteurs identificeren twee kritieke beperkingen in dit heersende ontwerp:

Retrieval-Intent Ambiguïteit: In multimodale settings definieert de tekstuele vraag de informatiebehoefte, terwijl de afbeelding de specifieke visuele referent fundeert. Bestaande systemen falen vaak in het expliciet koppelen van de query aan de juiste visuele instantie, wat leidt tot retrieval-drift naar tekstuele priors of generieke caption-achtige matches in plaats van bewijs dat specifiek is voor het beeld-vraagstel-paar.
Zwak Gestructureerde Zoekruimte: De meeste systemen embedden diverse bewijsvoeringen in een enkele representatieruimte en vertrouwen op globale gelijkenheidsfuncties. Dit dwingt semantisch verschillende bewijsvoeringen om te concurreren in één enkele rangschikkingsstap, wat vaak de voorkeur geeft aan generieke inhoud boven precieze, domeinspecifieke bewijsvoering.

Het artikel betoogt dat multimodale retrieval geherformuleerd moet worden als "redeneer vóór je ophaalt", waarbij een analogie wordt getrokken met de Schema Theory in de cognitieve wetenschap, waarbij gestructureerde kenniskaders de aandacht en het geheugen beïnvloeden.

Methodologie: Het MM-R2 Framework

De auteurs stellen MM-R2 (MultiModal Reason-to-Retrieve) voor, een agentisch retrieval-framework dat expliciet modelleert wat er opgehaald moet worden en waar er gezocht moet worden voordat de retrieval wordt uitgevoerd. Het framework werkt via de volgende componenten:

1. Intent-Referent Binding Module

Voordat de retrieval plaatsvindt, construeert het systeem een gestructureerde retrieval state vanuit het beeld-vraagstel-paar $(I, Q)$ . Deze module, aangeduid als $\Phi$ , geeft een triplet uit $z = (i, r, c)$ :

$i$ (Informatiebehoefte): De specifieke kennis die vereist is (bijv. taxonomie, locatie, functie).
$r$ (Gegronde Referent): Het specifieke object, entiteit of gebied in de afbeelding waarnaar de query verwijst.
$c$ (Constraints/Beperkingen): Taakspecifieke condities zoals antwoordtype, granulariteit of temporele reikwijdte.

Deze stap lost de retrieval-intent op vóór de zoekopdracht, wat de query-drift vermindert.

2. Gestructureerde KnowledgeMap

In plaats van een vlak corpus, is de externe kennisbank vooraf gestructureerd in een KnowledgeMap ( $K$ ), bestaande uit semantisch coherente retrieval-units ( $u_1, \dots, u_N$ ).

Constructie: Passages worden gecodeerd, geclusterd met behulp van HDBSCAN (om variërende dichtheden te verwerken zonder vooraf vastgestelde aantallen clusters) en voorzien van lichte metadata (titels en beschrijvingen) via een LLM.
Functie: Dit fungeert als een routing-scaffold. De agent selecteert eerst relevante units ( $a_t$ ) en voert vervolgens gegronde queries ( $q_t$ ) uit binnen die units, in plaats van globaal door het hele corpus te zoeken.

3. Agentic Planning Loop

De agent $A$ (een multimodale taalmodel) voert een sequentieel besluitvormingsproces uit:

Routing: Selecteert één of meer retrieval-units uit de KnowledgeMap op basis van de huidige staat (intent $z$ en historie $h_t$ ).
Query Generatie: Formuleert een gegronde query die specifelijk is voor de geselecteerde unit.
Retrieval & Update: Haalt bewijsvoering $e_t$ op en werkt de historie $h_{t+1}$ bij.
Terminatiebesluit: De agent beslist iteratief of hij moet blijven ophalen of het uiteindelijke antwoord $\hat{y}$ moet genereren op basis van de geaccumuleerde bewijsvoering.

4. Trainingsstrategie

Om de agent te trainen in deze meerstaps planning, introduceren de auteurs MM-R2-Traj, een grootschalige dataset van 900K gegronde meerstaps retrieval-trajecten die gesynthetiseerd zijn met behulp van een teacher-model. De training volgt een tweestaps post-training pijplijn:

Fase 1 (Supervised Fine-Tuning - SFT): De agent leert de basisstructuur van retrieval-gedragingen (unit selectie, query generatie, samenvatting, antwoord generatie) door het imiteren van de gestructureerde trajecten.
Fase 2 (Group Relative Policy Optimization - GRPO): De agent wordt verder geoptimaliseerd met behulp van reinforcement learning met een rollout-niveau beloningsfunctie ( $R_i$ ) die zowel de kwaliteit van de routing ( $R_{route}$ ) als de correctheid van het uiteindelijke antwoord ( $R_{ans}$ ) gezamenlijk evalueert. Dit versterkt het vermogen van de agent om retrieval-paden te plannen onder taakniveau-feedback.

Belangrijkste Bijdragen

Nieuw Framework: MM-R2 is een multimodale agentische framework die expliciet redeneert over zowel het retrieval-doel als de zoekruimte vóór de retrieval, waardoor het "wat" en "waar" van de retrieval interpreteerbaar wordt.
Architecturale Innovaties: Het ontwerp van de Intent-Referent Binding Module en de KnowledgeMap biedt een expliciete beslissingstoestand en een gestructureerde zoekruimte, waarmee de ambiguïteit en de vlakheid van eerdere mRAG-systemen worden aangepakt.
Dataset en Training: De constructie van MM-R2-Traj en de adoptie van een tweestaps SFT+GRPO trainingsstrategie stellen agents in staat om complexe, meerstaps retrieval-planning te leren.
Proces-niveau Analyse: Het framework maakt lichte proces-niveau analyse mogelijk, waardoor de afgeleide intent, de geselecteerde units en het bewijs afzonderlijk geïnspecteerd kunnen worden.

Experimentele Resultaten

De auteurs hebben MM-R2 geëvalueerd op twee benchmarks: InfoSeek en Encyclopedic VQA.

Effectiviteit op Taakniveau: MM-R2 presteert aanzienlijk beter dan sterke baselines. Op InfoSeek behaalde het een nauwkeurigheid van 54,3% (All), een verbetering van 7,8 punten ten opzichte van de sterkste eerdere baseline (Wiki-R1-7B met 46,5%). Op Encyclopedic VQA bereikte het 39,4%. De prestatiewinsten waren consistent over verschillende retrieval-budgetten (Top-1 tot Top-5), waarbij de verbeteringen toenamen naarmate het budget groter werd, wat duidt op een effectief gebruik van extra bewijsvoering.
Verifieerbaarheid op Procesniveau:
- Routing Nauwkeurigheid: De Route Recall@1 verbeterde aanzienlijk van 0,2339 (baseline) naar 0,7400, wat aangeeft dat de agent de juiste KnowledgeMap-regio's succesvol identificeert.
- Trace Kwaliteit: De LLM-as-a-Judge scores voor de consistentie tussen trace en antwoord en de dekking van bewijsvoering verbeterden.
- Fidelity (Getrouwheid): Het model behaalde een fidelity score van 0,9011, wat aangeeft dat de uiteindelijke voorspelling zeer reproduceerbaar is vanuit de onthulde bewijsvoeringssamenvatting, in tegenstelling tot baselines die vaak vertrouwen op verborgen parametrische kennis.

Betekenis en Claims

Het artikel claimt dat MM-R2 aantoont dat het herformuleren van multimodale retrieval als een redeneertaak ("redeneer vóór je ophaalt") substantiële voordelen oplevert. Door de retrieval-intent expliciet te funderen en de zoekruimte te structureren, bereikt het systeem:

Hogere Nauwkeurigheid: Meer precieze retrieval van bewijsvoering leidt tot betere antwoordgeneratie.
Interpreteerbaarheid: Het retrieval-traject is transparant, waardoor gebruikers de redenering van de agent, de routing-beslissingen en het gebruik van bewijsvoering kunnen inspecteren.
Verifieerbaarheid: De onthulde bewijsvoeringssamenvattingen zijn voldoende om het uiteindelijke antwoord te rechtvaardigen, wat de afhankelijkheid van "black box" parametrische kennis vermindert.

De auteurs concluderen dat MM-R2 een robuustere en betrouwbaardere aanpak biedt voor complexe multimodale queries vergeleken met statische, vlakke retrieval-pijlijnen.