💬 NLP

MCite-RL: Towards Reliable Multimodal RAG via Citation-enhanced Agentic Reinforcement Learning

Het artikel stelt MCite-RL voor, een met citaties versterkt agentisch reinforcement learning-framework dat de betrouwbaarheid van multimodale RAG verbetert door een iteratieve Agentic Refinement-module te introduceren voor dynamische visuele citatie en een tweeledig beloningsmechanisme om gezamenlijk de nauwkeurigheid van antwoorden en de traceerbaarheid van bronnen te optimaliseren.

Oorspronkelijke auteurs: Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne digitale tijdperk heeft kunstmatige intelligentie geleerd om tekst te lezen en naar afbeeldingen te kijken met opmerkelijke vaardigheid. Wanneer deze systemen complexe vragen krijgen, wenden ze zich vaak tot een bibliotheek van documenten om het juiste antwoord te vinden, een proces dat bekendstaat als retrieval-augmented generation. Stel je voor dat je een bibliothecaris vraat naar een specifiek feit; de bibliothecaris zoekt het boek, leest de pagina en vertelt je het antwoord. Jarenlang werkte dit systeem goed met alleen tekst. Echter, naarmate deze AI-modellen geavanceerder zijn geworden, zijn ze begonnen met het verwerken van documenten gevuld met grafieken, diagrammen en foto's. De uitdaging nu is niet alleen het vinden van de juiste pagina, maar het aanwijzen van exact de specifieke plek op die pagina — het piepkleine gedeelte van een grafiek of een klein vakje in een foto — dat bewijst dat het antwoord waar is. Zonder dit vermogen om naar het bewijs te wijzen, is het systeem als een student die het juiste antwoord op een toets geeft, maar niet kan laten zien hoe hij tot dat antwoord kwam, waardoor de docent niet kan verifiëren of de student de stof echt begreep of gewoon gokte.

Een team onderzoekers van de Universiteit van Peking en Panasonic Connect heeft een nieuwe methode ontwikkeld om dit probleem van "het laten zien van het werk" in de visuele wereld op te lossen. Ze noemen hun systeem MCite-RL. Het kernidee is om de AI niet alleen te leren een antwoord te vinden, maar om het proces van het vinden van het bewijs te behandelen als een zorgvuldig, stapsgewijs onderzoek. In plaats van de locatie van het bewijs in één snelle blik te raden, wordt het systeem getraind om te handelen als een detective die inzoomt op een document, de irrelevante delen wegknipt en het zoekgebied verkleint totdat alleen het cruciale stukje informatie overblijft. Dit proces wordt gestuurd door een nieuw type leren waarbij de AI feedback krijgt, niet alleen over de vraag of het uiteindelijke antwoord correct is, maar ook over hoe goed het de visuele bewijslast onderweg heeft gelokaliseerd.

De onderzoekers ontdekten dat eerdere methoden vaak op twee specifieke manieren faalden. Soms wees de AI naar een afbeelding die te groot was, waarbij een hele grafiek werd beslagen in plaats van het enkelvoudige getal dat nodig was, waardoor de citatie nutteloos was voor verificatie. Op andere momenten gaf de AI een correct antwoord, maar wees naar een totaal ander deel van de afbeelding, alsof het antwoord en het bewijs niet met elkaar verbonden waren. Om dit op te lossen, creëerde het team een trainingsproces dat een "cold start"-fase combineert, waarin de AI de basisstappen van het zoeken en bijsnijden van afbeeldingen leert, met een reinforcement learning-fase. In deze tweede fase speelt de AI veel verschillende scenario's uit, waarbij het probeert het antwoord en het bewijs te vinden. Als het erin slaagt de afbeelding succesvol te verkleinen tot de juiste plek en het antwoord goed heeft, ontvangt het een beloning. Als het de weg kwijtraakt of naar het verkeerde gebied wijst, leert het van die fout.

De resultaten van deze aanpak werden getest op drie verschillende sets uitdagende documenten, waaronder financiële rapporten en lange Wikipedia-pagina's. Het nieuwe systeem presteerde aanzienlijk beter dan bestaande methoden. In een belangrijke test verbeterde het de precisie van het aanwijzen van het juiste visuele bewijs met meer dan 26 procent vergeleken met standaardmethoden. Misschien wel verrassender is dat door de AI te dwingen precies te zijn over waar het de informatie vond, het systeem ook beter werd in het geven van het feitelijke antwoord, waarbij de nauwkeurigheid gemiddeld met bijna 6 procent steeg. De studie suggereert dat wanneer een AI wordt getraind om rigoureus te zijn over zijn bronnen, het er als geheel betrouwbaarder van wordt. De onderzoekers merken op dat hoewel het systeem een belangrijke stap voorwaarts is, het nog steeds zorgvuldig menselijk toezicht vereist, vooral in situaties met hoge inzet, en dat het momenteel het beste werkt met enkelvoudige afbeeldingen in plaats van complexe, meer pagina's tellende documenten. Uiteindelijk demonstreert dit werk dat het trainen van een AI om naar zijn bewijs te wijzen niet alleen een manier is om het werk te verifiëren, maar ook een krachtig hulpmiddel om het systeem te helpen helderder na te denken.

Technische Samenvatting: MCite-RL

Probleemstelling
Multimodale Retrieval-Augmented Generation (RAG) systemen streven ernaar de traceerbaarheid en verifieerbaarheid van Multimodale Large Language Models (MLLM's) te verbeteren door gegenereerde antwoorden te koppelen aan visueel bewijs. De huidige benaderingen, met name die welke vertrouwen op Supervised Fine-Tuning (SFT) of statische RAG-pipelines, kampen echter met twee kritieke beperkingen:

Imprecieze Visuele Citatie: Modellen slagen er vaak niet in om bewijs op het juiste granulariteitsniveau te lokaliseren, waarbij ze bounding boxes produceren die ofwel te grof zijn (waarbij irrelevante regio's worden meegenomen) of te fijn (waarbij cruciale details worden gemist), wat leidt tot ruimtelijke drift.
Ontkoppeling van Antwoord en Citatie: Er is vaak een mismatch tussen het gegenereerde antwoord en de geciteerde visuele regio. Modellen kunnen een correct antwoord genereren op basis van interne redenering, maar een visuele regio citeren uit een volledig andere context, wat de betrouwbaarheid van het systeem ondermijnt.

Bestaande methoden behandelen visuele gronding als een statisch, eenstaps proces of als een impliciet intermediair signaal, waarbij het gebrek is aan de iteratieve verfijning en expliciete optimalisatie die nodig zijn voor betrouwbare, fijnmazige citatie in complexe multimodale documenten.

Methodologie: MCite-RL
De auteurs stellen MCite-RL voor, een citatie-verbeterd agentic reinforcement learning framework dat ontworpen is om zowel de nauwkeurigheid van het antwoord als de traceerbaarheid van de bron gezamenlijk te optimaliseren. Het framework bestaat uit twee kerncomponenten:

Agentic Refinement Workflow:
- In plaats van een eenstapsgeneratie opereert het model als een agent die een sequentiële besluitvormingstraject ( $\tau$ ) uitvoert.
- Het proces omvat iteratieve retrieval en progressieve visuele cropping. De agent wisselt af tussen het ophalen van relevante afbeeldingen en het bijsnijden van irrelevante visuele regio's om de zoekruimte te verkleinen.
- Dit dynamische proces transformeert citatie van een statische stap naar een door bewijs gestuurde redeneerlus, waardoor het model progressief kan convergeren naar de optimale visuele regio ( $\hat{v}_{cT}$ ) voordat het het uiteindelijke antwoord en de citatie gezamenlijk genereert.
Citatie-verbeterd Beloningsmechanisme:
- Het framework maakt gebruik van een samengestelde beloningsfunctie $R(\tau)$ die procesniveau- en uitkomstniveau-feedback integreert binnen een Reinforcement Learning (RL) paradigma (specifiek gebruikmakend van Group Relative Policy Optimization, GRPO).
- Procesniveau-beloning ( $R^{proc}_{cit}$ ): Gebruikt Intersection-over-Ground-truth (IoGT) om tussenliggende crops te evalueren. Dit stimuleert de agent om kernbewijs te behouden tijdens het bijsnijproces, wat informatieverlies tijdens de zoektocht voorkomt.
- Uitkomstniveau-beloning ( $R^{out}_{cit}$ ): Gebruikt Intersection-over-Union (IoU) om de uiteindelijke voorspelde citatie tegen de grondwaarheid te evalueren, wat zorgt voor precieze lokalisatie.
- Aanvullende Beloningen: De functie bevat ook retrieval-efficiëntie (nDCG), antwoordnauwkeurigheid (Exact Match) en formaatbeperkingen om geldige agentic trajecten te waarborgen.

Trainingspipeline
De training volgt een tweestaps-proces:

SFT Cold-Start: Het model wordt eerst gefinetuned op gesynthetiseerde data die stapsgewijze agentic trajecten (retrieval, cropping, beantwoorden) bevatten, gegenereerd door GPT-5. Dit vestigt een baseline-beleid en maakt het model bekend met de vereiste structurele sequentie.
Citatie-verbeterde RL: Het via SFT getrainde model ondergaat RL-training met behulp van GRPO. De agent genereert meerdere rollouts, en het beleid wordt bijgewerkt op basis van de citatie-verbeterde beloningen, waarbij direct wordt geoptimaliseerd voor zowel citatieprecisie als antwoordcorrectheid.

Belangrijkste Bijdragen

Framework: Introductie van MCite-RL, dat agentic workflows integreert met citatie-verbeterde RL om de betrouwbaarheidsgap in multimodale RAG aan te pakken.
Workflow Design: Een nieuw agentic refinement mechanisme voor visuele citatie dat iteratieve bewijsverfijning gebruikt om antwoorden en citaties binnen een gedeeld redeneerproces op elkaar af te stemmen.
Beloningsfunctie: Ontwikkeling van een meerlagige beloningsfunctie die expliciet zowel de precisie van de citatie (zowel proces als uitkomst) als de antwoordnauwkeurigheid optimaliseert, waarbij citatie als een primair doel wordt behandeld in plaats van een bijproduct.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat expliciete citatie-supervisie leidt tot verbeteringen in zowel de precisie van de citatie als de kwaliteit van het antwoord.

Experimentele Resultaten
De auteurs hebben MCite-RL geëvalueerd op drie benchmarks: Wiki-VISA, FinRAGBench-V en MMLongBench-Doc, met behulp van Qwen2.5-VL (3B en 7B) backbones.

Citatieprecisie: MCite-RL behaalde significante verbeteringen ten opzichte van de baselines. Op de Qwen2.5-VL-7B backbone verbeterde het de Intersection-over-Union (IoU) metriek met gemiddeld 26,16% vergeleken met vanilla RAG. Specifiek bereikte het een citatieprecisie van 36,05% op Wiki-VISA en 37,22% op FinRAGBench-V, waarmee het sterke baselines zoals VRAG-RL en propriëtaire modellen (bijv. GPT-4o, Gemini-2.0) versloeg.
Antwoordnauwkeurigheid: De integratie van citatie-beloningen leidde tot een gelijktijdige toename in antwoordnauwkeurigheid. Voor het 7B-model behaalde MCite-RL een nauwkeurigheid van 60,00% op Wiki-VISA, een verbetering van 4–6% ten opzichte van eerdere sterke baselines.
Ablatieonderzoeken: Het verwijderen van de RL-fase of de citatie-beloningen resulteerde in een significante prestatiedegradatie, wat bevestigt dat strategische beloningsoptimalisatie de primaire drijfveer van succes is. De studie merkte ook op dat uitkomstniveau-beloningen cruciaal zijn om te voorkomen dat crops te uitgebreid worden, terwijl procesniveau-beloningen zorgen voor het behoud van bewijs.

Betekenis en Claims
Het artikel claimt dat MCite-RL een systematische oplossing biedt voor de uitdaging van betrouwbare multimodale RAG door aan te tonen dat het expliciet optimaliseren van citatieprecisie op het niveau van het doel essentieel is. De auteurs argumenteren dat citatie-verbeterde reinforcement learning niet alleen de verifieerbaarheid van outputs verbetert, maar ook de kwaliteit van de antwoorden verhoogt door het model te dwingen zijn redenering te funderen in precieze, gedeelde visuele bewijslast. Het werk benadrukt dat betrouwbare multimodale RAG meer vereist dan alleen accurate antwoorden; het vereist precieze bewijslokalisatie en een consistente afstemming tussen antwoord en citatie, wat bereikt kan worden door iteratieve agentic verfijning en meerlagige beloningssupervisie.

Beperkingen
De auteurs erkennen dat het huidige trainingsproces computationele overhead met zich meebrengt en dat de formulering beperkt is tot bounding-box-gebaseerde citaties op enkelvoudige afbeeldingen, zonder expliciet meer expressieve citatiestructuren te modelleren. Ze merken op dat hoewel het systeem de traceerbaarheid verbetert, het niet de feitelijke juistheid van de opgehaalde inhoud zelf garandeert.

Technische Samenvatting: MCite-RL

Meer zoals dit