🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

Das Papier schlägt MM-R2 vor, ein multimodales agentisches Framework, das die Retrieval-Augmented Generation durch explizites Nachdenken über Retrieval-Ziele und die Strukturierung des Suchraums mittels einer KnowledgeMap verbessert, unterstützt durch einen neuen Trajektorien-Datensatz und eine zweistufige Post-Training-Strategie, um überlegene Genauigkeit und Interpretierbarkeit auf Benchmark-Datensätzen zu erreichen.

Ursprüngliche Autoren: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber anstatt eines einzelnen Hinweises haben Sie einen riesigen, chaotischen Haufen aus Büchern, Fotos und Landkarten, die alle in einen großen Karton geworfen wurden. Dies ist die Welt der „Multimodalen Retrieval-Augmented Generation“ (mRAG). Es ist eine schicke Art zu sagen, dass wir wollen, dass Computer Fragen über Bilder beantworten, indem sie Fakten in einer riesigen Bibliothek nachschlagen. Normalerweise agiert ein Computer, wenn er versucht, dies zu tun, ein wenig wie ein hektischer Einkäufer in einem riesigen Supermarkt: Er schnappt sich eine Frage, ruft sie in den ganzen Laden hinein und hofft, dass die ersten paar Dinge, die er in den Regalen findet, die richtigen sind. Das Problem ist, dass der Computer oft die falschen Dinge greift, weil er eigentlich nicht wirklich versteht, wonach er sucht oder wo in dem Laden dieses Objekt versteckt sein könnte. Es ist, als würde man nach „dem roten Auto“ fragen und ein Bild eines roten Apfels bekommen, weil der Computer nur das Wort „rot“ gesehen hat und das erste rote Ding gegriffen hat, das ihm unterkam.

Hier kommt das neue Paper ins Spiel. Die Forscher erkannten, dass man, bevor man überhaupt mit der Suche beginnt, innehalten und nachdenken muss. Sie nennen ihr neues System MM-R2, was für „Reason Before You Retrieve“ (Erst denken, dann suchen) steht. Anstatt blind in die Leere zu rufen, agiert MM-R2 wie ein kluger Detektiv. Zuerst betrachtet es das Bild und die Frage gemeinsam, um genau herauszufinden, was der „Hinweis“ ist (das spezifische Objekt im Foto) und welche Art von Information benötigt wird. Dann sucht es nicht den ganzen chaotischen Karton ab, sondern konsultiert eine spezielle, organisierte Karte der Bibliothek, die „KnowledgeMap“. Es wählt den richtigen Gang aus, schnappt sich das richtige Buch, lixt es und entscheidet, ob es an einer anderen Stelle weitersuchen muss. Das Paper legt nahe, dass der Computer durch diesen Schritt des „zuerst Denkens“ viel besser darin wird, die richtigen Antworten zu finden, und sogar in der Lage ist, seinen Rechenweg aufzuzeigen, um zu beweisen, wie er das Rätsel gelöst hat.

Die neue Strategie des Detektivs

Der Kernaspekt dieses Papers ist, dass Computer derzeit zu eifrig ins Handeln übergehen. Wenn man einem Computer die Frage stellt: „Was für ein Vogel ist das auf diesem Bild?“, während man ihm ein Foto zeigt, mischen aktuelle Systeme oft einfach die Wörter und das Bild zusammen und beginnen sofort mit der Suche in allem gleichzeitig. Die Autoren argumentieren, dass dies ein Fehler ist. Sie fanden heraus, dass diese Systeme verwirrt werden, weil sie nicht wissen, welcher Teil des Bildes wichtig ist oder welche spezifische Information sie benötigen. Es ist, als würde man versuchen, ein bestimmtes Rezept in einer Bibliothek zu finden, indem man nach dem Wort „Kuchen“ in jedem einzelnen Buch im Gebäude sucht, anstatt direkt in die Abteilung „Backen“ zu gehen.

Um dies zu beheben, entwickelte das Team MM-R2, ein System, das den Computer dazu zwingt, erst zu planen, bevor er sucht. Sie unterteilen den Prozess in drei spannende Schritte:

Der „Was“ und „Wo“-Plan: Bevor die Suche beginnt, erstellt das System einen „Retrieval State“ (Abrufzustand). Betrachten Sie dies als das Schreiben einer perfekten Einkaufsliste. Es identifiziert den Informationsbedarf (Was muss ich wissen?), den Grundlegenden Referenten (Auf welches spezifische Objekt im Foto beziehe ich mich?) und die Einschränkungen (Benötige ich ein Datum? Einen Ort? Einen wissenschaftlichen Namen?). Dies verhindert, dass der Computer durch irrelevante Details abgelenkt wird.
Die organisierte Karte (KnowledgeMap): Die Forscher erkannten, dass das Durchsuchen einer flachen, chaotischen Liste von Fakten ineffizient ist. Also organisierten sie ihre Bibliothek zu einer KnowledgeMap. Stellen Sie sich vor, die Bibliothek besteht nicht nur aus einem Haufen Büchern, sondern aus einer Reihe ordentlich beschrifteter Behälter: ein Behälter für „Vögel“, einer für „Autos“, einer für „Geschichte“. Wenn der Computer seine Einkaufsliste hat, durchsucht er nicht die ganze Bibliothek; er entscheidet zuerst, welchen Behälter er öffnen muss. Dies wird als „Routing“ bezeichnet.
Die Detektiv-Schleife: Sobald der Computer den richtigen Behälter (die Retrieval-Einheit) ausgewählt hat, sucht er innerhalb dieses Behälters nach der spezifischen Antwort. Findet er die Antwort, großartig! Wenn nicht, kann er entscheiden, einen anderen Behälter zu wählen oder eine spezifischere Frage zu stellen. Er wiederholt dies so lange, bis er genügend Beweise hat, um den Fall zu lösen.

Wie sie dem Computer das Denken beibrachten

Man könnte sich fragen: „Wie lernt ein Computer, wie ein Detektiv zu planen?“ Die Autoren haben dem Computer nicht einfach nur gesagt: „Sei schlau.“ Stattdessen erstellten sie einen massiven Trainingsdatensatz namens MM-R2-Traj. Dieser Datensatz enthält 900.000 Beispiele für „Denkprozesse“.

Stellen Sie sich vor, ein Lehrer zeigt einem Schüler, wie man ein Puzzle löst. Der Lehrer gibt nicht nur die Lösung vor; er zeigt die einzelnen Schritte: „Schau zuerst auf die Eckenteile. Sortiere dann nach Farben. Versuche dann, diese zwei Teile zusammenzufügen.“ Die Forscher nutzten eine „Lehrer“-KI, um diese schrittweisen Geschichten für die „Schüler“-KI zu generieren. Sie brachten dem Schüler bei:

Das Bild und die Frage zu analysieren, um einen Plan zu erstellen.
Den richtigen „Behälter“ (KnowledgeMap-Einheit) zu wählen.
Eine spezifische Frage innerhalb dieses Behälters zu stellen.
Zusammenzufassen, was gefunden wurde.
Zu entscheiden, ob die Aufgabe erledigt ist oder ob erneut gesucht werden muss.

Sie trainierten den Computer in zwei Phasen. Zuerst nutzten sie Supervised Fine-Tuning (SFT), was so ist, als würde der Schüler die Notizen des Lehrers kopieren, um die Grundregeln zu lernen. Danach nutzten sie Group Relative Policy Optimization (GRPO), was wie ein Spiel ist, bei dem der Schüler verschiedene Strategien ausprobiert und eine hohe Punktzahl erhält, wenn er die richtige Antwort findet. Wenn er die Antwort falsch hat, lernt er, beim nächsten Mal einen anderen Weg zu wählen. Dies half dem Computer, wirklich gut darin zu werden, die richtigen Entscheidungen zu treffen.

Die Ergebnisse: Schlauer und Klarer

Als sie MM-R2 auf zwei großen Herausforderungen testeten – InfoSeek (ein Datensatz mit 1,3 Millionen Bild-Frage-Paaren) und Encyclopedic VQA (ein Test für enzyklopädisches Wissen) – waren die Ergebnisse beeindruckend.

Beim InfoSeek-Test lieferte MM-R2 insgesamt in 54,3 % der Fälle die richtige Antwort. Dies ist ein großer Sprung im Vergleich zu anderen intelligenten Systemen, die sich meist im Bereich von 46–47 % bewegten. Speziell beim Teil „Unseen-Question“ (wo der Computer mit Fragen konfrontiert wird, die er noch nie gesehen hat), erreichte MM-R2 56,0 % und übertraf damit den bisherigen Bestwert deutlich. Auch beim Encyclopedic VQA-Test erreichte es 39,4 %, was zeigt, dass es auch bei sehr spezifischen und schwierigen Fragen gut funktioniert.

Das Paper deutet jedoch auf etwas noch Wichtigeres hin als nur auf die reine Erfolgsquote: Transparenz. Da MM-R2 seine Schritte plant, können wir tatsächlich sehen, wie es das Problem gelöst hat.

Besseres Routing: Das System wählte in 74 % der Fälle den richtigen „Behälter“ (KnowledgeMap-Einheit), verglichen mit nur 23 % bei den älteren Systemen. Es hörte auf, Zeit mit der Suche an falschen Orten zu verschwenden.
Klarere Erklärungen: Wenn das System seine Antwort erklärte, war diese präziser und fokussierter. Der „Fidelity“-Wert (der prüft, ob die Antwort tatsächlich auf den gefundenen Belegen basiert) lag bei 0,90, was bedeutet, dass die Antwort fast ausschließlich auf den gefundenen Fakten basierte und nicht bloß eine Vermutung war.

Was das bedeutet

Das Paper legt nahe, dass die alte Methode des bloßen „Alles-Durchsuchens“ an eine Grenze stößt. Indem wir den Computer dazu zwingen, vor dem Abrufen zu denken (reason before retrieve), können wir Systeme bauen, die nicht nur intelligenter, sondern auch vertrauenswürdiger sind. Sie raten nicht einfach; sie folgen einem logischen Pfad, prüfen ihre Arbeit und können genau zeigen, wie sie die Antwort gefunden haben. Es ist der Unterschied zwischen einer chaotischen Schnitzeljagd und einer gut geplanten Detektivmission. Während die Forscher anmerken, dass dies ein spezifischer Ansatz für multimodale KI ist und nicht jedes Problem der Welt löst, deuten die Ergebnisse darauf hin, dass das Innehalten und Nachdenken vor dem Handeln eine mächtige Strategie für die Zukunft intelligenter Computer ist.

Technisches Resümee: Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

Problemstellung

Multimodale Retrieval-Augmented Generation (mRAG) zielt darauf ab, Bild-Text-Anfragen durch die Nutzung externen Wissens zu beantworten. Bestehende Systeme verwenden jedoch typischerweise eine „Retrieve-then-Generate“-Pipeline (erst abrufen, dann generieren), die über einen flachen, schwach strukturierten Evidenzraum operiert. Die Autoren identifizieren zwei kritische Einschränkungen in diesem vorherrschenden Design:

Retrieval-Intent-Ambiguität: In multimodalen Settings definiert die Textfrage den Informationsbedarf, während das Bild den spezifischen visuellen Referenten verankert. Bestehende Systeme versäumen es oft, die Abfrage explizit auf den korrekten visuellen Instanz zu beziehen, was zu einem Retrieval-Drift hin zu textuellen Priors oder generischen, bildunterschriftenähnlichen Übereinstimmungen führt, anstatt auf die für das Bild-Frage-Paar spezifische Evidenz.
Schwach strukturierter Suchraum: Die meisten Systeme betten diverse Evidenzen in einen einzigen Repräsentationsraum ein und verlassen sich auf globale Ähnlichkeitsfunktionen. Dies zwingt semantisch unterschiedliche Evidenzen dazu, in einem einzigen Ranking-Schritt miteinander zu konkurrieren, was oft generische Inhalte gegenüber präziser, domänenspezifischer Evidenz bevorzugt.

Das Paper argumentiert, dass multimodaler Abruf als „Reason Before You Retrieve“ (erst denken, dann abrufen) neu definiert werden sollte, angelehnt an die Schema-Theorie in der Kognitionswissenschaft, bei der strukturierte Wissensrahmen die Aufmerksamkeit und den Wissenszugriff leiten.

Methodik: Das MM-R2 Framework

Die Autoren schlagen MM-R2 (MultiModal Reason-to-Retrieve) vor, ein agentisches Retrieval-Framework, das explizit modelliert, was abgerufen werden soll und wo gesucht werden muss, bevor der Abruf ausgeführt wird. Das Framework operiert durch die folgenden Komponenten:

1. Intent-Referent Binding Modul

Bevor der Abruf erfolgt, konstruiert das System einen strukturierten Retrieval State aus dem Bild-Frage-Paar $(I, Q)$ . Dieses Modul, bezeichnet als $\Phi$ , gibt ein Triplet $z = (i, r, c)$ aus:

$i$ (Information Need): Der spezifische Wissensbedarf (z. B. Taxonomie, Ort, Funktion).
$r$ (Grounded Referent): Das spezifische Objekt, die Entität oder die Region im Bild, auf die sich die Anfrage bezieht.
$c$ (Constraints): Aufgabenspezifische Bedingungen wie Antworttyp, Granularität oder zeitlicher Umfang.

Dieser Schritt löst die Retrieval-Intention vor der Suche auf und reduziert den Query-Drift.

2. Strukturierte KnowledgeMap

Anstatt eines flachen Korpus wird die externe Wissensbasis vorstrukturiert in eine KnowledgeMap ( $K$ ), die aus semantisch kohärenten Retrieval-Einheiten ( $u_1, \dots, u_N$ ) besteht.

Konstruktion: Passagen werden kodiert, mittels HDBSCAN geclustert (um unterschiedliche Dichten ohne Vorabfestlegung der Clusteranzahl zu handhaben) und mittels eines LLMs mit leichtgewichtigen Metadaten (Titeln und Beschreibungen) versehen.
Funktion: Dies dient als Routing-Gerüst. Der Agent wählt zuerst relevante Einheiten ( $a_t$ ) aus und führt dann fundierte Abfragen ( $q_t$ ) innerhalb dieser Einheiten aus, anstatt den gesamten Korpus global zu durchsuchen.

3. Agentic Planning Loop

Der Agent $A$ (ein multimodales Sprachmodell) führt einen sequenziellen Entscheidungsprozess durch:

Routing: Wählt eine oder mehrere Retrieval-Einheiten aus der KnowledgeMap basierend auf dem aktuellen Zustand (Intent $z$ und Historie $h_t$ ).
Query Generation: Formuliert eine fundierte Abfrage, die spezifisch auf die ausgewählte Einheit zugeschnitten ist.
Retrieval & Update: Ruft Evidenz $e_t$ ab und aktualisiert die Historie $h_{t+1}$ .
Termination Decision: Der Agent entscheidet iterativ, ob er weiter Informationen abruft oder die finale Antwort $\hat{y}$ basierend auf der akkumulierten Evidenz generiert.

4. Trainingsstrategie

Um den Agenten zu diesem mehrstufigen Planungs-Verhalten zu trainieren, führen die Autoren MM-R2-Traj ein, einen großskaligen Datensatz von 900.000 fundierten, mehrstufigen Retrieval-Trajektorien, die mittels eines Teacher-Modells synthetisiert wurden. Das Training folgt einer zweistufigen Post-Training-Pipeline:

Stufe 1 (Supervised Fine-Tuning - SFT): Der Agent lernt die grundlegende Struktur von Retrieval-Verhaltensweisen (Einheitenselektion, Abfragegenerierung, Zusammenfassung, Antwortgenerierung), indem er die strukturierten Trajektorien imitiert.
Stufe 2 (Group Relative Policy Optimization - GRPO): Der Agent wird weiter optimiert mittels Reinforcement Learning mit einer Rollout-Level-Belohnungsfunktion ( $R_i$ ), welche die Routing-Qualität ( $R_{route}$ ) und die Korrektheit der finalen Antwort ( $R_{ans}$ ) gemeinsam bewertet. Dies stärkt die Fähigkeit des Agenten, Retrieval-Pfade unter Aufgaben-Feedback zu planen.

Wesentliche Beiträge

Neuartiges Framework: MM-R2 ist ein multimodales agentisches Framework, das explizit sowohl über das Retrieval-Ziel als auch über den Suchraum nachdenkt, bevor es abruft, was das „Was“ und „Wo“ des Retrievals interpretierbar macht.
Architektonische Innovationen: Das Design des Intent-Referent Binding Moduls und der KnowledgeMap liefert einen expliziten Entscheidungszustand und einen strukturierten Suchraum, wodurch die Ambiguität und Flachheit früherer mRAG-Systeme adressiert wird.
Datensatz und Training: Die Konstruktion von MM-R_2-Traj und die Anwendung einer zweistufigen SFT+GRPO-Trainingsstrategie ermöglichen es Agenten, komplexe, mehrstufige Retrieval-Planungen zu erlernen.
Prozessbasierte Analyse: Das Framework ermöglicht eine leichtgewichtige prozessbasierte Analyse, durch die die abgeleitete Intention, die gewählten Einheiten und die Evidenz separat inspiziert werden können.

Experimentelle Ergebnisse

Die Autoren evaluierten MM-R2 auf zwei Benchmarks: InfoSeek und Encyclopedic VQA.

Aufgabeneffektivität: MM-R2 übertrifft starke Baselines erheblich. Auf InfoSeek erreichte es eine Genauigkeit von 54,3 % (All), was eine Verbesserung von 7,8 Punkten gegenüber der stärksten bisherigen Baseline (Wiki-R1-7B mit 46,5 %) darstellt. Auf Encyclopedic VQA erreichte es 39,4 %. Die Leistungssteigerungen waren über verschiedene Retrieval-Budgets hinweg konsistent (Top-1 bis Top-5), wobei die Verbesserungen mit größerem Budget zunahmen, was auf eine effektive Nutzung zusätzlicher Evidenz hindeutet.
Prozessbasierte Verifizierbarkeit:
- Routing-Genauigkeit: Der Route Recall@1 verbesserte sich signifikant von 0,2339 (Baseline) auf 0,7400, was zeigt, dass der Agent die korrekten KnowledgeMap-Regionen erfolgreich identifiziert.
- Trajektorien-Qualität: Die LLM-as-a-Judge-Scores für die Konsistenz zwischen Trajektorie und Antwort sowie die Evidenzabdeckung verbesserten sich.
- Fidelität: Das Modell erreichte einen Fidelity-Score von 0,9011, was darauf hindeutet, dass die finale Vorhersage hochgradig reproduzierbar aus der offengelegten Evidenz-Zusammenfassung ist, im Gegensatz zu Baselines, die oft auf verborgenem parametrischem Wissen beruhen.

Bedeutung und Ansprüche

Das Paper behauptet, dass MM-R2 zeigt, dass die Umformulierung von multimodalem Retrieval als Denkaufgabe („Reason Before You Retrieve“) erhebliche Vorteile bringt. Durch die explizite Verankerung der Retrieval-Intention und die Strukturierung des Suchraums erreicht das System:

Höhere Genauigkeit: Präziserer Abruf von Evidenz führt zu besserer Antwortgenerierung.
Interpretierbarkeit: Die Retrieval-Trajektorie ist transparent und erlaubt es Nutzern, die Argumentation des Agenten, die Routing-Entscheidungen und die Verwendung von Evidenz zu inspizieren.
Verifizierbarkeit: Die offengelegten Evidenz-Zusammenfassungen sind ausreichend, um die finale Antwort zu rechtfertigen, was die Abhängigkeit von „Black Box“-parametrischem Wissen reduziert.

Die Autoren kommen zu dem Schluss, dass MM-R2 im Vergleich zu statischen, flachen Retrieval-Pipelines einen robusteren und vertrauenswürdigeren Ansatz für komplexe multimodale Anfragen bietet.