UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

1. Problemstellung

Retrieval-Augmented Generation (RAG) erweitert Large Vision-Language Models (LVLMs) um externes visuelles Wissen. Bestehende visuelle RAG-Systeme stoßen jedoch bei komplexen推理-Aufgaben (Reasoning) an Grenzen, da sie sich oft auf generische Suchsignale verlassen und die feingranularen visuellen Semantiken ignorieren. Die Hauptprobleme sind:

• Unpräzises Retrieval: Herkömmliche Methoden nutzen oft nur flache Ähnlichkeitsmetriken, die für komplexe Aufgaben unzureichend sind und irrelevante visuelle Kontexte einführen.
• Passive visuelle Nutzung: Modelle verarbeiten häufig ganze Bilder passiv, was zu einer Überlastung durch redundante Hintergrundinformationen führt und den Kontext für wichtige Details verschwendet.
• Spärliche Belohnungen (Sparse Rewards): Reinforcement-Learning-Ansätze (RL) basieren meist nur auf dem Endergebnis. Dies löst das "Credit Assignment"-Problem nicht, da keine explizite Rückmeldung für Zwischenschritte wie Suche, Auswahl oder Zuschneiden gegeben wird.

2. Methodik: UniDoc-RL

Das Paper stellt UniDoc-RL vor, ein einheitliches Reinforcement-Learning-Framework, in dem ein LVLM-Agent Suchvorgänge, Neu-Ranking, aktive visuelle Wahrnehmung und推理 in einem einzigen Entscheidungsprozess kombiniert.

A. Hierarchischer Aktionsraum (Coarse-to-Fine)

Der Agent durchläuft einen schrittweisen Prozess zur Verfeinerung visueller Beweise:

1. Bildsuche (Search Action): Der Agent generiert eine Suchanfrage und ruft ein externes Werkzeug auf, um einen breiten Pool von Kandidatenbildern zu erhalten.
2. Präzise Auswahl (Precise Selection Action): Um die Lücke zwischen grober Suche und feiner Semantik zu schließen, bewertet das LVLM die Relevanz der Kandidaten und filtert irrelevante Bilder heraus. Dies reduziert Rauschen vor der eigentlichen推理.
3. Aktive visuelle Wahrnehmung (Visual Perception Action): Anstatt ganze Bilder zu verarbeiten, lernt der Agent, gezielt Regionen zu lokalisieren. Er führt "Crop" und "Zoom"-Operationen durch, um hochauflösende, informationsdichte Bereiche zu extrahieren. Dies imitiert menschliche visuelle Aufmerksamkeit.

B. Dichte Multi-Belohnungsfunktion (Dense Multi-Rewards)

Um das Training zu stabilisieren und Zwischenschritte zu optimieren, wird ein komplexes Belohnungssystem eingeführt, das jede Phase überwacht:

• Such-Belohnung ($r_{ir}$): Basierend auf dem NDCG (Normalized Discounted Cumulative Gain), um die Qualität der initialen Retrieval-Ergebnisse zu bewerten.
• Auswahl-Belohnung ($r_{sel}$): Bewertet, ob das vom Modell ausgewählte Bild relevant ist. Eine Pseudo-Supervision-Strategie wird verwendet, um auch bei fehlenden Ground-Truth-Bildern lernbare Signale zu liefern.
• Wahrnehmungs-Belohnung ($r_{crop}$): Basierend auf dem IoU (Intersection over Union) zwischen den vorhergesagten Zuschneide-Boxen und den Ground-Truth-Regionen, um präzises Lokalisieren zu fördern.
• Muster-Belohnung ($r_{pat}$): Stellt sicher, dass die Ausgabeformate (XML-Tags wie <search>, <select>, <bbox>) korrekt eingehalten werden.
• Ergebnis-Belohnung ($r_{ans}$): Eine sparse Belohnung basierend auf der Korrektheit der finalen Antwort (evaluiert durch ein Reward-Modell).

Die Gesamtbelohnung ist eine gewichtete Summe dieser Komponenten.

C. Trainingsparadigma

Das Modell wird mit Group Relative Policy Optimization (GRPO) trainiert. Dies ermöglicht das Ausrichten des Agentenverhaltens an mehreren Zielen ohne die Notwendigkeit eines separaten Value-Netzwerks. Der Prozess beginnt mit einem Supervised Fine-Tuning (SFT) auf hochwertigen Trajektorien, gefolgt von der RL-Feinabstimmung.

3. Schlüsselbeiträge

1. UniDoc-RL Framework: Ein einheitliches RL-Framework, das Retrieval, Neu-Ranking, aktive visuelle Wahrnehmung und推理 in einem einzigen Entscheidungsprozess modelliert.
2. Neuer Datensatz: Die Erstellung und Veröffentlichung eines umfassenden Datensatzes mit hochwertigen Reasoning-Trajektorien und feingranularen Aktionsannotationen (insgesamt 12.621 SFT- und 5.537 RL-Beispiele), der als Ressource für zukünftige Forschung dient.
3. Hierarchische Aktionsstrategie: Die Einführung des "Search-Select-Perceive"-Ansatzes, der Rauschen filtert und sich auf kritische visuelle Beweise konzentriert.
4. Dichte Belohnung: Ein neuartiges Belohnungsschema, das das Credit-Assignment-Problem über verschiedene Stufen hinweg löst.

4. Ergebnisse

Die Experimente wurden auf drei Benchmarks durchgeführt: SlideVQA, ViDoSeek und MMLongBench.

• Leistungssteigerung: UniDoc-RL übertrifft konsistent den State-of-the-Art (SOTA). Im Vergleich zu vorherigen RL-basierten Methoden (wie VRAG-RL) wurden Verbesserungen von bis zu 17,7% erzielt.
• Vergleich mit Baselines: Das Modell schlägt sowohl OCR-basierte RAG-Methoden als auch rein visuelle Ansätze und andere RL-Frameworks (ReAct, Search-R1) deutlich.
• Ablationsstudien:
  • Die "Präzise Auswahl" verbessert die Recall-Rate für relevante Bilder signifikant und schließt die semantische Lücke zwischen Suchmaschine und Reasoner.
  • Die "Visuelle Wahrnehmung" (Crop/Zoom) ist besonders effektiv für Aufgaben, die feingranulare Details erfordern (z. B. MMLongBench).
  • Die dichte Belohnung führt zu einer besseren Generalisierung und verhindert Fehlerfortpflanzung in den Zwischenschritten.

5. Bedeutung und Fazit

UniDoc-RL adressiert fundamentale Schwächen aktueller visueller RAG-Systeme, indem es den Prozess der Informationsbeschaffung von einer passiven, statischen Aufgabe in einen aktiven, sequenziellen Entscheidungsprozess verwandelt. Durch die Kombination von hierarchischen Aktionen und dichten Belohnungen gelingt es dem Modell, Rauschen effektiv zu unterdrücken und sich auf informationsdichte Regionen zu konzentrieren. Dies stellt einen wichtigen Schritt hin zu robusteren und effizienteren LVLM-Agenten für komplexe Dokumentenverständnis-Aufgaben dar. Die Veröffentlichung des zugehörigen Datensatzes und des Codes fördert zudem die Reproduzierbarkeit und weitere Forschung in diesem Bereich.