💬 NLP

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

Dieses Paper stellt Perception-RFT vor, ein Trainingsframework, das Group Relative Policy Optimization auf multimodale Dokument-QA ohne intermediäre Reasoning-Token anwendet und zeigt, dass direkte visuelle Grounding-Ausrichtung (Visual Grounding Alignment) gegenüber reasoning-zentrierten Ansätzen überlegen ist, indem sie die Inferenzkosten um über 60 % reduziert und gleichzeitig den „Grounding Divergence“-Trade-off zwischen semantischer Robustheit und geometrischer Präzision vermeidet.

Ursprüngliche Autoren: Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

Veröffentlicht 2026-07-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen unordentlichen, handgeschriebenen Beleg zu lesen und mit seinem Finger exakt auf den Gesamtbetrag zu zeigen. Dabei geht es nicht nur darum, dass der Roboter die richtige Zahl nennt; es geht darum, dass der Roboter die genaue Stelle dieser Zahl auf dem Papier physisch lokalisiert. Dieses Feld wird „Multimodale Dokument-Fragebeantwortung“ genannt. Denken Sie bei „multimodal“ daran, dass der Roboter zwei Sinne gleichzeitig nutzt: Augen (um das Bild des Dokuments zu sehen) und ein Gehirn (um den Text zu verstehen). Lange Zeit saßen Wissenschaftler vor einer großen Frage fest: Muss der Roboter laut „nachdenken“, um auf die richtige Stelle zu zeigen? Sollte er sagen: „Okay, ich sehe ein Dollarzeichen, dann eine Zahl, also muss der Gesamtbetrag hier sein“, bevor er zeigt? Oder bremst ihn dieses zusätzliche Gerede nur aus? Das ist wichtig, denn in der realen Welt – etwa wenn eine Bank einen Kreditantrag prüft oder ein Anwalt einen Vertrag auditiert – sind Geschwindigkeit und Genauigkeit alles. Wenn der Roboter Zeit mit „Nachdenken“ verschwendet oder auf die falsche Stelle zeigt, könnte das Menschen Geld kosten oder ein entscheidendes Detail übersehen lassen.

Die Autoren dieser Arbeit beschlossen, eine kühne Idee zu testen: Was wäre, wenn wir dem Roboter sagen, er solle aufhören zu denken und einfach nur zu schauen? Sie entwickelten ein Trainingssystem namens „Perception-Rft“. Anstatt den Roboter eine lange, wortreiche Erklärung generieren zu lassen (wie ein Schüler, der seinen Rechenweg in einer Mathearbeit vorführt), zwangen sie ihn, direkt zur Antwort und zu den Koordinaten zu springen, an denen diese Antwort auf der Seite liegt. Sie verwendeten eine spezielle Trainingsmethung namens „Group Relative Policy Optimization“ (GRPO), was wie ein Trainer ist, der einem Roboter-Team eine Gruppe von Antworten gibt und sagt: „Du warst besser als die anderen, also mach so weiter“, ohne erklären zu müssen, warum Schritt für Schritt.

Hier ist die überraschende Wendung, die sie fanden: Die Roboter brauchten den Teil des „Nachdenkens“ überhaupt nicht. Tatsächlich passierte es, dass die Forscher den Robotern, wenn sie versuchten, laut zu denken, beobachteten, dass die Roboter von selbst damit aufhörten. Während des Trainings begannen die Modelle, lange Argumentationsketten zu generieren, aber als sie besser in der Aufgabe wurden, komprimierten sie diese Gedanken so weit, bis sie fast verschwunden waren. Am Ende schnitten die Roboter, die es erlaubt war zu denken, tatsächlich schlechter ab als diejenigen, die gezwungen wurden, einfach nur zu „schauen“ und sofort zu zeigen. Die „denkenden“ Roboter waren langsamer, verbrauchten mehr Rechenleistung und machten mehr Fehler. Das Papier legt nahe, dass für diese spezifische Aufgabe – das Finden einer Stelle auf einem Dokument – direkte Wahrnehmung eine Superkraft ist und das Hinzufügen eines „Schlussfolgerungsschritts“ lediglich eine Ablenkung darstellt.

Die Forscher entdeckten auch etwas Tückisches, das sie „Grounding Divergence“ nannten. Als sie ihre supertrainierten Roboter an Dokumenten testeten, die sie noch nie zuvor gesehen hatten (wie beim Wechsel von Finanzbelegen zu wissenschaftlichen Diagrammen), wurden die Roboter sehr gut darin, auf die richtige Stelle zu zeigen, aber manchmal wurden sie etwas schlechter darin, die Wörter zu verstehen. Es ist, als würde ein Schüler, der so gut darin wird, den Lösungsschlüssel auf einer Seite zu finden, aufhören, die Frage sorgfältig zu lesen. Das Papier stellt jedoch fest, dass für die meisten praktischen Anwendungen das korrekte Zeigen auf die Stelle das Wichtigste ist.

Schließlich fanden sie eine Abkürzung. Normalerweise muss man einen Roboter mit tausenden Beispielen unterrichten, bevor man mit dem ausgeklügelten Training beginnen kann. Aber dieses Team zeigte, dass, wenn man sehr früh zu dieser „Nur-Schauen“-Trainingsmethode wechselt – nachdem man ihn mit nur einem winzigen Bruchteil der üblichen Daten unterrichtet hat –, der Roboter genauso gut lernt. Sie erreichten die gleiche hohe Qualität mit 65 % weniger Trainingsdaten. Die wichtigste Erkenntnis ist also simpel: Für das Lesen von Dokumenten und das Zeigen auf Antworten, hört auf zu überdenken. Der beste Weg, eine Maschine zu lehren, ist, sie schauen zu lassen, nicht sie sprechen zu lassen.

Technisches Resümee: Aufhören zu denken, anfangen zu schauen

Problemstellung

Die multimodale Dokumenten-Beantwortung (Document Question Answering, DocQA) erfordert nicht nur die Generierung des korrekten Textes, sondern auch die Durchführung von Document Visual Grounding (DVG): der präzisen Lokalisierung der visuellen Region, die die Antwort stützt. Aktuelle Ansätze stehen vor zwei primären Einschränkungen:

Supervised Fine-Tuning (SFT): Obwohl SFT effektiv ist, erreicht es oft ein Optimierungsplateau, bei dem eine weitere Skalierung annotierter Datensätze zu abnehmenden Erträgen hinsichtlich der geometrischen Präzision führt.
Reasoning-zentriertes Reinforcement Learning (RL): Jüngste Paradigmen (z. B. DocThinker) postulieren, dass explizite intermediäre Denkprozesse (Chain-of-Thought) notwendig sind, um die semantische Verständniss und die räumliche Lokalisierung zu überbrücken. Diese wortreichen Spuren blähen jedoch die Inference-Token-Kosten auf und führen zu Latenzen, ohne einen klaren empirischen Nutzen für inhärent perzeptive Aufgaben zu bieten.

Darüber hinaus bleibt die Dynamik von RL in multimodalen Settings untererforscht, insbesondere hinsichtlich der Frage, ob Denken wirklich notwendig für das Grounding ist oder ob es Instabilität und unnötigen Rechenaufwand verursacht.

Methodik: Perception-RFT

Die Autoren führen Perception-RFT ein, ein Trainings-Framework, das darauf ausgelegt ist, visuelle Merkmale direkt mit strukturierten Grounding-Outputs abzugleichen, indem es intermediäre Reasoning-Token umgeht.

Kern-Framework

Aufgabenformulierung: Die Aufgabe wird als generatives Visual QA-Problem definiert, bei dem die Policy $\pi_\theta$ ein strukturiertes JSON ausgibt, das die Antwort und ein normalisiertes Bounding Box ( $[x_1, y_1, x_2, y_2]$ ) enthält.
Direkter Perzeptions-Constraint: Im Gegensatz zu Standard-RL-Ansätzen, die verbale Argumentationsketten fördern, erzwingt Perception-RFT einen System-Prompt, der Erklärungen oder Zwischenschritte explizit verbietet („Do NOT include explanations... Output ONLY the final valid JSON“). Dies zwingt das Modell dazu, visuelle Merkmale direkt auf die Koordinaten-Regression abzubilden.
Optimierungsalgorithmus: Das Framework nutzt Group Relative Policy Optimization (GRPO). Anstatt die logische Konsistenz über Reasoning-Ketten zu maximieren, maximiert das Ziel den Vorteil valider Ausgaben basierend auf einem gemeinsamen Reward-Signal und begrenzt das Policy-Drift durch KL-Divergenz.

Gated Dense Reward Mechanismus

Um das Training ohne intermediäre Anleitung zu stabilisieren, schlagen die Autoren eine zusammengesetzte Reward-Funktion $R = R_{format} + R_{sem} + R_{loc}$ vor:

Format-Konsistenz ( $R_{format}$ ): Ein binärer Schalter (0 oder 1), der sicherstellt, dass die Ausgabe ein gültiges JSON mit dem korrekten Schema ist.
Semantische Präzision ( $R_{sem}$ ): Verwendet die Average Normalized Levenshtein Similarity (ANLS) mit quadratischer Skalierung, um Beinahe-Fehler aggressiv zu bestrafen.
Gated Localization Reward ( $R_{loc}$ ): Ein „Cliff-Edge“-Mechanismus.
- Shaping State: Wenn der IoU unter einem Schwellenwert ( $\tau=0.6$ ) liegt, wird der Reward skaliert ( $\lambda \cdot \text{IoU}$ ), um eine Konvergenz auf suboptimalen Teilüberlappungen zu verhindern.
- Success State: Wenn der IoU $\geq 0.6$ ist, springt der Reward auf 1.0, was eine geometrische Sicherheitsmarge fördert.

Experimentelles Design

Die Studie verwendet Qwen3-VL-4B und vergleicht verschiedene Konfigurationen:

SFT: Standardmäßiges Supervised Fine-Tuning auf ca. 23k Finanzdokument-Proben.
RFTs (SFT $\to$ RL): Anwendung von Perception-RFT nach der SFT-Initialisierung.
RFTb (Cold-Start RL): Anwendung von Perception-RFT direkt auf das Basismodell ohne SFT.
Reasoning-RFTb: Eine kontrollierte Variante, die unter identischen RL-Bedingungen intermediäre Reasoning-Spuren erlaubt, um die Rolle des Denkens zu isolieren.
Datensätze: Training auf kuratierten Finanzdokumenten (DocILE, FormNLU) und Evaluierung auf In-Distribution (ID) Sets sowie zwei Out-of-Distribution (OOD) Benchmarks: DOGR-Bench (800 Proben) und MMDocBench (4.028 Proben).

Kernergebnisse

1. Reasoning ist redundant und kontraproduktiv

Die bedeutendste Erkenntnis ist, dass explizites Reasoning die Performance in DVG-Aufgaben unter RL nicht verbessert.

Performance-Lücke: Die reasoning-freie Variante (RFTb) übertrifft die reasoning-gestützte Variante (Reasoning-RFTb) konsistent sowohl auf ID- als auch auf OOD-Datensätzen. Beispielsweise erreicht RFTb auf OOD-Daten ein F1all von 0,600 im Vergleich zu 0,382 für Reasoning-RFTb.
Trace-Kompression: Selbst wenn Reasoning aktiviert ist, komprimieren Modelle die Reasoning-Spuren während des Trainings progressiv und eliminieren sie. Bei der Konvergenz sinkt die durchschnittliche Anzahl der Reasoning-Token um 62 % (von ~191 auf ~72 Token), was effektiv zu einer direkten Perzeptions-Policy konvergiert.
Stabilität: Das mit Reasoning gestützte Training weist eine höhere Varianz und eine weniger stabile Konvergenz auf als der direkte Perzeptions-Ansatz.

2. RL übertrifft die SFT-Sättigung

Das Plateau durchbrechen: Auf In-Distribution Daten erreicht SFT ein Leistungsplateau (F1all = 0,668). Die Anwendung von Perception-RFT (RFTs) durchbricht dieses Plateau und verbessert den F1all auf 0,718, mit signifikanten Gewinnen sowohl bei der Textextraktion als auch bei der Lokalisierung.
Wichtigkeit der Initialisierung: Cold-Start RL (RFTb) verbessert sich gegenüber dem Basismodell, bleibt aber deutlich unter RFTs, was bestätigt, dass eine supervidierte Initialisierung eine stabile Grundlage für geometrisches Lernen unter RL bietet.

3. Das Phänomen der Grounding-Divergenz

Die Autoren identifizieren einen zuvor nicht charakterisierten Trade-off, die sogenannte Grounding-Divergenz. Unter gemeinsamer RL-Optimierung auf OOD-Daten:

Lokalisierung verbessert sich: Geometrische Präzision überträgt sich robust auf ungesehene Domänen (z. B. springt die Lokalisierung bei DOGR-Bench von 0,416 auf 0,759).
Semantische Robustheit degradiert: Semantische Extraktionsfähigkeiten versagen oft beim Transfer oder verschlechtern sich im Vergleich zum Zero-Shot-Basismodell.
Implikation: RL induziert eine asymmetrische Generalisierung; es ist exzellent darin, übertragbare geometrische Muster zu lernen, kann aber semantische Extraktion übermäßig spezialisieren, was zu einem selektiven Trade-off zwischen geometrischer Präzision und semantischer Flexibilität führt.

4. Dateneffizienz

Ein früher Übergang von SFT zu RL (RFTs-Early) erreicht eine vergleichbare Präzision wie das vollständige SFT+RL unter Verwendung von 65 % weniger Trainingsdaten. Dies deutet darauf hin, dass ein langes supervisiertes Lernen für hochpräzises Grounding nicht zwingend erforderlich ist, wenn RL frühzeitig eingeführt wird.

Bedeutung und Ansprüche

Das Paper behauptet, etabliert zu haben, dass Document Visual Grounding eine perzeptionsdominante Aufgabe ist, bei der die direkte Abstimmung zwischen visuellen Merkmalen und räumlichen Outputs effektiver ist als reasoning-vermittelte Generierung.

Effizienz: Durch das Umgehen von Reasoning-Token reduziert der Ansatz die Anzahl der Inference-Token pro Abfrage um über 60 %, was eine kostengünstigere und schnellere Deployment-Strategie ermöglicht.
Optimierungsdynamik: Die Arbeit erweitert die Erkenntnisse aus dem Text-Domain Post-Training (SFT-Sättigung und Cold-Start-RL-Instabilität) auf den multimodalen Bereich und identifiziert den spezifischen Trade-off der „Grounding-Divergenz“.
Praktische Orientierung: Die Autoren argumentieren, dass Modelle für DVG „aufhören sollten zu denken und anfangen sollten zu schauen“. Die optimale Policy beruht auf direkter Perzeption statt auf explizitem Reasoning, und ein früher SFT-zu-RL-Übergang bietet die beste Balance zwischen Dateneffizienz und Performance.

Die Studie ist in ihrem Umfang moderat und merkt an, dass diese Erkenntnisse auf der 4B-Parameter-Skala etabliert wurden und das Skalierungsverhalten auf größere Modelle Gegenstand zukünftiger Arbeiten bleibt. Zudem begrenzt der Mangel an Reasoning-annotierten supervisierten Daten die Fähigkeit, eine Reasoning-gestützte SFT $\to$ RL Pipeline für einen weiteren Vergleich aufzubauen.