💻 computer science

Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

Das Paper schlägt Perceive-to-Reason (P2R) vor, ein einheitliches Framework, das die feingliedrige visuelle Argumentation in distinkte Wahrnehmungs- und Argumentationsphasen entkoppelt, verstärkt durch eine rollenbewusste Reinforcement-Learning-Strategie (PRA-GRPO), um die Leistung über verschiedene Modellskalen und hochauflösende Benchmarks hinweg signifikant zu steigern.

Ursprüngliche Autoren: Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Rätsel zu lösen, aber das Bild ist riesig und der wichtigste Hinweis ist ein winziger Fleck, der irgendwo mitten in einer überfüllten Szene versteckt ist.

Dies ist das Problem, das Perceive-to-Reason (P2R) zu lösen versucht.

Das Problem: Die „Nadel im Heuhaufen“

Aktuelle KI-Modelle (Vision-Language Models) sind gut darin, ein Bild anzusehen und eine allgemeine Antwort zu geben. Aber wenn die Frage erfordert, ein winziges Detail zu finden – wie etwa ein kleines Schild in einem hochauflösenden Foto zu lesen oder eine spezifische Farbe auf einem fernen Objekt zu entdecken – scheitern sie oft.

Stellen Sie sich das vor wie den Versuch, einen bestimmten Freund in einem Stadion mit 50.000 Menschen zu finden.

Alte KI-Methoden sind wie jemand, der einfach nur auf die gesamte Menge starrt und rät: „Ich glaube, sie sind dort drüben!“ oder hektisch in verschiedene Abschnitte hinein- und herauszoomt, ohne einen Plan zu haben. Sie übersehen oft die winzigen Details, weil sie versuchen, alles gleichzeitig zu machen.
Die Erkenntnis des Papers: Die Forscher erkannten, dass die KI nicht deshalb scheiterte, weil sie nicht denken (reason) konnte, sondern weil sie zuerst nicht richtig sehen (perceive) konnte. Sie versuchte, das mathematische Problem zu lösen, bevor sie überhaupt die Zahlen gefunden hatte.

Die Lösung: Der Detektiv und der Richter

Das Paper schlägt einen neuen Weg vor, eine KI namens Perceive-to-Reason zu trainieren. Anstatt die KI alles in einem einzigen großen Geistesblitz erledigen zu lassen, teilt es die Aufgabe in zwei klare Rollen auf, wie ein Team aus zwei Personen:

Der Perceiver (Der Detektiv):
- Aufgabe: Das riesige, hochauflösende Bild und die Frage betrachten. Die Antwort erst einmal ignorieren. Nur den spezifischen Ort finden, an dem der Hinweis versteckt ist.
- Aktion: Er zeichnet ein Kästchen um den relevanten Bereich (z. B. „Der rote Stuhl ist hier“) und schneidet dieses kleine Stück aus.
- Analogie: Dies ist wie ein Detektiv, der einen Tatort absucht, den einzelnen Schlammabdruck findet und ihn in einen Beweisbeutel legt.
Der Reasoner (Der Richter):
- Aufgabe: Nur den Beweisbeutel (das ausgeschnittene Bild) und das ursprüngliche Bild mit dem eingezeichneten Kästchen betrachten. Nun die Frage beantworten.
- Aktion: Er nutzt die klare, herangezoomte Ansicht, um die endgültige Entscheidung zu treffen.
- Analogie: Dies ist der Richter, der nur auf den Schlammabdruck schaut, um zu entscheiden, ob er zum Schuh des Verdächtigen passt. Er muss sich nicht mehr um den Rest der unordentlichen Tatortszene kümmern.

Das Geheimrezept: „PRA-GRPO“

Sie könnten fragen: „Wie bringt man einer KI das bei, wenn man ihr erst ganz am Ende nur sagt, ob sie ‚Richtig‘ oder ‚Falsch‘ gemacht hat?“ (Man gibt ihr nicht direkt vor, wo genau das Kästchen hin soll).

Die Autoren haben eine Trainingsmethode namens PRA-GRPO erfunden. Denken Sie an dies als eine spezialisierte Coaching-Übung für das KI-Team:

Die Übung: Die KI übt in abwechselnden Runden.
- Runde 1 (Fokus auf Wahrnehmung): Der „Detektiv“ versucht, die Stelle zu finden. Der „Richter“ ist eingefroren (lernt nicht). Wenn der Detektiv die richtige Stelle findet, kann der Richter die Antwort leicht richtig beantworten. Die KI erhält ein „Gut gemacht“-Signal für den Detektiv.
- Runde 2 (Fokus auf Schlussfolgerung): Der „Detektiv“ ist eingefroren (nutzt das, was er gerade gelernt hat). Der „Richter“ versucht, basierend auf dieser Stelle zu antworten. Wenn der Richter es richtig macht, erhält er ein „Gut gemacht“-Signal.
Das Ergebnis: Durch das Abwechseln lernt die KI, dass ein guter Detektiv dem Richter die Arbeit erleichtert und ein guter Richter dem Detektiv besseres Feedback gibt. Sie lernen, zusammenzuarbeiten, ohne dass ein Mensch die Kästchen für sie zeichnen muss.

Was ist passiert?

Die Forscher haben dies an Modellen unterschiedlicher Größen getestet (2 Milliarden, 4 Milliarden und 8 Milliarden „Gehirnzellen“).

Das Ergebnis: Die neue Methode (P2R) war signifikant besser darin, winzige Details zu finden und komplexe Fragen zu beantworten, als die ursprünglichen Modelle.
Der Beweis: In einem Test namens V-Star sprang das 4-Milliarden-Modell von einer richtigen Antwortquote von 81,7 % auf 93,2 %. Das ist eine massive Verbesserung, insbesondere bei Aufgaben, die hochauflösende Bilder betreffen, in denen Details klein sind.

Zusammenfassung

Einfach ausgedrückt besagt dieses Paper: „Versuche nicht, gleichzeitig zu denken und zu schauen. Finde zuerst das richtige Stück des Bildes. Dann denke darüber nach.“

Indem man den Akt des Findens des Hinweises vom Akt des Lösens des Rätsels trennt und die KI trainiert, sich bei diesen Fähigkeiten abzuwechseln, wird der Computer viel besser darin, die kleinen Dinge zu sehen, auf die es ankommt.

Technisches Resümee: Perceive-to-Reason (P2R)

Problemstellung

Feinkörnige visuelle Argumentation bleibt ein bedeutender Engpass für Vision-Language-Modelle (VLMs), insbesondere wenn kritische visuelle Hinweise subtil sind und in hochauflösenden Bildern verborgen liegen. Bestehende Ansätze verlassen sich typischerweise auf „Thinking with Images“ (das Verknüpfen von Regionsexploration mit Argumentation) oder „Visual Search“ (Testzeit-Suche nach Schlüsselregionen). Diese Methoden verstricken jedoch oft die Wahrnehmung (Lokalisierung von Evidenz) mit der Argumentation (Beantwortung der Frage) oder hängen von komplexen, schwer zu optimierenden externen Pipelines ab. Eine in der Arbeit vorgestellte diagnostische Studie zeigt, dass eine primäre Ursache des Scheiterns nicht ein Mangel an Argumentationsfähigkeit ist, sondern die Unfähigkeit, die relevante visuelle Evidenz zuerst korrekt zu lokalisieren. Darüber hinaus ist das Training entkoppelter Wahrnehmungs- und Argumentationsstufen unter der Standardüberwachung durch nur die Antwort schwierig, da es schwer ist, Fehler entweder dem Lokalisierungsschritt oder dem Argumentationsschritt zuzuschreiben.

Methodik

Die Autoren schlagen Perceive-to-Reason (P2R) vor, ein einheitliches Framework, das feinkörnige visuelle Argumentation explizit in zwei distinkte Phasen unterteilt: Wahrnehmung (Perception) und Argumentation (Reasoning).

1. Zweistufige Inferenz-Pipeline

P2R nutzt ein einziges zugrunde liegendes VLM mit geteilten Parametern, operiert jedoch in zwei aufeinanderfolgenden Rollen:

Perceiver-Stufe: Gegeben ein Bild $I$ und eine Frage $Q$ , agiert das Modell als Perceiver, um die fragenrelevante Evidenz explizit zu lokalisieren. Es gibt Bounding Boxes $B$ aus, die Schlüsselregionen repräsentieren. Diese Boxen werden verwendet, um ein annotiertes Bild (mit überlagerten Boxen) und ausgeschnittene Evidenzbilder zu generieren.
Reasoner-Stufe: Das Modell agiert dann als Reasoner, der die ursprüngliche Frage, das annotierte Bild und die ausgeschnittenen Regionen als Input erhält, um die endgültige Antwort zu generieren.

Diese Formulierung transformiert feinkörnige Argumentation in einen strukturierten Prozess, bei dem das Modell zuerst bestimmt, wo es suchen muss, und dann bestimmt, wie es basierend auf dieser Evidenz argumentiert.

2. Perception-Reasoning Alternating GRPO (PRA-GRPO)

Um dieses entkoppelte Framework unter Verwendung von ausschließlich Final-Answer-Supervision (ohne Ground-Truth-Bounding-Box-Annotationen) zu trainieren, führen die Autoren PRA-GRPO ein, eine rollenbewusste Reinforcement-Learning-Strategie basierend auf Group Relative Policy Optimization (GRPO).

Alternierende Optimierung: Der Trainingsprozess wechselt zwischen der Optimierung des Perceivers und des Reasoners ab. In der Perception-Phase wird der Perceiver aktualisiert, während der Reasoner eingefroren ist; die Belohnung (Reward) wird aus der Korrektheit der endgültigen Antwort abgeleitet, die der eingefrorene Reasoner generiert hat. Umgekehrt wird in der Reasoning-Phase der Reasoner aktualisiert, während der Perceiver eingefroren ist.
Attribuierbare Signale: Dieser Ansatz konvertiert die binäre Final-Answer-Belohnung in ein rollenspezifisches Lernsignal. Er ermöglicht es dem Modell, eine effektive Lokalisierung von Evidenz basierend auf nachgeschalteten Argumentationsergebnissen zu erlernen, wodurch das Problem der Kreditzuweisung (Credit Assignment) in einer entkoppelten Pipeline ohne die Notwendigkeit dichter Supervision gelöst wird.
Shared Parameters: Beide Rollen teilen dieselben Modellparameter $\theta$ , was es ermöglicht, die Fähigkeiten innerhalb einer einzigen Modellinstanz zu integrieren.

Kernbeiträge

P2R-Framework: Ein einheitliches Framework, das feinkörnige visuelle Argumentation als zweistufigen Perceive-to-Reason-Prozess formuliert und die Lokalisierung von Evidenz explizit von der Antwortgenerierung trennt.
PRA-GRPO: Eine neuartige Trainingsstrategie, die Reinforcement Learning mit der entkoppelten Formulierung in Einklang bringt. Sie ermöglicht das Erlernen von Wahrnehmungsfähigkeiten unter Verwendung von lediglich Final-Answer-Supervision und eliminiert so die Abhängigkeit von teuren Ground-Truth-Bounding-Box-Annotationen.
State-of-the-Art Performance: Die Methode zeigt konsistente Verbesserungen über verschiedene Modellskalen (2B, 4B, 8B) und Benchmarks hinweg und erzielt neue State-of-the-Art-Ergebnisse bei Aufgaben der hochauflösenden feinkörnigen visuellen Argumentation.

Experimentelle Ergebnisse

Die Autoren evaluierten P2R auf mehreren Benchmarks, darunter V-Star, HR-Bench-4K/8K und MME-RealWorld-Lite.

Hochauflösende Benchmarks: P2R übertrifft seine Basismodelle (Qwen3-VL-Instruct) sowie bestehende Visual-Search- oder „Thinking with Images“-Methoden konsistent.
- P2R-4B erreichte 93,2 % auf V-Star, 81,9 % auf HR-Bench-4K und 80,5 % auf HR-Bench-8K.
- Im Vergleich zum Qwen3-VL-Instruct-4B-Backbone zeigte P2R-4B Gewinne von +11,5 % auf V-Star, +8,1 % auf HR-Bench-4K und +13,5 % auf HR-Bench-8K.
Generalisierung: Die Vorteile von P2R erstrecken sich über hochauflösende Aufgaben hinaus. Auf dem MME-RealWorld-Lite Benchmark verbesserte P2R die Leistung bei diversen realen multimodalen Argumentationsaufgaben (OCR, Fernerkundung, Diagramme), was darauf hindeutet, dass die Perceive-to-Reason-Formulierung das breitere multimodale Verständnis unterstützt.
Ablationsstudien:
- Inferenz: Das Ersetzen von direktem Chain-of-Thought (CoT) durch die P2R-Inferenz-Pipeline verbesserte die Leistung selbst bei Basismodellen signifikant.
- Training: Die alternierenden Updates zwischen den Rollen (P $\to$ R) lieferten bessere Ergebnisse als das Training der Rollen isoliert oder in umgekehrter Reihenfolge, was die Bedeutung des entkoppelten Trainingsplans validiert.
- Parameter-Sharing: Experimente zeigten, dass das Training einer Rolle (z. B. Perceiver) und die Wiederverwendung dieser Gewichte für die andere Rolle (Reasoner) Vorteile bot, obwohl das vollständig alternierende PRA-GRPO-Training die besten Ergebnisse lieferte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die explizite Trennung von Wahrnehmung und Argumentation einen effektiven Rahmen für feinkörnige visuelle Argumentation bietet. Indem die Lokalisierung von Evidenz als expliziter Zwischenschritt anstelle eines impliziten Nebenprodukts der Antwortgenerierung behandelt wird, adressiert P2R den primären Engpass beim Auffinden der richtigen visuellen Evidenz.

Die Bedeutung von PRA-GRPO liegt in der Fähigkeit, diesen entkoppelten Prozess unter Verwendung von lediglich Final-Answer-Supervision zu trainieren. Dies entfernt die Abhängigkeit von aufwendigen, aufgabenspezifischen Bounding-Box-Annotationen und ermöglicht es dem Modell dennoch, präzise Lokalisierung zu erlernen. Die Autoren kommen zu dem Schluss, dass ihr Ansatz eine skalierbare und effektive Lösung für hochauflösende visuelle Argumentation bietet, die erhebliche Gewinne gegenüber bestehenden Baselines erzielt und zeigt, dass die Vorteile dieser Formulierung auf breitere multimodale Argumentationsszenarien übertragbar sind.

Vom Autor eingeräumte Einschränkungen:

Die zweistufige Pipeline führt im Vergleich zu direktem Prompting zu zusätzlicher Inferenz-Latenz.
Das vollständige Skalierungsverhalten von PRA-GRPO bei größeren Trainingsskalen wurde aufgrund von Rechenbeschränkungen nicht untersucht.
Die Abhängigkeit von Final-Answer-Supervision liefert ein spärliches Lernsignal.
Die Evaluierung konzentriert sich derzeit auf feinkörnige Argumentation und verwandte Benchmarks; die Generalisierung auf interaktive oder langfristige (long-horizon) Settings bleibt eine Aufgabe für die Zukunft.