🤖 AI

Perceptual Flow Network for Visually Grounded Reasoning

Um die durch suboptimale geometrische Überwachung verursachten Sprachverzerrungen und Halluzinationen in Large-Vision-Language-Modellen zu adressieren, schlägt die Arbeit das Perceptual Flow Network (PFlowNet) vor, ein neuartiges Framework, das Wahrnehmung von Schlussfolgerung entkoppelt und variationsbasiertes verstärkendes Lernen einsetzt, um auf Benchmarks für visuelles Schlussfolgern State-of-the-Art-Leistung zu erzielen.

Ursprüngliche Autoren: Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, Tianyi Chen, Qi Liu, Ziyuan Huang, Zhihang Zhong, Dandan Zheng, Yue Lu

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yangfu Li, Yuning Gong, Hongjian Zhan, Teng Li, Yuanhuiyi Lyu, Tianyi Chen, Qi Liu, Ziyuan Huang, Zhihang Zhong, Dandan Zheng, Yue Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „übermäßig selbstbewusste" Detektiv

Stellen Sie sich vor, Sie haben einen sehr klugen Detektiv (ein Large Vision-Language Model, oder LVLM), der hervorragend darin ist, Rätsel zu lösen. Dieser Detektiv hat jedoch eine schlechte Angewohnheit: Er halluziniert manchmal. Er könnte mit großer Zuversicht sagen: „Ich sehe eine rote Katze auf dem Tisch", obwohl dort tatsächlich nur ein roter Apfel liegt.

Um dies zu beheben, versuchten frühere Methoden, dem Detektiv ein striktes Regelbuch zu geben, das auf einem „Meisterdetektiv" (einer visuellen KI-Expertin) basiert. Das Regelbuch besagte: „Wenn Sie glauben, ein Objekt zu sehen, muss Ihre Zeichnung davon exakt mit der Zeichnung des Meisterdetektivs übereinstimmen."

Die Entdeckung des Papiers: Die Autoren stellten fest, dass diese Regel des „exakten Übereinstimmens" den Detektiv tatsächlich schlechter darin macht, komplexe Rätsel zu lösen.

Die Analogie: Stellen Sie sich vor, der Meisterdetektiv zeichnet einen winzigen, perfekten Kreis um ein bestimmtes Blatt, um zu beweisen, dass es ein Blatt ist. Wenn unser Detektiv gezwungen wird, nur diesen winzigen Kreis zu zeichnen, verpasst er den Kontext. Er sieht weder den Ast, noch den Himmel oder die anderen Blätter in der Nähe. Er bekommt „Tunnelblick". Er konzentriert sich so sehr darauf, geometrisch perfekt zu sein, dass er die Fähigkeit verliert, über das gesamte Bild zu reasoning.

Die Lösung: PFlowNet (Der „flexible Entdecker")

Die Autoren schlagen ein neues System namens PFlowNet vor. Anstatt den Detektiv zu zwingen, die exakten Linien des Meisterdetektivs zu kopieren, lehrt PFlowNet den Detektiv, das Bild auf strukturierte, flexible Weise zu erkunden, bevor er eine Antwort gibt.

Stellen Sie sich PFlowNet als einen zweistufigen Ermittlungsprozess vor:

Stufe 1: Der „Späher" (Perceptual Flow)

Bevor der Detektiv eine endgültige Antwort gibt, muss er zunächst einen „Späher" losschicken, um Beweise zu sammeln.

Der Planungsschritt: Der Späher denkt zuerst: „Okay, wonach suche ich? Ist es ein Auto? Eine Person?" (Dies ist der Planungszustand).
Der Erkundungsschritt: Der Späher macht dann eine Reihe von Schnappschüssen (durch Heranzoomen auf verschiedene Teile des Bildes) und schreibt eine kurze Notiz darüber, was er an jeder Stelle sieht.
- Beispiel: „Ich sehe hier eine weiße Vase. Daneben sehe ich eine kleine Skulptur."
Der entscheidende Unterschied: Im Gegensatz zur alten Methode wird der Späher nicht gezwungen, exakt dieselben Stellen zu finden, die der Meisterdetektiv gefunden hat. Er darf leicht andere Bereiche betrachten, wenn dies ihm hilft, die Geschichte besser zu verstehen. Er sucht nach nützlichen Beweisen, nicht nur nach perfekt präzisen Beweisen.

Stufe 2: Der „Richter" (Reasoning)

Sobald der Späher seine Notizen und Schnappschüsse gesammelt hat, liest der Hauptdetektiv sie und gibt die endgültige Antwort. Da der Detektiv nun eine klare, strukturierte Geschichte hat („Ich sah eine Vase, dann sah ich eine Skulptur daneben"), ist er viel weniger wahrscheinlich, Dinge zu erfinden.

Wie sie es trainiert haben: Das „Belohnungsspiel"

Um das Modell zu lehren, dies zu tun, verwendeten die Autoren ein spezielles Trainingsspiel mit drei cleveren Tricks:

Der „Gute vs. Schlechte" Beweis-Test:
Das Modell erhält Punkte, wenn es auf den richtigen Teil des Bildes zoomt, um seine Notiz zu schreiben, und verliert Punkte, wenn es über den Hintergrund schreibt. Es ist wie ein Spiel, bei dem Sie einen Bonus erhalten, wenn Sie auf die Schatztruhe schauen, und eine Strafe, wenn Sie auf den leeren Boden starren. Dies lehrt das Modell, sich auf das zu konzentrieren, was tatsächlich wichtig ist.
Die „Sicherheitszone"-Regel (Vicinal Geometric Shaping):
Dem Modell wird gesagt: „Sie können erkunden und nach neuen Dingen suchen, aber wandern Sie nicht zu weit von der Karte ab."
- Die Analogie: Stellen Sie sich einen Hund an der Leine vor. Die Leine ist nicht an einen einzigen, starren Pfosten gebunden (die exakte Box des Meisterdetektivs). Stattdessen erlaubt die Leine dem Hund, eine ganze Nachbarschaft zu umrunden (eine „Umgebung"). Der Hund kann verschiedene Wege erkunden, um den Ball zu finden, aber er kann nicht in die nächste Stadt rennen (was eine Halluzination wäre). Dies balanciert Kreativität mit Sicherheit aus.
Die „Selbstprüfung"-Schleife:
Das Modell wird trainiert, seine eigene Arbeit zu überprüfen. Wenn es auf eine Stelle zoomt und eine Beschreibung schreibt, fragt es sich: „Macht diese Beschreibung nur Sinn, wenn ich auf diesen spezifischen herangezoomten Bereich schaue?" Wenn die Antwort ja ist, erhält es eine Belohnung. Dies verhindert, dass das Modell generische, vage Beschreibungen schreibt, die auf alles Mögliche zutreffen könnten.

Die Ergebnisse: Warum es wichtig ist

Das Papier behauptet, dass diese neue Methode eine enorme Verbesserung darstellt:

Bessere Genauigkeit: Bei schwierigen Tests, bei denen das Modell kleine Details finden oder über räumliche Beziehungen reasoning muss (wie „Steht die Tasse links vom Buch?"), erzielte PFlowNet deutlich höhere Punktzahlen als frühere Top-Modelle.
Weniger Halluzinationen: Da das Modell gezwungen ist, „seine Arbeit zu zeigen", indem es auflistet, was es sieht, bevor es antwortet, hört es auf, Fakten zu erfinden.
Effizienz: Im Gegensatz zu anderen Methoden, die erfordern, dass das Modell komplexen Code ausführt oder externe Tools verwendet (was langsam und unhandlich ist), führt PFlowNet dieses „Denken" intern mit Text durch. Es ist wie ein Detektiv, der den Fall mit einem Notizblock in seinem Kopf löst, anstatt für jeden Hinweis ein ganzes Team von Spezialisten zu rufen.

Zusammenfassung

Kurz gesagt, verhindert PFlowNet, dass KI gezwungen wird, ein starrer Roboter zu sein, der exakte Zeichnungen kopiert. Stattdessen lehrt es die KI, ein nachdenklicher Entdecker zu sein, der Beweise sammelt, seine eigene Arbeit überprüft und dann das Rätsel löst. Es balanciert die Freiheit, sich umzusehen, mit der Disziplin, in der Realität verwurzelt zu bleiben, was zu einem klügeren, zuverlässigeren visuellen Detektiv führt.

Technische Zusammenfassung: Perceptual Flow Network für visuell fundiertes Schlussfolgern

Problemstellung

Large Vision-Language Models (LVLMs) haben bemerkenswerte Leistungen bei diversen visuellen Aufgaben erzielt, leiden jedoch weiterhin unter Halluzinationen und mangelnder Interpretierbarkeit, insbesondere in komplexen, feinabgestimmten Szenarien. Während neuere Ansätze versuchen, dies durch die Destillation geometrischer Priors von visuellen Experten (z. B. Objektdetektoren wie GroundingDINO) mittels Reinforcement Learning mit Verifiable Reward (RLVR) zu mildern, identifizieren die Autoren eine kritische Einschränkung: suboptimale Supervision.

Die Arbeit argumentiert, dass visuelle Experten auf strenge geometrische Präzision (Lokalisierung) optimiert sind, wohingegen LVLMs eine Schlussfolgerungsnützlichkeit benötigen. Eine starre Ausrichtung der LVLM-Schlussfolgerungstrajektorien an diese Experten-Priors induziert einen „Tunnelblick"-Effekt, der notwendige Kontexte ausschließt und die Schlussfolgerungsleistung verschlechtert. Vorläufige Studien zeigen, dass die geometrisch präzisesten Priors (Expertenannotationen) nicht unbedingt die hilfreichsten für das Schlussfolgern sind, und heuristische Transformationen zur Annäherung an „goldene" Evidenzen sind aufgrund instanzspezifischer Variabilität nicht handhabbar.

Methodik: Perceptual Flow Network (PFlowNet)

PFlowNet schlägt ein Framework vor, das Wahrnehmung vom Schlussfolgern entkoppelt, um interpretierbares, selbstkonditioniertes visuelles Schlussfolgern ohne starre Ausrichtung an statische geometrische Priors zu erreichen. Die Kerninnovation ist der Perceptual Flow, eine strukturierte latente Trajektorie, die visuelle Gedanken expliziert.

1. Formulierung des Perceptual Flow

Das Modell generiert eine strukturierte Trajektorie $Z = (z_0 \to z_1 \dots z_K)$ , bestehend aus:

Planungszustand ( $z_0$ ): Eine Sprachsequenz (eingeschlossen von <analyze> und </analyze>), die die Abfrage zerlegt und relevante visuelle Kandidaten identifiziert.
Wahrnehmungszustände ( $z_{\ge 1}$ ): Eine Kette von verankerten Beobachtungen (eingeschlossen von <localize> und </localize>), wobei jeder Zustand $z_k$ aus einem感兴趣bereich (RoI) $r_k$ und einer beschreibenden Bildunterschrift $c_k$ besteht.

2. Entkoppeltes Framework

PFlowNet trennt die Optimierung von Wahrnehmungsverhalten vom Schlussfolgerungsprozess. Es verwendet eine selbstparametrisierte Variationsverteilung $p_\theta(Z|X)$ , um die Posterior-Wahrscheinlichkeit idealisierter Wahrnehmungsverhalten zu approximieren. Die gemeinsame Verteilung wird faktorisiert als:
$p_\theta(Y, Z | X) = p_\theta(Z | X) p_\theta(Y | Z, \langle X, I_{RoI} \rangle)$
Dies ermöglicht dem Modell, einen Perceptual Flow $Z$ zu sampeln und anschließend eine selbstkonditionierte autoregressive Generierung für die endgültige Antwort $Y$ durchzuführen, wobei der Flow und die entsprechenden herangezoomten visuellen Merkmale als Kontext dienen.

3. Variational Reinforcement Fine-Tuning (RFT)

Um die Variationsverteilung zu optimieren, führt PFlowNet eine Variational RFT-Strategie ein, die auf einem hierarchischen Ziel basiert, das von Sub-Trajectory Balance (SubTB) abgeleitet ist. Dies bietet dichte intermediate Supervision, um diverse Wahrnehmungsverhalten zu erleichtern. Das Ziel wird durch eine multidimensionale Belohnungsfunktion und ein vicinales geometrisches Shaping-Schema verfeinert:

Multidimensionale Belohnung ( $R$ ): Kombiniert Qualität und Wirksamkeit.
- Qualität: Ein kontrastiver Term $p^+_\phi(z_i) / p^-_\phi(z_i)$ , der Bildunterschriften ermutigt, semantisch spezifisch für die herangezoomte Evidenz ( $I_{r_i}$ ) zu sein, anstatt für den umgebenden Kontext ( $I \setminus I_{r_i}$ ), wodurch effektiv privilegierte Informationen destilliert werden.
- Wirksamkeit: Misst den Informationsgewinn, den der Flow bei der Induktion der Zielantwort $Y$ liefert, durch Maximierung von $\log p_\phi(Y | Z, X)$ .
Vicinales Geometrisches Shaping: Um eine übermäßige Exploration in ungültige Bereiche zu verhindern, gleichzeitig aber die Verzerrung durch eine strikte Experten-Ausrichtung zu vermeiden, wird die Belohnung durch einen Energieterm $\omega_\lambda$ gewichtet. Dieser Term bestraft Trajektorien, die signifikant vom Experten-Prior $E$ (definiert durch eine Chamfer-IoU-Distanz $\varepsilon$ ) abweichen, erlaubt jedoch Exploration innerhalb einer „Umgebung" $B_\varepsilon(E)$ . Dies balanciert den Bedarf an schlussfolgerungsorientierter Exploration mit visueller Zuverlässigkeit.

4. Trainingspipeline

Datencuration: Eine Pipeline synthetisiert feinabgestimmte Trajektorien unter Verwendung von Lehrermodellen (z. B. GPT-4o, Gemini) auf Daten mit zufällig erweiterten RoIs, um induktive Verzerrungen zu mildern.
Cold Start: Supervised Fine-Tuning (SFT) initialisiert die Policy zur Generierung von Perceptual Flows.
RFT: Variational Reinforcement Fine-Tuning optimiert die Policy unter Verwendung des abgeleiteten Ziels und des Belohnungs-Shapings.

Hauptbeiträge

Perceptual Flow Network (PFlowNet): Ein neuartiges Framework, das Wahrnehmung und Schlussfolgern entkoppelt und eine strukturierte latente Trajektorie (Perceptual Flow) nutzt, um selbstkonditioniertes, interpretierbares visuelles Schlussfolgern zu ermöglichen.
Variational Reinforcement Fine-Tuning: Eine Trainingsstrategie, die eine multidimensionale Belohnung (Qualität + Wirksamkeit) mit vicinalem geometrischem Shaping integriert. Dieser Ansatz vermeidet die suboptimale Verzerrung einer starren Experten-Ausrichtung und gewährleistet gleichzeitig visuelle Zuverlässigkeit.
Theoretische Garantien: Die Arbeit liefert eine theoretische Analyse, die eine beweisbare Leistungsgarantie etabliert. Sie zeigt, dass die Total Variation (TV)-Distanzgrenze von PFlowNet zur Ziel-Posterior unter spezifischen Bedingungen strikt enger ist als bei standardmäßiger Maximum Likelihood Estimation (MLE) und expertengeführtem RLVR (Sätze 3.1 und 3.4).
Empirische Überlegenheit: Umfangreiche Experimente zeigen, dass PFlowNet neue State-of-the-Art (SOTA)-Rekorde auf mehreren Benchmarks setzt, insbesondere bei feinabgestimmten und schlussfolgerungsintensiven Aufgaben.

Experimentelle Ergebnisse

Auf 15 Benchmarks evaluiert, zeigt PFlowNet (initialisiert von Qwen3-VL-8B) signifikante Verbesserungen:

Allgemeine Leistung: Erzielt eine 10,4%ige Verbesserung auf TreeBench und 18,4% auf MME-RealWorld-Lite gegenüber dem Basismodell.
Feinabgestimmte Aufgaben: Setzt neue SOTA auf V Bench (90,6%)*, HR-Bench und ScreenSpot und übertrifft sowohl allgemeine LVLMs als auch spezialisierte verankerte Schlussfolgerungsmodelle (z. B. TreeVGR, DeepEyes).
Effizienz: Trotz des zweistufigen Prozesses erreicht PFlowNet ein überlegenes Leistungs-Effizienz-Gleichgewicht im Vergleich zu agentenbasierten Frameworks (die unter hoher Latenz leiden) und gekoppelten Wahrnehmungs-Schlussfolgerungs-Modellen.
Test-Time Scaling: Im Gegensatz zu starren RLVR-Methoden, die einen Mode Collapse zeigen (vernachlässigbare Gewinne bei erhöhtem Sampling-Budget), demonstriert PFlowNet robuste Test-Time-Skalierungsfähigkeiten aufgrund seiner diversen Rationale-Verteilung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PFlowNet die fundamentale Diskrepanz zwischen den Designprinzipien visueller Experten (geometrische Präzision) und LVLMs (Schlussfolgerungsnützlichkeit) adressiert. Durch die Ablehnung einer starren Ausrichtung zugunsten eines selbstkonditionierten Generierungsprozesses, der von einer schlussfolgerungsorientierten Belohnung und vicinalem geometrischem Shaping geleitet wird, erreicht PFlowNet:

Interpretierbarkeit: Der strukturierte Flow verankert das Schlussfolgern explizit an visueller Evidenz.
Zuverlässigkeit: Das vicinale Shaping stellt sicher, dass das Modell effektive Verhalten erkundet, ohne in ungültige Halluzinationen abzugleiten.
Skalierbarkeit: Das Framework erweist sich über verschiedene Modellgrößen (4B bis 32B) hinweg als effektiv und bietet eine beweisbare theoretische Verbesserung gegenüber bestehenden Baselines.

Die Autoren schließen, dass PFlowNet eine robuste Lösung für visuell fundiertes Schlussfolgern bietet, die den Bedarf an präziser visueller Verankerung mit der Flexibilität für komplexe Schlussfolgerungsaufgaben in Einklang bringt.