CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

CogFlow ist ein neuartiges, vom menschlichen Denken inspiriertes Drei-Stufen-Framework, das durch eine Wissensinternalisierung und spezielle Belohnungsmechanismen die Lücke zwischen visueller Wahrnehmung und logischem Schlussfolgern schließt, um die Leistung von multimodalen Sprachmodellen bei der Lösung visueller mathematischer Probleme signifikant zu verbessern.

Das Wesentliche

Stell dir vor, du versuchst, eine komplexe geometrische Aufgabe zu lösen, bei der du ein Bild (z. B. einen Kreis mit Linien und Winkeln) betrachten und dann mathematisch ableiten musst, was das Ergebnis ist.

Die meisten aktuellen KI-Modelle sind wie sehr schnelle, aber etwas chaotische Schüler. Sie schauen auf das Bild, rufen sofort eine Antwort heraus und versuchen, eine Erklärung zu erfinden. Oft passiert dabei aber Folgendes: Sie sehen das Bild nicht genau genug, oder sie vergessen, was sie gerade gesehen haben, und erfinden dann eine Logik, die zwar im Kopf gut klingt, aber mit dem Bild nichts zu tun hat. Das nennt man im Papier "Reasoning Drift" (Abdrift des Denkens).

Die Forscher von COGFLOW haben eine neue Methode entwickelt, die wie ein guter Lehrer funktioniert, der einem Schüler beibringt, nicht nur zu raten, sondern wirklich zu verstehen.

Hier ist die Erklärung der Methode in drei einfachen Schritten, verglichen mit dem menschlichen Lernen:

1. Der Schritt "Wahrnehmen" (Perception) – Das scharfe Auge

Stell dir vor, ein Schüler schaut auf ein geometrisches Bild. Ein normales KI-Modell sieht vielleicht nur "da ist ein Kreis". COGFLOW zwingt das Modell jedoch, wie ein Architekt mit einem Maßband zu arbeiten.

• Die Metapher: Bevor es überhaupt überlegt, misst das Modell jeden Punkt, jede Linie und jeden Winkel genau aus. Es wandelt das Bild in eine präzise Liste von Koordinaten um (z. B. "Punkt A ist bei x=10, y=20").
• Der Trick: Das Modell bekommt eine Belohnung (einen "Stern"), wenn diese Messungen exakt mit dem Bild übereinstimmen. Es lernt also, das Bild nicht nur zu "gucken", sondern es präzise zu "lesen".

2. Der Schritt "Verinnerlichen" (Internalization) – Das Notizbuch

Das ist der wichtigste und neueste Teil von COGFLOW. Viele Modelle springen direkt vom Sehen zum Raten. COGFLOW fügt eine Pausenphase ein.

• Die Metapher: Stell dir vor, der Schüler hat das Bild genau gemessen. Bevor er die Formel anwendet, schreibt er sich in ein Notizbuch auf: "Ich habe gesehen, dass AB ein Durchmesser ist. Das bedeutet, der Winkel hier muss 90 Grad sein."
• Das Problem, das gelöst wird: Ohne dieses Notizbuch vergessen KIs oft, was sie gesehen haben, und fangen an zu halluzinieren (z. B. "Oh, da ist ein Dreieck, also muss ich den Satz des Pythagoras nehmen", obwohl das Bild gar kein Dreieck zeigt).
• Die Lösung: COGFLOW hat einen speziellen "Korrektor" (den Knowledge Internalization Reward), der prüft: "Hast du wirklich das, was du im Bild gesehen hast, in deine Logik übernommen?" Wenn das Modell etwas Erfindet, das nicht im Bild steht, gibt es keine Punkte. So wird sichergestellt, dass die Logik fest auf dem Bild steht.

3. Der Schritt "Schlussfolgern" (Reasoning) – Der logische Bau

Jetzt, wo das Modell das Bild genau gemessen hat und seine Erkenntnisse im "Notizbuch" stehen, darf es endlich die eigentliche Rechnung machen.

• Die Metapher: Das Modell ist jetzt wie ein Baumeister, der erst die genauen Pläne (die Messungen) und die Materialliste (die Notizen) hat, bevor er das Haus baut.
• Der Sicherheitsmechanismus: Es gibt eine "Sichtklappe" (Visual Gate). Wenn das Modell beim Messen (Schritt 1) einen schlechten Job macht, wird dieser Versuch verworfen und das Modell muss es noch einmal versuchen, bevor es zur Logik übergeht. So wird verhindert, dass auf einem schlechten Fundament gebaut wird.

Warum ist das so besonders?

Bisherige Methoden waren wie ein Zaubertrick: Sie versuchten, das Bild und die Logik gleichzeitig zu machen, was oft zu Fehlern führte. COGFLOW trennt die Aufgaben auf:

1. Sehen (sehr genau messen).
2. Verstehen (die Messungen in logische Fakten umwandeln).
3. Rechnen (die Logik anwenden).

Das Team hat auch eine riesige Übungssammlung (MATHCOG) erstellt, in der genau diese drei Schritte für über 120.000 Aufgaben trainiert wurden.

Das Ergebnis:
Das Modell COGFLOW ist nicht nur besser im Rechnen, sondern macht viel weniger "Sinneseindrücke-Fehler". Es ist wie ein Schüler, der wirklich lernt, die Welt zu beobachten, bevor er urteilt. In Tests schlägt es sogar viele riesige, teure KI-Modelle, obwohl es selbst relativ klein ist.

Zusammengefasst: COGFLOW lehrt die KI, nicht nur zu "raten", sondern erst genau hinzusehen, dann die Fakten zu notieren und erst dann zu denken. So wird die KI zu einem verlässlichen Partner bei mathematischen Rätseln.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) zeigen zwar Fortschritte, scheitern jedoch weiterhin häufig an visuellen mathematischen Problemen (z. B. Geometrieaufgaben). Zwei Hauptprobleme wurden identifiziert:

• Perzeptuelle Engpässe: Die Extraktion und Interpretation visueller Eingaben (Symbole, Diagramme) ist oft ungenau.
• Reasoning Drift (Abweichung im Schlussfolgern): Selbst wenn visuelle Informationen korrekt extrahiert werden, ignorieren bestehende Modelle diese oft in den nachfolgenden Schlussfolgerungsschritten. Sie generieren logisch kohärent wirkende, aber visuell nicht fundierte Argumentationsketten.
• Fehlende Integration: Bisherige Ansätze trennen Wahrnehmung und Schlussfolgern entweder unstrukturiert (One-Step) oder entkoppeln sie zu stark, ohne sicherzustellen, dass die extrahierten visuellen Hinweise („Visual Cues") treu in den Denkprozess integriert werden.

2. Methodik: COGFLOW

COGFLOW ist ein neuartiges, kognitiv inspiriertes Drei-Stufen-Framework, das den hierarchischen menschlichen Denkprozess nachahmt: Wahrnehmung (Perception) ⇒ Internalisierung (Internalization) ⇒ Schlussfolgern (Reasoning). Das Framework nutzt ein Reinforcement-Learning (RL)-Setup mit spezifischen Belohnungsmechanismen.

Der Trainingsprozess besteht aus zwei Phasen:

1. Supervised Fine-Tuning (SFT): Auf dem Datensatz MATHCOG-SFT, um dem Modell grundlegende Wahrnehmungs- und Schlussfolgerungsfähigkeiten zu verleihen.
2. Reinforcement Learning (RL): Optimierung mittels des Visual-Gated Policy Optimization (VGPO) Algorithmus auf dem Datensatz MATHCOG-RL.

Kernkomponenten:

A. Synergistic Visual Rewards (SynVRs) – Für verbesserte Wahrnehmung
Um die Wahrnehmung in parametrischem und semantischem Raum zu stärken, werden zwei komplementäre Belohnungen kombiniert:

• Visual Parameterized Reward (VPR): Wandelt strukturierte visuelle Informationen (Punkte, Linien, Kreise) in parametrische Ausdrücke um (z. B. Kreisgleichungen). Die Genauigkeit wird durch den euklidischen Abstand im Parameterraum (unter Verwendung des Hungarian Algorithmus für das Matching) gemessen. Dies gewährleistet lokale geometrische Treue.
• Visual Semantic Reward (VSR): Rendert die vorhergesagte Antwort als Bild und vergleicht sie mit dem Ground-Truth-Bild mittels eines eingefrorenen FG-CLIP-Encoders. Dies misst die kosinussimilitud im semantischen Raum und erfasst globale Layout- und Stil-Konsistenz.
• Synergie: Die Kombination beider Rewards sorgt für sowohl präzise geometrische Details als auch konsistente visuelle Kohärenz.

B. Knowledge Internalization Reward (IntlzR) – Zur Vermeidung von Drift
Dies ist die zentrale Innovation, die die Lücke zwischen Wahrnehmung und Schlussfolgern schließt.

• Ziel: Sicherstellen, dass extrahierte visuelle Hinweise treu in eine strukturierte, für das Schlussfolgern vorbereitete Wissensrepräsentation („knowledge-internalized representations") umgewandelt werden.
• Fehlerkategorien: Das Modell wird trainiert, fünf spezifische Fehlerarten zu vermeiden: (1) Auslassen/Falsch-Verknüpfen von Primitiven, (2) Erfinden nicht existierender Fakten, (3) Unangemessene Anwendung externer Theoreme, (4) Widersprechen geometrischer Constraints, (5) Inkonsistente Referenzierung von Elementen.
• Training: Ein Reward-Modell wird mit Softmax-DPO trainiert, das positive Trajektorien (korrekte Internalisierung) gegen fünf negative Trajektorien (mit injizierten Fehlern) abwägt. Dies zwingt das Modell, eine verlässliche Basis für die nächste Stufe zu schaffen.

C. Visual-Gated Policy Optimization (VGPO) – Für stabiles Schlussfolgern
Um sicherzustellen, dass das Schlussfolgern auf korrekter Wahrnehmung basiert, wird ein „Visueller Tor" (Visual Gate) eingeführt.

• Mechanismus: Bevor eine Schlussfolgerungstrajektorie generiert wird, werden mehrere Wahrnehmungstrajektorien generiert. Der visuelle Tor bewertet jede davon mit den SynVRs. Nur Trajektorien, die einen Schwellenwert überschreiten, werden zur Generierung der Antwort zugelassen.
• Regeneration: Falls keine Trajektorie den Schwellenwert erreicht, wird die Wahrnehmung regeneriert.
• Optimierung: VGPO kombiniert diesen Gate-Mechanismus mit einer gruppenbasierten Optimierung (ähnlich GRPO), die die Belohnungen aus SynVRs, IntlzR und einer Inference Reward (für die Richtigkeit der Antwort) integriert. Dies stabilisiert das Training über lange Schlussfolgerungsketten.

3. Datensatz: MATHCOG

Die Autoren stellen einen neuen Datensatz MATHCOG vor, der über 120.000 hochwertige Proben enthält.

• Struktur: Der Datensatz entkoppelt explizit die Wahrnehmung (), die Internalisierung/Überlegung () und die Antwort ().
• Subsets:
  • MATHCOG-SFT: Für das initiale Fine-Tuning.
  • MATHCOG-IntlzR: Enthält positive und negative Paare (mit den oben genannten 5 Fehlerarten) zum Training des IntlzR-Modells.
  • MATHCOG-RL: Für die RL-Optimierung.

4. Ergebnisse

Die Experimente wurden auf gängigen Benchmarks durchgeführt (FlowVerse, MathVerse, MathVista, WeMath, LogicVista, DynaMath).

• Überlegenheit: COGFLOW (basierend auf einem 7B-Modell, Qwen2.5-VL) übertrifft konsistent alle Open-Source-MLLMs und erreicht Ergebnisse, die mit oder sogar besser sind als bei deutlich größeren Closed-Source-Modellen (z. B. GPT-4o, Gemini-2.5-Pro, GPT-5).
• Konkrete Zahlen:
  • FlowVerse: 66,0 % Genauigkeit (vs. 50,7 % bei VLM-R1-7B).
  • MathVerse: 53,9 % Genauigkeit.
  • MathVista: 76,8 % Genauigkeit (SOTA unter den getesteten Modellen).
• Fehleranalyse: COGFLOW reduziert signifikant alle drei Fehlerkategorien: Wahrnehmungsfehler, Internalisierungsfehler und Schlussfolgerungsfehler. Besonders die Reduktion des „Reasoning Drift" durch die Internalisierung ist hervorzuheben.
• Ablationsstudien: Jede Komponente (SynVRs, IntlzR, VGPO) trägt positiv bei. VGPO allein bringt die größten Einzelgewinne, da es die Stabilität des Trainings durch den visuellen Gate-Mechanismus sicherstellt.

5. Bedeutung und Beitrag

• Paradigmenwechsel: COGFLOW adressiert erstmals systematisch das Problem, ob extrahierte visuelle Hinweise treu im Schlussfolgern genutzt werden, und nicht nur, ob sie extrahiert werden.
• Kognitive Inspiration: Die explizite Modellierung der „Internalisierung" als eigenständige Stufe zwischen Wahrnehmung und Denken ist ein wichtiger Schritt hin zu menschenähnlicherem visuellen Reasoning.
• Robustheit: Durch die Verankerung des Schlussfolgerns in der visuellen Genauigkeit (via VGPO) werden Halluzinationen und logische Brüche, die auf falschen visuellen Annahmen basieren, effektiv unterdrückt.
• Ressourcen: Die Veröffentlichung des MATHCOG-Datensatzes und des Codes ermöglicht der Community, die Trennung von Wahrnehmung und Schlussfolgern weiter zu erforschen.

Zusammenfassend stellt COGFLOW einen bedeutenden Fortschritt dar, indem es multimodale Modelle nicht nur besser „sehen" lässt, sondern ihnen auch beibringt, das Gesehene strukturiert zu internalisieren und als feste Basis für logische Schlussfolgerungen zu nutzen.