CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

CogFlow is een cognitief geïnspireerd framework dat multimodale modellen verbetert voor het oplossen van visuele wiskundige problemen door een drie-trapsproces van perceptie, kennisinternalisatie en redenering te implementeren, ondersteund door nieuwe beloningssystemen en een dataset van 120.000 voorbeelden.

De kern

Stel je voor dat je een wiskundig raadsel probeert op te lossen dat in een tekening staat. Je moet eerst goed kijken naar de lijnen, cirkels en hoeken (het zien), dan begrijpen wat die dingen betekenen voor het probleem (het begrijpen), en pas daarna de berekening maken (het rekenen).

Volgens dit nieuwe onderzoek, genaamd COGFLOW, maken de slimste computers van vandaag (AI-modellen) vaak een grote fout: ze springen te snel van "kijken" naar "rekenen", zonder eerst echt te begrijpen wat ze zien. Ze proberen een antwoord te raden dat logisch klinkt, maar dat eigenlijk niet klopt met de tekening.

Hier is hoe COGFLOW dit oplost, vertaald naar een simpel verhaal:

1. Het Probleem: De "Snelle Schat"

Stel je voor dat je een schatkaart hebt met een X die een schat aangeeft.

• Huidige AI's kijken naar de kaart, zien een X, en rennen direct naar die plek om te graven. Maar soms hebben ze de X verkeerd gezien (misschien was het een steen?) of vergeten ze dat er een rivier tussen zit. Ze graven op de verkeerde plek omdat ze niet eerst goed hebben nagedacht over wat ze zagen.
• Dit noemen de auteurs "Reasoning Drift" (redenering afdrijven). Het antwoord klinkt misschien slim, maar het heeft niets te maken met de werkelijkheid op de tekening.

2. De Oplossing: COGFLOW (De Slimme Ontdekkingsreiziger)

COGFLOW is een nieuwe manier om AI te trainen, gebaseerd op hoe mensen denken. In plaats van direct te springen, maakt het een tussenstap. Het proces bestaat uit drie stappen, net als het maken van een perfecte baktaart:

Stap 1: De Oogjes (Perceptie)

Eerst moet de AI heel precies kijken.

• De Analogie: Stel je voor dat je een schilderij bekijkt. Een gewone kijker zegt: "Daar is een boom." COGFLOW zegt: "Daar is een boom op positie X, met een stam van 5 cm breed en takken die naar links wijzen."
• Hoe doen ze het? Ze gebruiken een speciale beloningssysteem (een soort "gouden sterretjes") die de AI belooft als hij de lijnen en vormen in de tekening exact beschrijft, inclusief de maten. Als hij een lijn verkeerd meet, krijgt hij geen sterretje.

Stap 2: De Vertaalboodschapper (Internalisatie)

Dit is het geheim van COGFLOW. Voordat de AI gaat rekenen, moet hij de "ruwe" gegevens omzetten in een duidelijk verhaal.

• De Analogie: Stel je hebt een doos met losse Lego-blokjes (de lijnen en cirkels uit de tekening). De huidige AI's proberen direct een kasteel te bouwen. COGFLOW doet eerst iets anders: het sorteert de blokjes, bouwt een stevige basis en zegt: "Oké, deze twee blokjes vormen een rechte hoek, en deze cirkel is een wiel."
• Waarom? Hiermee voorkomt de AI dat hij hallucineert. Hij zorgt ervoor dat wat hij gaat rekenen, 100% klopt met wat hij heeft gezien. Het is alsof je een recept schrijft voordat je begint met koken, zodat je zeker weet dat je de juiste ingrediënten hebt.

Stap 3: De Chef-kok (Redenering)

Pas nu, als de basis perfect is, begint de AI met het daadwerkelijke rekenen.

• De Analogie: Omdat de chef-kok (de AI) nu zeker weet dat hij de juiste ingrediënten heeft (de Lego-blokjes), kan hij een perfect gerecht maken.
• De Visuele Poort: Als de AI tijdens het koken merkt dat hij een verkeerd ingrediënt heeft gepakt (een fout in de eerste stap), stopt hij direct. Hij gooit het gerecht weg en begint opnieuw met het zoeken naar het juiste ingrediënt, in plaats van het gerecht te proeven en te hopen dat het wel smaakt.

3. Het Nieuwe Trainingsboek (MATHCOG)

Om dit te leren, hebben de onderzoekers een nieuw trainingsboek gemaakt, genaamd MATHCOG.

• In plaats van alleen vragen en antwoorden, bevat dit boek voorbeelden waarin de AI eerst moet uitleggen wat hij ziet, dan wat dat betekent, en pas daarna het antwoord geeft.
• Ze hebben ook een "truc" bedacht: ze laten de AI oefenen met fouten. Ze zeggen: "Kijk, hier heb je een fout gemaakt door een lijn verkeerd te interpreteren. Probeer het nu goed." Hierdoor leert de AI om fouten te herkennen en te corrigeren.

Conclusie

Kortom, COGFLOW is als het geven van een bril aan een AI die wiskundige raadsels oplost.

• Vroeger: De AI keek snel, dacht snel en gaf vaak een antwoord dat klonk als een goed idee, maar fout was.
• Nu: De AI kijkt heel precies, schrijft een notitie over wat hij ziet, controleert of die notitie klopt, en dan pas gaat hij rekenen.

Dit zorgt ervoor dat de AI niet alleen sneller is, maar vooral betrouwbaarder. Hij maakt minder fouten en zijn redenering is logisch, net als bij een mens die echt goed naar een tekening kijkt voordat hij iets zegt.

Technische samenvatting

Probleemstelling

Multimodale grote taalmodellen (MLLM's) maken aanzienlijke vooruitgang, maar worstelen nog steeds met visuele wiskundige probleemoplossing (bijv. meetkundige diagrammen). Bestaande methoden vallen vaak in twee categorieën:

1. Eén-staps redenering: Visuele perceptie en redenering worden ongestructureerd door elkaar gehaald, wat leidt tot zowel perceptie- als redeneerfouten.
2. Ontkoppelde pijplijnen: Perceptie en redenering worden gescheiden. Hoewel dit de perceptie verbetert, leidt het vaak tot redeneerdrift (reasoning drift). Hierbij negeert het redeneerproces de eerder geëxtraheerde visuele aanwijzingen, wat resulteert in logische stappen die coherent lijken maar visueel ongegrond zijn.

De kern van het probleem is dat bestaande werken zich richten op het extraheren van visuele informatie, maar negeren of deze informatie trouw (faithfully) wordt geïntegreerd en gebruikt in de daaropvolgende redeneerstappen.

Methodologie: COGFLOW

COGFLOW is een cognitief geïnspireerd, drie-staps framework dat de hiërarchische stroom van menselijk redeneren nabootst: Perceptie ⇒ Internalisatie ⇒ Redenering. Het framework gebruikt een versterkingsleer (Reinforcement Learning - RL) aanpak om alle drie de fasen holistisch te verbeteren.

Het proces bestaat uit twee fasen:

1. Supervised Fine-Tuning (SFT): Het model wordt getraind op de MATHCOG-SFT dataset om basisvaardigheden te verwerven.
2. Reinforcement Learning (RL): Het model wordt geoptimaliseerd via Visual-Gated Policy Optimization (VGPO) op de MATHCOG-RL dataset.

De kerncomponenten van COGFLOW zijn:

1. Synergistic Visual Rewards (SynVRs) voor Perceptie

Om betrouwbare perceptie te garanderen, combineert COGFLOW twee beloningen die de kwaliteit van de visuele extractie meten:

• Visual Parameterized Reward (VPR): Meet geometrische precisie in de parametrische ruimte. Het converteert geëxtraheerde elementen (punten, lijnen, cirkels) naar wiskundige vergelijkingen en berekent de Euclidische afstand tot de ground truth (met behulp van het Hongaarse algoritme voor matching).
• Visual Semantic Reward (VSR): Meet globale lay-out en stijlconsistentie in de semantische ruimte. Het maakt een rendering van de tekstuele perceptie-output en vergelijkt deze met de ground-truth afbeelding via een FG-CLIP encoder (cosine-afstand).
• Synergie: Deze beloningen zorgen ervoor dat het model zowel lokaal geometrisch accuraat als globaal consistent is.

2. Knowledge Internalization Reward (IntlzR) voor Internalisatie

Dit is een cruciale innovatie die de kloof tussen perceptie en redenering overbrugt. Het doel is om het model te dwingen de geëxtraheerde visuele feiten om te zetten in gestructureerde, redeneerklare kennis voordat het redeneert.

• Het model wordt getraind om redeneerdrift te detecteren en te voorkomen.
• Er worden vijf typen negatieve trajecten gegenereerd (bijv. het weglaten van elementen, het invoegen van niet-bestaande feiten, het in strijd brengen met geometrische constraints).
• Een Softmax-DPO (Direct Preference Optimization) strategie wordt gebruikt om het model te belonen voor trajecten die trouw zijn aan de geïnternaliseerde visuele representatie, waardoor hallucinaties worden verminderd.

3. Visual-Gated Policy Optimization (VGPO) voor Redenering

VGPO zorgt voor stabiele multi-stap redenering door perceptie en redenering expliciet te koppelen.

• Visuele Poort (Visual Gate): Voordat een redeneertraject wordt gegenereerd, worden meerdere perceptie-candidaten gegenereerd. De visuele poort scoort deze op basis van de SynVRs. Alleen de perceptie met de hoogste score (boven een drempelwaarde) wordt doorgegeven aan het redeneerproces.
• Als een perceptie van lage kwaliteit wordt gefilterd, genereert het model een nieuwe perceptie.
• Dit mechanisme voorkomt dat het model redeneert op basis van foutieve visuele input en stabiliseert het leerproces.

Belangrijkste Bijdragen

1. COGFLOW Framework: Het eerste framework dat expliciet een "kennis-internalisatie" fase introduceert om de kloof tussen visuele perceptie en logisch redeneren te dichten, gebaseerd op cognitieve wetenschap.
2. Nieuwe Dataset (MATHCOG): Een dataset met meer dan 120.000 hoogwaardige voorbeelden die perceptie en redenering ontkoppeld annoteren. Deze bevat specifieke subsets voor SFT, RL en het trainen van de IntlzR-beloning (met positieve en negatieve trajecten).
3. Nieuwe Beloningsmechanismen: De introductie van SynVRs (combinatie van parametrische en semantische beloningen) en IntlzR (voor het detecteren van drift).
4. VGPO Algorithm: Een nieuwe optimalisatiestrategie die een visuele poort gebruikt om alleen hoogwaardige perceptie-input toe te laten tot het redeneerproces.

Resultaten

COGFLOW is uitgebreid geëvalueerd op meerdere benchmarks (FlowVerse, MathVerse, MathVista, WeMath, LogicVista, DynaMath).

• Prestaties: COGFLOW (7B parameters) overtreft consistent state-of-the-art open-source MLLM's (zoals InternVL, MultiMath, VLM-R1) met grote marges.
• Vergelijking met gesloten modellen: Het presteert op niveau met of zelfs beter dan veel grotere gesloten modellen (zoals GPT-4o, GPT-5, Gemini-2.5-pro), ondanks een veel kleiner formaat.
• Ablatie Studies:
  • Het toevoegen van SynVRs verhoogt de perceptie-accuraatheid aanzienlijk.
  • IntlzR vermindert specifiek "Knowledge Internalization Errors" en redeneerdrift.
  • VGPO zorgt voor de grootste verbetering in de stabiliteit van lange redeneerketens.
• Foutanalyse: COGFLOW reduceert alle fouttypen (perceptie, internalisatie, redenering) en maximaliseert het percentage correcte antwoorden.

Significantie

Dit paper adresseert een fundamenteel probleem in multimodaal redeneren: de onbetrouwbaarheid van visuele input in complexe redeneertaken. Door een expliciete "internalisatie" fase in te bouwen en perceptie en redenering via een gesloten lus (VGPO) te koppelen, toont COGFLOW aan dat het mogelijk is om modellen te trainen die niet alleen zien, maar ook begrijpen en trouw redeneren op basis van wat ze zien. Dit biedt een nieuwe richting voor de ontwikkeling van robuuste AI-systemen voor wetenschappelijke en wiskundige toepassingen, waarbij interpretatie en betrouwbaarheid centraal staan.