CodePercept: Code-Grounded Visual STEM Perception for MLLMs

Dit paper introduceert CodePercept, een aanpak die de visuele STEM-perceptie van multimodale taalmodellen verbetert door uitvoerbare code als grondslag te gebruiken voor het genereren van beschrijvingen en het reconstrueren van afbeeldingen, gebaseerd op de bevinding dat het schalen van perceptie effectiever is dan het schalen van redenering.

De kern

Stel je voor dat je een zeer slimme robot hebt die heel goed is in wiskunde en natuurkunde, maar die soms vastloopt als hij een plaatje moet bekijken. De onderzoekers van dit paper (CodePercept) hebben een groot mysterie opgelost: waarom die robots vastlopen.

Het antwoord is verrassend simpel: het ligt niet aan hun "rekenen" (hun brein), maar aan hun "kijken" (hun ogen).

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Grote Geheim: Kijken vs. Rekenen

Stel je voor dat je een ingewikkeld legpuzzel hebt.

• De oude aanpak: Mensen dachten dat de robot niet goed kon rekenen. Dus ze probeerden de robot slimmer te maken door meer rekenregels te geven.
• De ontdekking van CodePercept: De onderzoekers deden een experiment. Ze hielden het rekenen constant en maakten alleen het "kijken" beter. Het resultaat? De robot werd veel slimmer!
• De conclusie: Het probleem was niet dat de robot niet kon rekenen, maar dat hij de plaatjes niet goed genoeg zag. Het was alsof je iemand probeert te laten rekenen met een bril die wazig is. Als je de bril (het zien) verbetert, kan hij ineens heel goed rekenen.

2. De Oplossing: Kijk door de "Code-bril"

Hoe maak je die bril dan scherp? De onderzoekers zeggen: "Gebruik code als je taal om te beschrijven wat je ziet."

• Het probleem met gewone taal: Als je een robot vraagt: "Beschrijf deze wiskundige figuur," zegt hij misschien: "Er is een lijn die schuin loopt." Maar dat is vaag. Hoe schuin? Hoe lang? Waar begint hij? Dit leidt tot "hallucinaties" (de robot verzint dingen).
• De code-oplossing: In plaats van een verhaal te vertellen, laten ze de robot Python-code schrijven om het plaatje opnieuw te tekenen.
  • Vergelijking: Stel je voor dat je iemand vraagt een cake te maken.
    • Taal: "Maak een ronde cake met wat suiker erop." (De robot maakt misschien een vierkante koek met zout).
    • Code: "Neem een kom van 20cm, voeg 200g suiker toe, bak op 180 graden." (De robot maakt exact dezelfde cake).

Code is niet vaag. Het is een exacte recept. Als de robot de code kan schrijven, betekent dit dat hij het plaatje echt perfect heeft begrepen.

3. De Drie Stappen van het Plan

De onderzoekers hebben een plan gemaakt om deze robots te trainen:

1. De Grote Bibliotheek (ICC-1M): Ze hebben een enorme verzameling van 1 miljoen plaatjes gemaakt. Bij elk plaatje hebben ze niet alleen een beschrijving, maar ook de exacte code die het plaatje maakt. Het is alsof ze een enorme bibliotheek hebben gebouwd waar bij elk boek ook het exacte recept staat om het te maken.
2. Twee Oefeningen:
   • Oefening A: De robot moet een plaatje bekijken en een perfect recept (code) schrijven om het na te maken.
   • Oefening B: De robot moet een plaatje bekijken en een tekst beschrijving geven, maar dan gebaseerd op de code, zodat hij niets verzint.
3. De Test (STEM2Code-Eval): Om te zien of het werkt, geven ze de robot een plaatje en vragen: "Teken dit na met code." Als de robot het plaatje perfect kan nabouwen, weten ze: "Hij ziet het echt!"

4. Waarom is dit belangrijk?

Vroeger dachten we dat we AI's slimmer moesten maken door ze meer wiskunde te leren. Dit paper zegt: "Nee, leer ze eerst goed kijken!"

Door te leren om plaatjes te vertalen naar exacte code, worden de robots veel beter in het begrijpen van complexe wetenschappelijke plaatjes. Het is alsof je een kunstenaar niet leert hoe je moet schilderen, maar leert hoe je de verf exact moet mengen en waar je de penseelstreken moet zetten. Zodra dat lukt, wordt het schilderij (en het antwoord op de vraag) perfect.

Kortom: De onderzoekers hebben ontdekt dat AI's in STEM (Wiskunde, Techniek, etc.) vastlopen omdat ze slecht kijken. Hun oplossing? Leer de AI's om plaatjes te "ontlezen" als een computerprogramma. Dan zien ze alles scherp en kunnen ze de moeilijkste vragen oplossen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CodePercept: Code-Grounded Visual STEM Perception for MLLMs", vertaald en samengevat in het Nederlands.

1. Het Probleem: Perceptie als de Bottleneck in STEM

Multimodale Grootte Taalmodellen (MLLMs) presteren vaak onvoldoende bij wetenschappelijke, technologische, ingenieurs- en wiskundige (STEM) visuele redenering. De auteurs stellen de fundamentele vraag: is dit te wijten aan beperkingen in het redeneren of aan tekortkomingen in de perceptie?

Door een systematische schalingsanalyse (waarbij perceptie en redenering onafhankelijk van elkaar worden geschaald) concluderen de auteurs dat perceptie de echte bottleneck is. Het vergroten van de perceptiecapaciteit levert consistent betere prestaties op dan het vergroten van de redeneringscapaciteit.

Bestaande oplossingen, zoals kennisdistillatie via beschrijvende teksten (captions) gegenereerd door andere AI-modellen, falen om twee redenen:

1. Hallucinaties: Bestaande modellen genereren vaak feitelijk onjuiste beschrijvingen, vooral wat betreft ruimtelijke posities, kwantitatieve relaties en interacties.
2. Beschrijvende Afasie: Veel STEM-afbeeldingen bevatten complexe ruimtelijke relaties en precieze numerieke waarden die niet volledig of accuraat kunnen worden vastgelegd in natuurlijke taal.

Bovendien ontbreekt er een directe manier om visuele perceptie in STEM-domeinen te evalueren; huidige benchmarks meten vaak alleen de oplossingsnauwkeurigheid van een probleem, wat niet noodzakelijk betekent dat het model de afbeelding volledig heeft begrepen.

2. Methodologie: Code als Perceptie-Medium

De kern van de voorgestelde oplossing is het gebruik van uitvoerbare code (Python/Matplotlib) als een grondwaarheid (ground truth) voor visuele perceptie. Code biedt semantische precisie en een gestructureerde weergave die perfect aansluit bij de aard van STEM-visualisaties.

De methodologie omvat drie hoofdblokken:

A. Constructie van ICC-1M (Dataset)

De auteurs hebben een groot dataset van 1 miljoen Image-Caption-Code triplets gebouwd (ICC-1M). Deze dataset wordt gegenereerd via drie complementaire pijplijnen:

1. Image Reproduction: Bestaande STEM-afbeeldingen worden omgezet in uitvoerbare Python-code.
2. Image Diversity: Uitgaande van de onderliggende wetenschappelijke principes van een seed-afbeelding, worden nieuwe, diverse varianten gegenereerd die conceptueel geldig blijven maar visueel nieuw zijn.
3. Solid Geometry Synthesis: Een speciaal ontwikkelde pijplijn die gebruikmaakt van parametrische templates om complexe 3D-geometrie (zoals kubusnetten en doorsneden) te genereren, een domein waar MLLMs traditioneel zwak in zijn.

B. Code-Grounded Training Taken

Om de perceptie te verbeteren, worden twee nieuwe trainingstaken geïntroduceerd:

1. Code-Grounded Caption Generation: In plaats van direct van beeld naar tekst te gaan, wordt de uitvoerbare code gebruikt als grondwaarheid om de tekstuele beschrijving (caption) te verfijnen. De code fungeert als een "controlelijst" om hallucinaties in getallen en posities te elimineren.
2. STEM Image-to-Code Translation: Modellen worden getraind om direct uitvoerbare reconstructiecode te genereren op basis van een afbeelding. Dit verwijdert de ambiguïteit van natuurlijke taal en dwingt het model om precieze visuele details te begrijpen.

C. Trainingsstrategie

Het model (gebaseerd op de Qwen3-VL architectuur) wordt getraind in twee fasen:

1. Supervised Finetuning (SFT): Het model leert zowel captions te genereren als code te schrijven, waarbij beide modaliteiten elkaar versterken.
2. Reinforcement Learning (RL): Er wordt gebruikgemaakt van GRPO (Group Relative Policy Optimization) om de code-generatie te optimaliseren. De beloningssignalen zijn deterministisch:
   • Format Reward: Code is correct ingekapseld.
   • Execution Reward: Code draait zonder fouten.
   • Content Reward: Visuele gelijkenis tussen de gegenereerde afbeelding en het origineel.

3. Evaluatie: STEM2Code-Eval Benchmark

Om de perceptiecapaciteit direct te meten, introduceren de auteurs STEM2Code-Eval. Dit is een benchmark van 1.000 handmatig gecontroleerde afbeeldingen.

• Taal: In plaats van een meerkeuzevraag te beantwoorden, moet het model uitvoerbare Python-code genereren die de originele afbeelding exact reproduceert.
• Voordeel: Dit biedt een deterministische en verifieerbare evaluatie. Als de code de afbeelding niet correct kan reproduceren, is de perceptie onvolledig.

4. Resultaten

De experimenten tonen aanzienlijke verbeteringen aan:

• Perceptie via Redenering: Wanneer CodePercept-modellen worden gebruikt als "captioners" voor een losstaand redeneringsmodel, verbeteren de prestaties op zes standaard STEM-benchmarks (zoals MathVista en MathVision) significant. Een CodePercept-8B model presteert beter dan veel veel grotere modellen (zoals Qwen2.5-VL-72B).
• Directe Code-Generatie: Op de nieuwe STEM2Code-Eval benchmark overtreft CodePercept bestaande SOTA-modellen (inclusief Gemini 2.5 Pro en GPT-5 Thinking) in termen van beeldkwaliteit, codekwaliteit en uitvoeringssucces.
  • Bijvoorbeeld: CodePercept-32B-R1 bereikt een gemiddelde score van 75.80, terwijl de beste concurrenten rond de 60-70 scoren.
• Ablatie-studies: De studies bevestigen dat de combinatie van diverse data (Image Diversity) en de code-grounded aanpak (in plaats van alleen native captions) cruciaal is voor de verbeterde prestaties.

5. Belangrijkste Bijdragen

1. Identificatie van de Bottleneck: Het aantonen dat perceptie, niet redenering, de primaire beperking is voor MLLMs in STEM-domeinen.
2. Nieuwe Paradigma: Het introduceren van uitvoerbare code als een grondwaarheid voor visuele perceptie, wat hallucinaties elimineert en precisie garandeert.
3. ICC-1M Dataset: Een schaalbaar dataset van 1 miljoen triplets (Afbeelding-Caption-Code) voor training.
4. STEM2Code-Eval: Een nieuwe, strikte benchmark die perceptie evalueert via reconstructie via code in plaats van via probleemoplossing.

6. Significatie

Dit werk markeert een verschuiving in hoe multimodale modellen voor STEM worden benaderd. In plaats van te focussen op steeds complexere redeneringsarchitecturen, toont het aan dat het verbeteren van de visuele perceptie via een gestructureerde, uitvoerbare medium (code) de meest effectieve weg is. Dit biedt een nieuwe route voor het trainen van modellen die niet alleen "zien" wat er op een afbeelding staat, maar de onderliggende wiskundige en ruimtelijke logica exact kunnen reconstrueren. De aanpak is ook veelbelovend voor andere domeinen waar precisie en reproduceerbaarheid cruciaal zijn.