CodePercept: Code-Grounded Visual STEM Perception for MLLMs

Die Arbeit „CodePercept" identifiziert die Wahrnehmungsfähigkeit als den entscheidenden Engpass für MLLMs im visuellen STEM-Reasoning und schlägt einen Paradigmenwechsel vor, bei dem ausführbarer Code als präzises Wahrnehmungsmedium dient, was durch die Einführung des 1-Millionen-Einträge-Datensatzes ICC-1M und des Evaluierungsbenchmarks STEM2Code-Eval untermauert wird.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung „CodePercept", als würde man sie einem Freund beim Kaffee erzählen – ganz ohne Fachchinesisch.

Das große Rätsel: Warum scheitern KI-Modelle an Mathe-Bildern?

Stell dir vor, du hast einen sehr schlauen Roboter (eine KI), der super gut reden und rechnen kann. Aber wenn du ihm ein Bild zeigst, auf dem eine komplexe geometrische Figur oder ein physikalisches Experiment zu sehen ist, und ihn bittest, die Aufgabe zu lösen, stolpert er oft.

Die Forscher stellten sich die Frage: Ist der Roboter dumm beim Rechnen (Reasoning), oder sieht er die Dinge einfach nicht richtig (Perception)?

Um das herauszufinden, führten sie ein Experiment durch, das wie ein Muskel-Training funktioniert:

• Sie machten den „Rechen-Muskel" des Roboters riesig, ließen aber den „Seh-Muskel" klein. -> Ergebnis: Der Roboter wurde nicht viel besser.
• Sie machten den „Seh-Muskel" riesig, ließen aber den „Rechen-Muskel" klein. -> Ergebnis: Plötzlich wurde der Roboter extrem gut!

Die Erkenntnis: Das Problem ist nicht, dass die KI nicht rechnen kann. Das Problem ist, dass sie die Bilder nicht wirklich versteht. Sie sieht nur eine Ansammlung von Pixeln, aber nicht die genauen Abstände, die exakten Zahlen oder die räumliche Struktur.

Die Lösung: Code als „Brille" für die KI

Wie kann man einem Roboter helfen, Bilder besser zu verstehen? Die Forscher hatten eine geniale Idee: Lass die KI den Code schreiben, mit dem das Bild gezeichnet wurde.

Stell dir vor, du beschreibst ein Bild mit Worten: „Da ist ein roter Kreis links." Das ist ungenau. Ist er groß? Ist er genau in der Mitte?
Wenn du aber Code schreibst (z. B. in Python), musst du präzise sein: draw_circle(x=10, y=20, radius=5, color='red').

• Die Analogie: Wenn die KI den Code schreiben muss, um das Bild zu zeichnen, kann sie nicht lügen. Sie muss die genauen Koordinaten kennen. Wenn sie den Code ausführt und das Bild sieht, das dabei herauskommt, weiß sie sofort: „Oh, mein Code war falsch, der Kreis war nicht da."
• Der Vorteil: Code ist wie ein Baukasten mit genauen Bauplänen. Er lässt keine Raum für Missverständnisse oder „Halluzinationen" (das Erfinden von Dingen, die nicht da sind), wie es bei reinen Textbeschreibungen oft passiert.

Was haben die Forscher konkret gemacht?

Sie haben drei Dinge geschaffen, um diesen „Code-Brillen"-Ansatz zu trainieren:

1. Der riesige Trainings-Schatz (ICC-1M):
   Sie haben eine Datenbank mit 1 Million Bildern erstellt. Zu jedem Bild gibt es nicht nur eine Beschreibung, sondern auch den exakten Code, der das Bild erzeugt hat.

   • Wie ein Kochbuch: Statt nur zu sagen „Mach einen leckeren Kuchen", haben sie das genaue Rezept (Code) mitgeliefert, damit die KI genau weiß, wie viel Mehl und Zucker rein muss.

2. Zwei neue Lern-Methoden:

   • Bild zu Code: Die KI lernt, ein Bild zu sehen und den passenden Bauplan (Code) zu schreiben.
   • Code zu Bild-Beschreibung: Die KI nutzt den Code, um eine perfekte Textbeschreibung zu schreiben. Da der Code die Wahrheit sagt, ist die Beschreibung auch wahrhaftig.

3. Der neue Test (STEM2Code-Eval):
   Früher testete man KIs, indem man sie Matheaufgaben lösen ließ. Wenn sie falsch lagen, wusste man nicht, ob sie das Bild nicht verstanden oder den Rechenweg nicht kannten.
   Der neue Test ist wie ein Zeichentest: Die KI bekommt ein Bild und muss den Code schreiben, der genau dieses Bild nachzeichnet.

   • Das Ergebnis: Entweder der Code funktioniert und das Bild sieht genau so aus (Bestanden!), oder es klappt nicht (Durchgefallen). Es gibt keine Ausreden mehr.

Das Ergebnis

Nachdem sie die KI mit dieser „Code-Methode" trainiert hatten, geschah Magie:

• Die KI wurde plötzlich viel besser darin, Bilder zu verstehen.
• Sie konnte komplexe geometrische Formen, Diagramme und wissenschaftliche Zeichnungen viel genauer beschreiben.
• Und das Beste: Auch ihre Fähigkeit, die eigentlichen Mathe-Aufgaben zu lösen, verbesserte sich drastisch, weil sie nun die Bilder wirklich sah und nicht nur errat.

Zusammenfassung in einem Satz

Die Forscher haben herausgefunden, dass KI-Modelle bei Wissenschaftsaufgaben oft scheitern, weil sie Bilder nicht genau genug „sehen". Indem sie die KI gezwungen haben, Programmiercode zu schreiben, um diese Bilder nachzubauen, haben sie ihr eine Art „Super-Brille" aufgesetzt, die sie präziser, genauer und schlauer macht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „CodePercept: Code-Grounded Visual STEM Perception for MLLMs" auf Deutsch:

1. Problemstellung

Multimodale Large Language Models (MLLMs) scheitern häufig bei visuellen Aufgaben in den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik (STEM). Die zentrale Frage ist: Liegt dies an mangelnden Wahrnehmungsfähigkeiten (Perception) oder an Einschränkungen im Schlussfolgern (Reasoning)?

Bisherige Ansätze konzentrierten sich stark auf die Verbesserung des Reasoning durch Reinforcement Learning oder Cold-Start-Daten. Das Paper identifiziert jedoch durch eine systematische Skalierungsanalyse, dass die visuelle Wahrnehmung der eigentliche Flaschenhals ist.

• Das Problem der Halluzination: Herkömmliche Methoden zur Verbesserung der Wahrnehmung nutzen oft Knowledge Distillation von starken Modellen (z. B. GPT-4), um Bildbeschreibungen zu generieren. Diese sind jedoch anfällig für Halluzinationen, insbesondere bei räumlichen Beziehungen, quantitativen Werten und komplexen geometrischen Strukturen.
• Die „Deskriptive Aphasie": Natürliche Sprache ist oft zu ungenau, um präzise STEM-Visualisierungen (z. B. Hilfslinien in komplexer Polyeder-Geometrie) vollständig zu beschreiben.
• Fehlende Evaluierung: Bestehende Benchmarks bewerten Wahrnehmung indirekt über die Lösungsrate von Aufgaben. Dies misst nur das Verständnis der aufgabenrelevanten Informationen, nicht aber eine umfassende visuelle Komprehension.

2. Methodik: CodePercept

Die Autoren schlagen einen Paradigmenwechsel vor: Code als Wahrnehmungsmedium. Die Grundthese ist, dass die Generierung von ausführbarem Python-Code zur Bildrekonstruktion die strengste Validierung visueller Wahrnehmung darstellt. Ein Modell kann ein Bild nur dann exakt reproduzieren, wenn es dessen visuelle Fakten vollständig verstanden hat.

Die Methodik gliedert sich in drei Hauptkomponenten:

A. Datensatzkonstruktion: ICC-1M

Es wurde ein großer Datensatz mit über 1 Million Image-Caption-Code-Triplets erstellt. Die Datengenerierung erfolgt über drei parallele Pipelines:

1. Image Reproduction: Konvertierung bestehender STEM-Bilder in ausführbaren Python-Code (basierend auf matplotlib).
2. Image Diversity: Extraktion wissenschaftlicher Prinzipien aus Seed-Bildern und Generierung diverser, neuer visueller Instanzen unter Beibehaltung der semantischen Gültigkeit.
3. Solid Geometry Synthesis: Nutzung parametrisierter Code-Templates zur Generierung komplexer 3D-Geometrie-Bilder, um die Schwäche aktueller Modelle bei räumlichen Beziehungen zu adressieren.

B. Zwei Code-Grounded Trainingstasks

Um die Wahrnehmung zu schärfen, werden zwei Aufgaben definiert:

1. Code-Grounded Caption Generation: Anstatt das Bild direkt zu beschreiben, wird der Code als „Ground Truth" genutzt. Ein Modell generiert zunächst einen Roh-Text, analysiert dann den Code (und dessen Ausführungs-Logs), um visuelle Fakten (Anzahlen, Koordinaten, Farben) zu extrahieren, und verfeinert den Text daraufhin. Dies eliminiert Halluzinationen in Zahlen und Geometrie.
2. STEM Image-to-Code Translation: Das Modell lernt, direkt aus dem Bild ausführbaren Code zu generieren. Um die Lernkurve zu verbessern, wird der Code mit erklärenden Kommentaren angereichert, die die Abbildung von visuellen Merkmalen auf Code-Strukturen erläutern.

C. Trainingsstrategie

Das Training erfolgt in zwei Stufen auf Basis der Qwen3-VL-Architektur:

1. Supervised Fine-Tuning (S1): Gemeinsames Optimieren von Bildbeschriftung und Bild-zu-Code-Übersetzung unter Verwendung der ICC-1M-Triplets.
2. Reinforcement Learning (R1): Anwendung von GRPO (Group Relative Policy Optimization) speziell auf die Code-Generierung. Die Belohnungsfunktion (Reward) basiert auf:
   • Format-Konformität (korrekter Code-Block).
   • Ausführbarkeit (der Code läuft ohne Fehler).
   • Inhaltlicher Übereinstimmung (semantische Äquivalenz zum Ground-Truth-Code und visuelle Ähnlichkeit des gerenderten Bildes).

3. Benchmark: STEM2Code-Eval

Um die Wahrnehmung direkt und deterministisch zu messen, wurde STEM2Code-Eval entwickelt.

• Aufgabe: Das Modell muss für ein gegebenes STEM-Bild ausführbaren Python-Code generieren, der das Originalbild exakt reproduziert.
• Metriken:
  1. Image Score: Visuelle Ähnlichkeit zwischen Original und gerendertem Bild (bewertet durch Gemini 2.5 Pro).
  2. Code Score: Qualität und Korrektheit des generierten Codes (bewertet durch GPT-4o).
  3. Exec Rate: Erfolgsrate der Code-Ausführung.
• Unterschied zu bestehenden Benchmarks: Im Gegensatz zu Aufgaben, die nur die Lösung eines Problems prüfen, erfordert dieser Benchmark ein umfassendes visuelles Verständnis, da jedes Detail im Code korrekt sein muss, um das Bild zu erzeugen.

4. Ergebnisse

Die Experimente zeigen konsistente und signifikante Verbesserungen:

• Skalierungsanalyse: Die Skalierung der Wahrnehmungskapazität führt zu größeren Leistungssteigerungen als die Skalierung der Reasoning-Kapazität.
• Problem-Lösung (Captioner-Solver): Modelle, die mit CodePercept trainiert wurden, generieren präzisere Bildbeschreibungen. Wenn diese Beschreibungen von einem separaten Reasoner genutzt werden, steigt die Lösungsrate in STEM-Benchmarks (MathVision, MathVista, etc.) signifikant an. CodePercept-8B übertrifft beispielsweise Qwen2.5-VL-72B um 6,2 %.
• Direkte Bildreproduktion (STEM2Code-Eval):
  • CodePercept-Modelle übertreffen alle Baseline-Modelle (einschließlich großer Modelle wie Qwen3-VL-32B und Seed1.6-Vision) in der Bildrekonstruktion.
  • CodePercept-32B-R1 erreicht einen Durchschnittswert von 75,80 (Image + Code Score), während das beste Baseline-Modell (Gemini 2.5 Pro) bei ca. 78,67 liegt, aber CodePercept-32B-R1 in der Exec Rate (95,9 %) deutlich besser abschneidet.
  • Die Reinforcement-Learning-Phase (R1) verbessert die Ausführbarkeit und Rekonstruktionsgenauigkeit drastisch.

5. Bedeutung und Fazit

Das Paper liefert einen fundamentalen Einblick in die Grenzen aktueller MLLMs: Perception ist der limitierende Faktor für STEM-Reasoning, nicht das Reasoning selbst.

• Neues Paradigma: Die Arbeit etabliert ausführbaren Code als verifizierbare „Ground Truth" für visuelle Wahrnehmung. Dies umgeht die Unschärfe natürlicher Sprache und die Halluzinationsprobleme von reinen Vision-Language-Modellen.
• Ressourcen: Die Veröffentlichung von ICC-1M (Datensatz) und STEM2Code-Eval (Benchmark) bietet der Community neue Werkzeuge zur Entwicklung und Evaluierung von visuellen Wahrnehmungsfähigkeiten.
• Effizienz: Die Ergebnisse zeigen, dass durch gezieltes Training der Wahrnehmung mittels Code (Code-Grounded Learning) auch kleinere Modelle (4B/8B) die Leistung von deutlich größeren Modellen übertreffen können.

Zusammenfassend beweist CodePercept, dass die Integration von Code als strukturiertes, ausführbares Medium ein entscheidender Hebel ist, um Multimodalität in anspruchsvollen wissenschaftlichen Domänen voranzubringen.