💬 NLP

GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving

Dieser Beitrag stellt GeoMathCode vor, ein Framework, das die Lösung geometrischer Probleme durch die Verwendung programmierbaren Codes als intermediäre visuelle Ausgaben verbessert und zeigt, dass überwachtes Fine-Tuning das Schlussfolgern von der Codegenerierung entkoppelt, während hierarchische syntaktische Strukturen reichhaltigere mathematische Informationen erfassen als visuelle Darstellungen.

Ursprüngliche Autoren: Yingji Zhang, Yong Dai, André Freitas

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yingji Zhang, Yong Dai, André Freitas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein kniffliges geometrisches Rätsel zu lösen, etwa herauszufinden, wie zwei gekrümmte Linien auf einem Graphen interagieren. Normalerweise „denkt" ein Computer, wenn er dies versucht, entweder in Worten oder versucht, ein Bild Pixel für Pixel zu zeichnen. Doch diese Arbeit stellt eine neue Denkweise für Computer vor: GeoMathCode.

Hier ist die Aufschlüsselung dessen, was die Forscher mit einfachen Analogien getan haben:

1. Das Problem: Zeichnen mit Pixeln versus Schreiben von Anweisungen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, einen perfekten Kreis zu zeichnen.

Der alte Weg (pixelbasiert): Sie sagen dem Roboter: „Färbe diesen spezifischen Punkt rot, dann diesen, dann diesen..." Es ist, als würde man versuchen, ein Meisterwerk zu malen, indem man jemandem genau sagt, welchen Pinselstrich er jede einzelne Sekunde machen soll. Es ist unübersichtlich, schwer auf Fehler zu überprüfen, und wenn der Roboter einen winzigen Fehler macht, sieht das gesamte Bild falsch aus.
Der neue Weg (GeoMathCode): Anstatt Punkte zu malen, geben Sie dem Roboter eine Reihe von Anweisungen (Code). Sie sagen: „Zeichnen Sie einen Kreis mit einem Radius von 5." Der Roboter schreibt ein kurzes Programm, um dies zu tun. Dies ist wie das Geben eines Rezepts anstelle eines Gemäldes. Es ist präzise, leicht zu überprüfen (lief der Code?), und wenn ein Fehler vorliegt, können Sie genau sehen, wo das Rezept schiefgelaufen ist.

Die Forscher bauten eine riesige Bibliothek mathematischer Probleme, bei denen die „Lösung" nicht nur eine endgültige Antwort ist, sondern eine Mischung aus Worten (die Logik erklären) und Code (die Anweisungen zum Zeichnen der Form).

2. Die große Entdeckung: Zwei verschiedene „Gehirnräume"

Der interessanteste Teil der Arbeit ist das, was sie im „Gehirn" des Computers (seinem internen Speicherbereich) fanden, während er diese Probleme löste.

Sie entdeckten, dass der Computer zwei separate „Räume" zum Denken hat:

Raum A (Der Logikraum): Hier ermittelt der Computer die mathematischen Regeln (z. B. „Da die Kurve nach unten geöffnet ist, steigen die Werte an, wenn wir uns nach links bewegen").
Raum B (Der Zeichenraum): Hier schreibt der Computer den Code, um die Linien tatsächlich zu zeichnen.

Die Analogie: Stellen Sie sich einen Koch vor, der ein komplexes Gericht zubereitet.

In Raum A denkt der Koch: „Ich muss zuerst die Zwiebeln anbraten, dann die Gewürze hinzufügen." (Die Begründung).
In Raum B schneidet der Koch physisch das Gemüse und schaltet den Herd ein (Der Code).

Die Arbeit ergab, dass diese beiden Aktivitäten in völlig verschiedenen Teilen des Computerhirns stattfinden. Sie vermischen sich nicht. Der Computer nutzt den „Zeichen"-Teil nicht, um über die Mathematik zu „denken"; er nutzt den „Denk"-Teil, um zu entscheiden, was gezeichnet werden soll, und schaltet dann auf den „Zeichen"-Teil um, um den Plan auszuführen.

3. Der „Trainings"-Effekt: Das Chaos ordnen

Die Forscher testeten auch, was passiert, wenn sie den Computer mit ihrer neuen Bibliothek von Problemen „trainieren" (ein Prozess, der als Supervised Fine-Tuning oder SFT bezeichnet wird).

Vor dem Training: Das „Denken" des Computers war etwas chaotisch. Es war wie eine Bibliothek, in der Bücher in einem Haufen auf den Boden geworfen wurden. Es hatte viele Informationen, aber es war unordentlich und schwer zu navigieren.
Nach dem Training: Das „Denken" des Computers wurde zu einer gut organisierten Bibliothek. Die Bücher (Ideen) waren noch da, aber jetzt waren sie in ordentlichen Reihen sortiert. Der Computer wurde nicht nur „klüger", indem er mehr Bücher hinzufügte; er wurde klüger, indem er die Bücher, die er bereits hatte, organisierte. Dies machte seine Denkwege klarer und strukturierter.

4. Code ist bei „Mathematischen Symbolen" besser als Bilder

Schließlich verglichen sie das Verständnis des Computers für mathematische Symbole (wie $\sqrt{}$ für Quadratwurzel oder $\pi$ für Pi), wenn er Code verwendete, im Vergleich dazu, wenn er Bilder verwendete.

Die Erkenntnis: Der Computer verstand die Bedeutung der mathematischen Symbole viel besser, wenn er Code schrieb, als wenn er nur ein Bild betrachtete oder generierte.
Die Analogie: Es ist wie der Unterschied zwischen dem Lesen eines Musikscores (Code) und dem Hören einer Aufnahme (Bild). Der Score sagt Ihnen genau, was die Noten sind und wie sie zueinander in Beziehung stehen. Die Aufnahme klingt nur schön. Der Computer fand heraus, dass der „Score" (Code) den Schlüssel zur mathematischen Logik viel besser enthielt als die „Aufnahme" (visuelles Bild).

Zusammenfassung

Kurz gesagt, sagt diese Arbeit:

Hören Sie auf, Computer Bilder Pixel für Pixel zeichnen zu lassen, um Mathematik zu lösen; lassen Sie sie stattdessen Code schreiben. Es ist sauberer und leichter zu überprüfen.
Computer trennen „Denken" von „Zeichnen". Sie verwenden verschiedene mentale Räume für Logik und für die Generierung von Code.
Training organisiert das Gehirn. Ein Computer mit dieser Methode zu unterrichten fügt nicht nur Fakten hinzu; es ordnet seinen Denkprozess in eine saubere, effiziente Struktur an.
Code ist der bessere Übersetzer. Wenn es darum geht, komplexe mathematische Symbole zu verstehen, ist das Schreiben von Code ein leistungsfähigeres Werkzeug für den Computer als das Betrachten von Bildern.

Technische Zusammenfassung: GeoMathCode

Problemstellung

Mathematisches Schlussfolgern in multimodalen Large Language Models (MLLMs) stützt sich häufig auf die Generierung mehrstufiger Lösungen für Geometrieaufgaben. Während neuere Ansätze wie MathCanvas versuchen, menschliches Schlussfolgern nachzuahmen, indem sie zusätzliche visuelle Konstruktionen einbeziehen (z. B. das Zeichnen von Linien oder Punkten), verlassen sie sich typischerweise auf pixelbasierte Bildgenerierung. Die Autoren identifizieren zwei primäre Einschränkungen dieses Paradigmas:

Ausrichtung und Verifizierung: Die feingranulare cross-modale Generierung (Text zu pixelbasierten Bildern) ist inhärent schwer auszurichten und zu verifizieren, was das Potenzial für Fehlerfortpflanzung erhöht.
Systemkomplexität: Pixelbasierte Ansätze erfordern oft zusätzliche, vision-spezifische Generatoren, was die Systemarchitektur verkompliziert.

Die Arbeit geht davon aus, dass zwar programmatische Darstellungen (Code) präzise und verifizierbar sind, unklar bleibt, ob ein verflochtenes mathematisch-code-basiertes Schlussfolgern die latente Geometrie des multimodalen Schlussfolgerns grundlegend neu formt oder lediglich als auxiliary output dient. Insbesondere suchen die Autoren zu verstehen, wie sich Schlussfolgerungstrajektorien über die Schichten hinweg entwickeln und ob symbolische Codedarstellungen geometrische Konzepte anders erfassen als visuelle.

Methodik

1. Datensatzkonstruktion: GeoMathCode

Die Autoren stellen GeoMathCode vor, einen öffentlichen multimodalen Datensatz, der für verflochtenes mathematisch-code-basiertes Schlussfolgern konzipiert ist. Der Konstruktionsprozess umfasst:

Quelle: Nutzung von MathCanvas als primäre Ressource, die acht mathematische Domänen abdeckt (Algebra, Analytische Geometrie, Analysis usw.).
Generierung: Einsatz von Gemini 3-Flash zur Generierung verflochtener Lösungen, die textbasiertes Schlussfolgern, ausführbaren Python-Code und entsprechende Visualisierungen enthalten.
Verifizierung: Eine mehrstufige automatisierte Verifizierungspipeline stellt die Qualität sicher:
- Regelbasierte Engine (GPT-5.1): Extrahiert Schlüsselschritte des Schlussfolgerns („pick-points") und mathematische Regeln.
- Prüfer (Gemini 3-Pro): Validiert die Richtigkeit der endgültigen Antwort, die Logik des textbasierten Schlussfolgerns und die Codeausführung.
- Sandbox: Filtert Stichproben mit fehlerhafter Codeausführung heraus und löst eine iterative Neugenerierung aus.
Skala: Der finale Datensatz umfasst 10.000 Trainings- und 1.000 Teststichproben, ausgewogen mit einem Verhältnis von 1:1 zwischen Fragen mit und ohne Diagramme.

2. Rahmenwerk der empirischen Analyse

Die Studie bewertet repräsentative MLLMs (Qwen3/3.5, LLaVA-Next, InternVL3.5) unter Verwendung sowohl von Full-Parameter Supervised Fine-Tuning (SFT) als auch von LoRA. Die Analyse konzentriert sich auf zwei Perspektiven:

Leistung nach dem Training: Bewertung von Metriken einschließlich Antwortgenauigkeit (Ans Acc), Richtigkeit des textbasierten Schlussfolgerns, Codegenauigkeit, mathematischer Korrektheit des Codes und Text-Code-Konsistenz.
Analyse der latenten Geometrie: Untersuchung des internen Repräsentationsraums der Modelle durch:
- Trajektorienanalyse: Messung der euklidischen Abstände zwischen Schlussfolgernsschritten und Codeschritten über die Transformer-Schichten hinweg.
- Manifold-Regularisierung: Quantifizierung der Informationskapazität und geometrischen Komplexität mittels Effektivem Rang (ERank) und Intrinsischer Dimensionalität (ID).
- Struktur des Code-Raums: Analyse der latenten Repräsentation der Codesyntax (Kontrollfluss, Funktionsaufrufe, Datenfluss) unter Verwendung von KNN und linearem SVM zur Bewertung lokaler Clusterbildung und globaler linearer Trennbarkeit.
- Symbolisches Probing: Vergleich der Fähigkeit von Code-Embeddings gegenüber visuellen Embeddings, feingranulare mathematische Symbole (z. B. $\sqrt{}$ , $\triangle$ , $\angle$ ) zu erfassen.

Wichtige Ergebnisse

1. Leistung und Entwirrung

SFT verbessert die Leistung: Supervised Fine-Tuning verbessert die Leistung bei allen Modellen signifikant. Qwen3.5-9B-SFT erzielt die besten Gesamtergebnisse (durchschnittliche Punktzahl 0,73) und übertrifft Baselines und LoRA-Varianten.
Entwirrung von Schlussfolgern und Code: PCA-Visualisierungen und Trajektorienanalysen zeigen, dass Schlussfolgernsschritte und Codegenerierungsschritte entwirrte latente Teilräume bilden.
- Das Modell stützt sich für die Vorhersage der endgültigen Antwort primär auf textbasierte Schlussfolgerungstrajektorien.
- Die mittlere Codegenerierung fungiert als eine auxiliary ausführbare Darstellung und nicht als eine aktive Schlussfolgerungsmodalität, die die endgültige Antwort direkt steuert.
- Dies deutet auf eine funktionale Trennung zwischen mathematischem Schlussfolgern und programmatischer Ausführung im latenten Raum hin.

2. Manifold-Regularisierung durch SFT

Strukturiertes Schlussfolgern: SFT erhöht den Effektiven Rang (ERank) von Schlussfolgerungsdarstellungen (was auf eine reichere Informationsvielfalt hindeutet), während gleichzeitig die Intrinsische Dimensionalität (ID) reduziert wird (was auf eine geringere lokale geometrische Komplexität hindeutet).
Interpretation: Dies legt nahe, dass SFT Darstellungen nicht lediglich komprimiert, sondern Schlussfolgerungstrajektorien in strukturiertere, kanonischere und wiederverwendbare Rechenpfade neu organisiert, wobei Informationsvielfalt mit geometrischer Regularität in Einklang gebracht wird.

3. Hierarchischer Code-Raum

Syntaktische Teilräume: Hierarchische syntaktische Strukturen (z. B. Kontrollfluss, Funktionsaufrufe) treten als strukturierte latente Teilräume auf.
Abstraktionsdynamik: Während hochsemantische Kategorien erhalten bleiben, wird die feingranulare lexikalische Clusterbildung in tieferen Schichten gemischt. Das Modell reorganisiert APIs basierend auf funktionalen Rollen in gemeinsame Ausführungs-semantische Manifold.
Überlegenheit von Code gegenüber Visuals: Latente Codedarstellungen erfassen feingranulare mathematische symbolische Konzepte (z. B. spezifische Operatoren und geometrische Formen) effektiver als visuelle Darstellungen, was durch eine höhere Klassifizierungsgenauigkeit in Probing-Aufgaben belegt wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen neuen Datensatz und eine systematische Analyse der latenten geometrischen Struktur zu liefern, die dem verflochtenen mathematisch-code-basierten Schlussfolgern zugrunde liegt. Die Hauptbeiträge sind:

Datensatz: Die Einführung von GeoMathCode, die die Untersuchung programmatischer Zwischenausgaben bei der Lösung von Geometrieaufgaben ermöglicht.
Einblicke in die latente Geometrie: Der Nachweis, dass Schlussfolgerungs- und Codeschritte im latenten Raum entwirrt sind, was die Annahme herausfordert, dass Codegenerierung eine aktive Schlussfolgerungsmodalität in derselben Weise ist wie visuelle Modalitäten.
SFT-Effekte: Die Erkenntnis, dass SFT das Schlussfolgerungs-Manifold regularisiert, wodurch es informativer und gleichzeitig geometrisch regulärer wird, anstatt lediglich die Komplexität zu erhöhen.
Code vs. Visuals: Der Nachweis, dass symbolische Codedarstellungen visuellen Darstellungen überlegen sind, um feingranulare mathematische Konzepte zu erfassen.

Die Autoren schließen daraus, dass diese Erkenntnisse zukünftige Forschung zur mechanistischen Interpretierbarkeit in LLMs motivieren, insbesondere hinsichtlich der Codeausführung, sowie das Potenzial für pick-point-basiertes Reinforcement Learning zur Verbesserung der Zuverlässigkeit des Schlussfolgerns. Sie räumen Einschränkungen bezüglich der Abhängigkeit von LLM-basierten Evaluatoren und der relativ niedrigen Genauigkeit der endgültigen Antworten ein und schlagen vor, dass zukünftige Arbeiten sich auf automatische symbolische Evaluierung und Reinforcement-Learning-Ansätze (z. B. GRPO, DAPO) konzentrieren sollten.