Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Die Autoren stellen GeoCode vor, einen neu synthetisierten Multimodal-Datensatz für geometrische Probleme, der durch die Einbeziehung von Plotting-Code als explizites Ausrichtungsziel die visuelle Symbolik-Verknüpfung verbessert und damit die Leistung von Modellen in komplexen geometrischen Schlussfolgerungen signifikant steigert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter beizubringen, wie man Geometrieaufgaben löst. Bisher war das wie das Lehren eines Kindes, indem man ihm nur die Lösung einer Aufgabe zeigt, ohne ihm zu erklären, wie das Bild entstanden ist. Der Roboter lernte dann oft nur auswendig oder erratete die Antwort basierend auf Wörtern, statt wirklich zu verstehen, was auf dem Bild passiert.

Diese neue Arbeit von Haobo Lin und seinem Team nennt sich GeoCode. Sie haben einen genialen neuen Weg gefunden, um Roboter beim Lernen von Geometrie zu unterstützen. Hier ist die Erklärung, einfach und mit ein paar kreativen Vergleichen:

1. Das Problem: Der Roboter sieht nur die Oberfläche

Stellen Sie sich vor, Sie zeigen einem Roboter ein Bild eines Dreiecks und sagen: „Das ist ein rechtwinkliges Dreieck." Der Roboter schaut auf das Bild, liest den Text und gibt eine Antwort. Aber er versteht nicht wirklich, warum es rechtwinklig ist. Er hat das Bild nicht „durchdrungen".
Bisherige Datensätze waren wie auswendig gelernte Gedichte: Die Roboter konnten die Antworten aufsagen, aber wenn man die Bilder ein wenig veränderte (z. B. die Linien etwas schief zog), scheiterten sie. Ihnen fehlte das tiefe Verständnis dafür, wie die geometrischen Formen zusammengebaut sind.

2. Die Lösung: Ein „Baukasten" aus dem Nichts

Das Team hat einen Prozess entwickelt, um neue Geometrieaufgaben von Grund auf zu erfinden (synthetisieren). Statt alte Aufgaben zu sammeln, bauen sie sie wie ein Architekt:

• Schritt 1: Das Skelett (Symbolische Samen): Zuerst bauen sie das logische Gerüst der Aufgabe. Stellen Sie sich das wie einen Bauplan vor, auf dem nur steht: „Hier muss eine Linie senkrecht auf einer anderen stehen", ohne dass Zahlen oder Bilder da sind.
• Schritt 2: Das Fleisch (Zahlen und Text): Dann füllen sie diesen Bauplan mit Leben. Ein KI-Modell (der „Lehrer") gibt den Linien Längen, Winkel und eine Geschichte in normaler Sprache.
• Schritt 3: Der Baumeister (Der Code): Das ist der wichtigste Teil! Ein spezielles Modul schreibt Code (eine Art Bauanleitung), der das Bild genau so zeichnet, wie es im Bauplan steht.

Der Clou: Weil sie das Bild aus dem Code zeichnen, wissen sie zu 100 % genau, ob die Mathematik stimmt. Es ist wie beim Bauen mit LEGO: Wenn die Steine nicht passen, baut der Roboter das Modell nicht fertig. So stellen sie sicher, dass jede Aufgabe, die sie erzeugen, mathematisch perfekt ist.

3. Der große Durchbruch: „Zeichnen statt Reden"

Das ist die eigentliche Magie von GeoCode.
Normalerweise fragen Roboter: „Was steht auf dem Bild?" und antworten mit Text.
Bei GeoCode zwingen sie den Roboter, das Bild zu beschreiben, indem er den Bauplan (den Code) neu schreibt.

• Die Analogie: Stellen Sie sich vor, Sie zeigen einem Maler ein Bild und sagen: „Beschreibe mir das Bild." Der Maler könnte sagen: „Da ist ein roter Kreis."
  Bei GeoCode sagen sie: „Schreib mir den Befehl, wie man diesen roten Kreis zeichnet!"
  Der Roboter muss also nicht nur sehen, sondern er muss verstehen: „Um diesen Kreis zu zeichnen, muss ich zuerst einen Punkt hier setzen, dann einen Radius von 5 cm wählen."

Indem der Roboter den Code vorhersagen muss, wird er gezwungen, die Struktur des Bildes wirklich zu verstehen. Er kann nicht mehr nur raten oder Textmuster erkennen. Er muss den geometrischen „Knochenbau" des Bildes rekonstruieren.

4. Das Ergebnis: Ein besserer Schüler

Das Team hat gezeigt, dass Roboter, die mit dieser Methode trainiert wurden, deutlich besser werden:

• Sie lösen schwierigere Aufgaben.
• Sie verstehen Bilder besser, auch wenn sie noch nie so etwas gesehen haben (sie verallgemeinern das Gelernte).
• Sie machen weniger Fehler, weil sie sich auf die Struktur konzentrieren und nicht nur auf die Wörter.

Zusammenfassung

Stellen Sie sich vor, Sie wollen jemandem beibringen, wie man ein Haus baut.

• Der alte Weg: Zeigen Sie ihm ein Foto eines Hauses und sagen Sie: „Das ist ein Haus."
• Der GeoCode-Weg: Geben Sie ihm die Bauanleitung (den Code), damit er das Haus selbst bauen kann. Wenn er die Bauanleitung falsch versteht, fällt das Haus um.

GeoCode zwingt die KI, die Bauanleitung für geometrische Bilder zu verstehen, anstatt nur das fertige Foto anzusehen. Das macht sie zu einem viel besseren „Geometrie-Experten".

Technische Zusammenfassung

1. Problemstellung

Multimodale geometrische Schlussfolgerungen erfordern von Modellen die gemeinsame Verarbeitung visueller Diagramme und die Durchführung strukturierter symbolischer Inferenz. Aktuelle Vision-Language-Modelle (VLMs) scheitern jedoch oft an komplexen geometrischen Konstruktionen. Die Hauptursachen dafür sind:

• Mangel an Trainingsdaten: Es gibt wenige hochwertige Datensätze mit hoher struktureller Komplexität und strenger multimodaler Konsistenz.
• Schwache visuell-symbolische Ausrichtung: Modelle lernen oft nur, die endgültige Antwort oder textliche Erklärungen vorherzusagen, ohne die zugrunde liegende geometrische Struktur aus dem Diagramm explizit wiederherzustellen.
• Implizite vs. Explizite Struktur: Herkömmliche Methoden verlassen sich auf textbasierte Beschreibungen, die oft mehrdeutig sind oder Informationen enthalten, die direkt aus dem Bild abgeleitet werden könnten (Text-Bias), was das eigentliche visuelle Verständnis umgeht.

2. Methodik: Der GeoCode-Pipeline-Ansatz

Die Autoren stellen einen vollständigen Syntheseprozess vor, um multimodale Geometrieprobleme „von Grund auf" (from scratch) zu generieren. Dieser Prozess wird in drei verifizierbare Stufen unterteilt, um Konsistenz zwischen Symbolik, Text, Logik und Bild sicherzustellen:

A. Stufe 1: Symbolische Saatgenerierung (Seed Generation)

• Anstatt zufällige Zahlen zu wählen, wird zunächst eine rein symbolische geometrische Struktur erstellt.
• Mithilfe von Systemen wie AlphaGeometry werden Prädikate (z. B. Parallelität, Orthogonalität, Kollinearität) zufällig gesampelt.
• Ein Target Finder baut Abhängigkeitsgraphen auf, um sicherzustellen, dass die Struktur nicht-triviale deduktive Ziele (Beweisziele) zulässt.
• Es werden nur komplexe Strukturen ausgewählt, die eine ausreichende Tiefe der Beweisführung erfordern.

B. Stufe 2: Grounded Instantiation (Konkretisierung)

• Ein Instructor-LLM weist den symbolischen Saatstrukturen konkrete numerische Werte zu (z. B. Pythagoreische Tripel für rechtwinklige Dreiecke) und generiert natürliche Sprachprobleme sowie Lösungsschritte (Chain-of-Thought).
• Ein separater Coder-LLM generiert Meta-Code, der die Koordinaten aller geometrischen Entitäten basierend nur auf der Problemstellung berechnet.
• Zweistufige Verifizierung:
  1. Semantische Validierung: Ein LLM prüft die logische Kohärenz von Frage, Beweis und Antwort.
  2. Geometrische Validierung: Der generierte Code wird in einer Sandbox ausgeführt. Die resultierenden Koordinaten werden numerisch überprüft, um sicherzustellen, dass alle behaupteten Beziehungen (Längen, Winkel, Parallelität) exakt erfüllt sind.

C. Stufe 3: Visualisierung und Text-Entbiasing

• Der Meta-Code wird in ein strukturiertes Plotting-Code-Format (JSON-basiert) umgewandelt, das Punkte, Segmente, Kreise und Annotationen definiert.
• Diagramme werden deterministisch mit OpenCV gerendert.
• Text-Entbiasing: Informationen, die direkt aus dem Diagramm abgeleitet werden können (z. B. „Punkte A, B, C liegen auf einer Geraden"), werden aus dem Textproblem entfernt. Dies zwingt das Modell, visuelle Informationen zu nutzen, anstatt sich auf redundante Textbeschreibungen zu verlassen.

D. Plotting Code als explizite Ausrichtungsziel (Alignment Objective)

Ein Kerninnovation ist die Nutzung des Plotting Codes als direktes Lernziel. Anstatt nur die Antwort zu supervidieren, wird das Modell trainiert, den strukturierten Plotting Code direkt aus dem Eingabebild vorherzusagen.

• Dies wandelt das visuelle Verständnis in eine überwachte strukturierte Vorhersageaufgabe um.
• Das Modell muss die gesamte geometrische Topologie und die Konstruktionsschritte rekonstruieren, bevor es den Beweis führen kann.

3. Der GeoCode-Datensatz

• Umfang: 18.000 multimodale Geometrieprobleme (13.000 numerische Lösungen, 5.000 Beweisaufgaben).
• Inhalt: Jedes Beispiel enthält das Diagramm, die Frage, die Lösung (CoT), die endgültige Antwort und den zugehörigen Plotting Code.
• Qualität: Durch mehrstufige Validierung (semantisch, numerisch, visuell) wird mathematische Korrektheit garantiert. Der Datensatz weist eine deutlich höhere strukturelle Komplexität und Schwierigkeit auf als bestehende Benchmarks.

4. Ergebnisse und Evaluation

Die Autoren führten umfangreiche Experimente durch, um die Wirksamkeit von GeoCode und der Code-basierten Ausrichtung zu testen:

• Leistungssteigerung: Modelle, die auf GeoCode trainiert wurden (z. B. Qwen2.5-VL und Qwen3-VL), zeigten konsistente Verbesserungen auf mehreren öffentlichen Benchmarks (Geometry3K, GeoQA, OlympiadBench, MathVerse).
  • Besonders bemerkenswert war ein Anstieg von +11,52 % auf dem schwierigen OlympiadBench für das Qwen3-VL-Modell.
• Out-of-Distribution (OOD): Die Modelle generalisierten gut auf unbekannte Datensätze, was darauf hindeutet, dass sie echte geometrische Muster gelernt haben und nicht nur überangepasst sind.
• Ablationsstudien:
  • Die Verwendung von Plotting Code als Supervision führte zu signifikant besseren Ergebnissen als die Verwendung von Bildunterschriften (Captions) oder keine Ausrichtung.
  • Die Analyse zeigte, dass die Genauigkeit der Vorhersage von geometrischen Annotationen (z. B. rechte Winkel) stark mit der Fähigkeit zur Problemlösung korreliert.
  • Es wurde bestätigt, dass die Verbesserung nicht nur durch das Erlernen eines starren Ausgabeformats (Syntax) zustande kommt, sondern durch die tatsächliche Wiederherstellung der geometrischen Struktur.

5. Bedeutung und Beitrag

• Neuer Paradigmenwechsel: Die Arbeit schlägt vor, visuelles Verständnis in Geometrie nicht als implizite latente Repräsentation zu behandeln, sondern als explizite, überwachbare Aufgabe der Strukturrekonstruktion via Code.
• Datenqualität: Sie demonstriert, dass synthetische Daten durch strenge symbolische und numerische Validierung höherwertig und komplexer sein können als manuell erstellte Datensätze.
• Lösung des Text-Bias: Durch das Entfernen visueller Informationen aus dem Text und die Forderung nach Code-Generierung wird das Modell gezwungen, das Diagramm tatsächlich zu „sehen" und zu verstehen.
• Ressource: Der GeoCode-Datensatz und die Pipeline sind als Open-Source-Projekt verfügbar und bieten eine neue Grundlage für die Forschung zu multimodalem logischem Schlussfolgern.

Zusammenfassend beweist diese Arbeit, dass die Entkopplung von symbolischer Struktur, numerischer Verankerung und visueller Darstellung, kombiniert mit einer Code-basierten Supervision, ein effektiver Weg ist, um die Grenzen aktueller multimodaler Modelle in der geometrischen Schlussfolgerung zu überwinden.