Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Dit artikel introduceert GeoCode, een synthetisch multimodaal meetkundig dataset dat complexe problemen genereert via code en visuele uitbeelding, waardoor modellen beter worden getraind in het koppelen van diagrammen aan symbolische redenering en hun prestaties op meetkundetaakken aanzienlijk verbeteren.

De kern

Stel je voor dat je een wiskundeleraar bent die een nieuw, super-challengend examen wil maken voor zijn leerlingen. Maar er is een probleem: de huidige "leermachines" (kunstmatige intelligentie) zijn goed in het lezen van tekst, maar ze struikelen over complexe meetkunde. Ze kunnen een tekening zien, maar ze begrijpen niet echt hoe de lijnen en hoeken met elkaar verbonden zijn. Het is alsof ze naar een plattegrond kijken en denken: "Oh, dat is een straat," zonder te begrijpen dat die straat een haakje maakt of dat twee wegen precies evenwijdig lopen.

De auteurs van dit paper, Haobo Lin en zijn team, hebben een oplossing bedacht die ze GeoCode noemen. Laten we uitleggen hoe ze dit hebben gedaan, met een paar leuke vergelijkingen.

1. Het Probleem: De "Gokker" vs. De "Architect"

Huidige AI-modellen proberen meetkunde-opdrachten op te lossen door te gokken op basis van woorden. Ze lezen: "Dit is een driehoek" en "deze lijn is lang," en hopen dat het antwoord klopt. Ze zien de tekening, maar ze "voelen" de structuur er niet echt. Ze missen de diepe connectie tussen wat ze zien (de afbeelding) en wat ze weten (de wiskundige regels).

2. De Oplossing: Bouwen van een "Perfecte Werkplaats"

In plaats van te wachten tot AI-modellen beter worden, hebben de auteurs een fabriek gebouwd om perfecte meetkunde-problemen te maken. Ze doen dit in drie stappen, alsof ze een huis bouwen:

• Stap 1: Het Blauwdruk (De Symbolische Zaadjes)
  Eerst maken ze een puur wiskundig skelet. Geen cijfers, geen tekeningen, alleen regels. Bijvoorbeeld: "Punt A staat haaks op lijn B." Ze gebruiken slimme software om te checken of deze regels logisch kloppen en of er een oplossing mogelijk is. Het is alsof je eerst de fundering van een huis controleert voordat je ook maar één baksteen legt.
• Stap 2: Het Invullen (De Bouwvakkers)
  Vervolgens nemen ze dat skelet en vullen het in met echte cijfers en een verhaal. Een AI vertaalt de droge regels naar een vraag die een leerling zou krijgen: "In driehoek ABC is hoek A 90 graden..." Maar hier is de truc: ze laten een andere AI (de "Coder") direct de bouwcode schrijven. Deze code zegt precies: "Teken punt A op coördinaat (0,0), teken een lijn naar (3,4)."
• Stap 3: De Controle (De Bouwinspecteur)
  Voordat het probleem klaar is, wordt het streng gecontroleerd.
  1. De Rekenmachine: De computer voert de code uit en tekent de figuur.
  2. De Check: Kijkt de computer: "Klopt de tekening met de tekst? Is de hoek echt 90 graden? Is het antwoord dat de AI berekende, ook echt correct?"
     Als er ook maar één foutje is (bijvoorbeeld als de tekening er anders uitziet dan de tekst zegt), wordt het probleem weggegooid. Zo houden ze alleen de 100% perfecte problemen over.

3. De Grote Innovatie: Leren door "Code" te Voorspellen

Dit is het meest creatieve deel. Normaal gesproken leren AI-modellen door te kijken naar een tekening en het antwoord te raden. De auteurs zeggen: "Nee, laten we ze iets anders laten doen."

Ze laten de AI de bouwcode voorspellen voordat ze het antwoord geven.

• De Analogie: Stel je voor dat je een auto ziet. Een normaal model zegt: "Dat is een snelle auto." Het nieuwe model moet eerst zeggen: "Oké, ik zie een wiel op positie X, een wiel op positie Y, en een chassis dat ze verbindt."
• Door de AI te dwingen om deze structuurcode (de "plotting code") te schrijven, dwingen ze de machine om de tekening echt te begrijpen. Ze moeten de onderliggende regels zien, niet alleen naar de oppervlakte kijken. Het is alsof je iemand niet alleen laat raden wat er in een gesloten doos zit, maar ze laat de doos eerst openen en de inhoud stap voor stap beschrijven voordat ze het antwoord geven.

4. Het Resultaat: Een Super-Leraar

Ze hebben een dataset gemaakt genaamd GeoCode met 18.000 van deze perfecte, complexe problemen. Toen ze AI-modellen trainden met deze dataset, gebeurde er iets magisch:

• De modellen werden niet alleen beter in het beantwoorden van vragen.
• Ze werden ook veel beter in het zien van de structuur in de tekeningen.
• Ze presteerden beter op andere, bestaande meetkunde-toetsen, zelfs op vragen die ze nog nooit hadden gezien.

Samenvatting in één zin

De auteurs hebben een fabriek gebouwd die meetkunde-problemen maakt waarbij de tekst, de tekening en de wiskundige regels perfect op elkaar aansluiten, en ze hebben AI-modellen getraind door ze te dwingen om de "bouwplaat" van die tekeningen te schrijven, waardoor ze eindelijk echt gaan begrijpen hoe meetkunde werkt in plaats van alleen maar te gokken.

Het is een stap van "gokken op de uitkomst" naar "bouwen aan inzicht".

Technische samenvatting

Probleemstelling

Multimodaal geometrisch redeneren vereist dat modellen zowel visuele diagrammen begrijpen als gestructureerde symbolische inferenties uitvoeren. Huidige Vision-Language Models (VLMs) kampen echter met twee fundamentele beperkingen:

1. Gebrek aan hoogwaardige data: Bestaande datasets zijn vaak handmatig ontworpen of beperkt tot simpele constructies, wat leidt tot een gebrek aan structurele diversiteit en onvoldoende redeneerdiepte (lange ketens van redenering).
2. Zwakke visueel-symbolische uitlijning: Modellen leren vaak om te vertrouwen op linguïstische correlaties of dataset-bias in plaats van de geometrische structuur expliciet uit de diagrammen te halen. De uitlijning tussen visuele waarneming en symbolische representatie is vaak impliciet en niet expliciet gesuperviseerd, wat resulteert in inconsistenties in tussenstappen van het redeneren.

Methodologie

De auteurs stellen een end-to-end pipeline voor om multimodale geometrische problemen vanaf nul te synthetiseren, met een dataset genaamd GeoCode. De methologie bestaat uit drie hoofdstadia en een nieuw uitlijningsparadigma:

1. Generatiepijplijn (De drie stadia)

De synthese wordt ontbonden in drie modulaire en verifieerbare stappen om consistentie tussen structuur, tekst, redenering en beeld te garanderen:

• Stadium 1: Symbolische Zaadgeneratie (Seed Generation):
  • Er worden willekeurige verzamelingen van geometrische predikaten (relaties zoals loodrecht, evenwijdig, collineair) gegenereerd.
  • Met behulp van een redeneerengine (zoals AlphaGeometry) worden afhankelijkheidsgrafen geconstrueerd om te bepalen of de structuur leidt tot niet-triviale deductieve doelen.
  • Triviale of degeneratieve configuraties worden gefilterd, waarbij alleen complexe, rijke structuren worden behouden.
• Stadium 2: Geïnstancierde Realisatie (Instantiation):
  • Een "Instructor" (LLM) zet de symbolische zaden om in concrete numerieke waarden, natuurlijke taalprobleemstellingen en redeneertraces (Chain-of-Thought).
  • Een "Coder" (LLM) genereert meta-code die de exacte coördinaten van alle geometrische entiteiten berekent op basis van de probleemstelling (zonder toegang tot de oplossing).
  • Tweestapsverificatie:
    • Semantische validatie: Controleert de logische coherentie van de tekst en de redenering.
    • Geometrische validatie: Voert de gegenereerde code uit om numeriek te verifiëren of alle verklaarde constraints (lengtes, hoeken, parallelisme) kloppen met de berekende coördinaten.
• Stadium 3: Visualisatie en Debiasing:
  • De gegenereerde code wordt gebruikt om diagrammen te renderen (via OpenCV).
  • Tekstuele Debiasing: Alle informatie die direct uit het diagram kan worden afgeleid (zoals snijpunten of collineariteit) wordt uit de tekstuele probleemstelling verwijderd. Dit dwingt het model om visuele informatie echt te gebruiken in plaats van te vertrouwen op tekstuele hints.

2. Plotting Code als Expliciete Uitlijning

Het kerninnovatieve aspect is het gebruik van plotting code (gestructureerde JSON/DSL-code die de geometrie beschrijft) als een expliciet supervisiiedoel.

• In plaats van alleen het eindantwoord of tekstuele redenering te superviseren, wordt het model getraind om eerst de plotting code te voorspellen op basis van het diagram.
• Dit dwingt het model om de volledige geometrische structuur (constructie-afhankelijkheden, ruimtelijke relaties) expliciet te reconstrueren voordat het redeneert.
• Dit transformeert visueel begrip van een impliciete, latente taak naar een gestructureerde, verifieerbare voorspellingstaak.

Belangrijkste Bijdragen

1. GeoCode Dataset: Een dataset van 18.000 multimodale geometrische problemen die diagrammen, oplossingen en bijbehorende plotting code bevatten. De dataset toont aanzienlijk hogere structurele complexiteit en redeneermoeilijkheid dan bestaande benchmarks, terwijl wiskundige correctheid wordt gegarandeerd door multi-stadium validatie.
2. Synthesepipeline: Een robuust framework voor het genereren van complexe geometrische problemen met strikte cross-modale consistentie, wat schaalbaarheid mogelijk maakt zonder handmatige interventie.
3. Code-gestuurde Uitlijning: Het introduceren van plotting code als supervisiemiddel voor visueel-symbolische uitlijning. Dit bewijst dat het expliciet reconstrueren van de geometrische structuur effectiever is dan alleen tekstuele supervisie.
4. Empirische Validatie: Aantonen dat modellen getraind op GeoCode consistente verbeteringen laten zien op meerdere publieke benchmarks, inclusief out-of-distribution evaluaties.

Resultaten

• Prestaties op Benchmarks: Modellen (Qwen2.5-VL en Qwen3-VL) getraind op GeoCode vertoonden significante verbeteringen op benchmarks zoals Geometry3K, GeoQA, OlympiadBench en MathVerse.
  • Bijvoorbeeld: Qwen3-VL verbeterde met +11,52% op OlympiadBench (een van de moeilijkste benchmarks).
• Ablatiestudies:
  • Supervisie met plotting code leidde tot veel sterkere prestaties dan supervisie met alleen tekstuele bijschriften (captions) of geen uitlijning.
  • Er werd een sterke correlatie gevonden tussen de kwaliteit van de gereconstrueerde structuur (gemeten via segment-level F1-score van de voorspelde code) en de uiteindelijke oplossingsnauwkeurigheid.
  • Het bleek dat het model niet alleen de code-indeling leert, maar dat de correcte reconstructie van geometrische constraints (zoals rechte hoeken en lengtes) cruciaal is voor succesvol redeneren.
• Robuustheid: De verbeteringen bleven bestaan bij out-of-distribution testen, wat aangeeft dat het model transferleerbare geometrische patronen heeft geleerd in plaats van over te fitten op de synthetische distributie.

Betekenis en Impact

Dit werk is significant omdat het een fundamentele beperking in multimodaal redeneren aanpakt: de kloof tussen visuele waarneming en symbolisch redeneren.

• Van Impliciet naar Expliciet: Het paper toont aan dat geometrisch redeneren niet alleen kan worden verbeterd door meer data, maar door de manier waarop data wordt gesuperviseerd te veranderen. Door structuur expliciet te maken via code, wordt visueel begrip een verifieerbaar onderdeel van het leerproces.
• Kwaliteit boven Kwantiteit: Het benadrukt dat strikte wiskundige validatie en cross-modale consistentie essentieel zijn voor het trainen van modellen op complexe redeneertaken.
• Toekomstperspectief: De methode biedt een blauwdruk voor het genereren van hoogwaardige synthetische data voor andere domeinen waar structurele consistentie cruciaal is, en opent de deur voor "Thinking with Images" waarbij modellen eerst de structuur van een beeld reconstrueren voordat ze een conclusie trekken.

Kortom, GeoCode en de voorgestelde uitlijningsstrategie bieden een nieuwe standaard voor het trainen van VLMs in complexe, gestructureerde redeneertaken, waarbij visuele perceptie en logisch redeneren naadloos met elkaar worden verweven.