Technische Samenvatting: GeoMathCode

Probleemstelling

Wiskundig redeneren in Multimodale Grootte Taalmodellen (MLLM's) berust vaak op het genereren van meerstapsoplossingen voor meetkundeproblemen. Hoewel recente benaderingen zoals MathCanvas proberen menselijk redeneren na te bootsen door hulpvisuele constructies te integreren (bijvoorbeeld het tekenen van lijnen of punten), vertrouwen zij doorgaans op pixelgebaseerde beeldgeneratie. De auteurs identificeren twee primaire beperkingen in dit paradigma:

1. Alignering en Verificatie: Gedetailleerde cross-modale generatie (tekst naar pixelgebaseerde afbeeldingen) is inherent moeilijk te aligneren en te verifiëren, wat de potentie voor foutpropagatie vergroot.
2. Systeemcomplexiteit: Pixelgebaseerde benaderingen vereisen vaak aanvullende visie-specifieke generators, wat de systeemarchitectuur ingewikkelder maakt.

Het artikel stelt dat hoewel programmatieke representaties (code) nauwkeurig en verifieerbaar zijn, het onduidelijk blijft of verweven wiskundige-code-redenering de latente geometrie van multimodaal redeneren fundamenteel herschikt of slechts dient als een hulpoutput. Specifiek zoeken de auteurs naar inzicht in hoe redeneertrajecten zich over de lagen ontwikkelen en of symbolische code-representaties meetkundige concepten anders vatten dan visuele.

Methodologie

1. Datasetconstructie: GeoMathCode

De auteurs introduceren GeoMathCode, een publieke multimodale dataset ontworpen voor verweven wiskundige-code-redenering. De constructiepiplijn omvat:

• Bron: Het gebruik van MathCanvas als primaire bron, die acht wiskundige domeinen bestrijkt (Algebra, Analytische Meetkunde, Calculus, enz.).
• Generatie: Het inzetten van Gemini 3-Flash om verweven oplossingen te genereren die tekstuele redenering, uitvoerbare Python-code en bijbehorende visualisaties bevatten.
• Verificatie: Een meerlagig geautomatiseerd verificatieproces waarborgt kwaliteit:
  • Regelgebaseerde Engine (GPT-5.1): Extrahert sleutelredeneerstappen ("pick-points") en wiskundige regels.
  • Controlemechanisme (Gemini 3-Pro): Valideert de juistheid van het eindantwoord, de logica van de tekstuele redenering en de code-uitvoering.
  • Sandbox: Filtert monsters met foutieve code-uitvoering eruit en triggert iteratieve regeneratie.
• Schaal: De uiteindelijke dataset bestaat uit 10.000 trainings- en 1.000 testmonsters, gebalanceerd met een 1:1-verhouding van vragen met en zonder diagrammen.

2. Empirisch Analysekader

De studie evalueert representatieve MLLM's (Qwen3/3.5, LLaVA-Next, InternVL3.5) met zowel full-parameter Supervised Fine-Tuning (SFT) als LoRA. De analyse richt zich op twee perspectieven:

• Prestaties na Training: Het evalueren van metrieken waaronder Antwoordnauwkeurigheid (Ans Acc), juistheid van tekstuele redenering, Code-nauwkeurigheid, Wiskundige juistheid van Code, en Text-Code Consistentie.
• Analyse van Latente Geometrie: Het onderzoeken van de interne representatieruimte van de modellen via:
  • Trajectanalyse: Meten van Euclidische afstanden tussen redeneerstappen en codestappen over transformerlagen heen.
  • Manifoldregularisatie: Kwantificeren van informatiecapaciteit en geometrische complexiteit met behulp van Effective Rank (ERank) en Intrinsieke Dimensie (ID).
  • Code-ruimte Structuur: Analyseren van de latente representatie van codesyntaxis (besturingsflow, functieoproepen, dataflow) met KNN en lineaire SVM om lokale clustering en globale lineaire scheidbaarheid te beoordelen.
  • Symbolische Probing: Vergelijken van het vermogen van code-embeddings versus visuele embeddings om gedetailleerde wiskundige symbolen te vatten (bijvoorbeeld $\sqrt{}$, $\triangle$, $\angle$).

Belangrijkste Resultaten

1. Prestaties en Ontkoppeling

• SFT Verbetert Prestaties: Supervised Fine-Tuning verbetert de prestaties aanzienlijk bij alle modellen. Qwen3.5-9B-SFT behaalt de beste algehele resultaten (Gemiddelde score 0,73), en presteert beter dan baselines en LoRA-varianten.
• Redenering-Code Ontkoppeling: PCA-visualisaties en trajectanalyse onthullen dat redeneerstappen en codegeneratiestappen ontkoppelde latente subruimtes vormen.
  • Het model vertrouwt voornamelijk op tekstuele redeneertrajecten voor het voorspellen van het eindantwoord.
  • Intermediaire codegeneratie fungeert als een hulpuitvoerbare representatie in plaats van een actieve redeneringsmodaliteit die het eindantwoord direct stuurt.
  • Dit suggereert een functionele scheiding tussen wiskundig redeneren en programmatieke uitvoering in de latente ruimte.

2. Manifoldregularisatie via SFT

• Gestructureerd Redeneren: SFT verhoogt de Effective Rank (ERank) van redenerrepresentaties (wat wijst op rijkere informatiediversiteit) terwijl het tegelijkertijd de Intrinsieke Dimensie (ID) verlaagt (wat wijst op lagere lokale geometrische complexiteit).
• Interpretatie: Dit suggereert dat SFT representaties niet enkel comprimeert, maar redeneertrajecten herschikt in meer gestructureerde, canonieke en herbruikbare computatieroutes, waarbij informatiediversiteit in evenwicht wordt gebracht met geometrische regelmaat.

3. Hiërarchische Code-ruimte

• Syntactische Subruimtes: Hiërarchische syntactische structuren (bijvoorbeeld besturingsflow, functieoproepen) ontstaan als gestructureerde latente subruimtes.
• Abstractiedynamiek: Hoewel hoog-niveau semantische categorieën behouden blijven, wordt fijne lexische clustering in diepere lagen gemengd. Het model herschikt API's naar gedeelde uitvoerings-semantische manifolds op basis van functionele rollen.
• Superioriteit van Code boven Visualisaties: Latente code-representaties vatten gedetailleerde wiskundige symbolische concepten (bijvoorbeeld specifieke operatoren en meetkundige vormen) effectiever in dan visuele representaties, zoals blijkt uit hogere classificatienauwkeurigheid in probing-taken.

Betekenis en Claims

Het artikel claimt een nieuwe dataset en een systematische analyse van de onderliggende latente geometrische structuur van verweven wiskundige-code-redenering te bieden. De primaire bijdragen zijn:

1. Dataset: De introductie van GeoMathCode, die het onderzoek naar programmatieke intermediaire outputs bij het oplossen van meetkundeproblemen faciliteert.
2. Inzichten in Latente Geometrie: Het aantonen dat redeneren en codestappen ontkoppeld zijn in de latente ruimte, wat de notie uitdaagt dat codegeneratie een actieve redeneringsmodaliteit is op dezelfde manier als visuele modaliteiten dat zouden kunnen zijn.
3. SFT-effecten: De bevinding dat SFT de redenermanifold regulariseert, waardoor deze informatiever maar geometrisch regelmatiger wordt, in plaats van simpelweg complexer.
4. Code versus Visualisaties: Het bewijs dat symbolische code-representaties superieur zijn aan visuele representaties voor het vatten van gedetailleerde wiskundige concepten.

De auteurs concluderen dat deze bevindingen toekomstig onderzoek motiveren naar mechanistische interpretabiliteit in LLM's, specifiek met betrekking tot code-uitvoering, en de potentie van pick-point-gebaseerde versterkingsleer om de betrouwbaarheid van redeneren te verbeteren. Zij erkennen beperkingen met betrekking tot de afhankelijkheid van LLM-gebaseerde evalueerders en de relatief lage nauwkeurigheid van het eindantwoord, en suggereren dat toekomstig werk zich moet richten op automatische symbolische evaluatie en versterkingsleerbenaderingen (bijvoorbeeld GRPO, DAPO).