Technische Samenvatting: FormalAnalyticGeo

Probleemstelling

Hoewel Multimodale Large Language Models (MLLM's) aanzienlijk zijn geavanceerd in wiskundig redeneren, blijft analytische meetkunde een grotendezi een onderbelicht domein. Bestaande benchmarks richten zich voornamelijk op elementaire vlakke of ruimtelijke meetkunde, en de weinige beschikbare grootschalige bronnen voor kegelsneden (bijv. Conic10K) zijn puur tekstgebaseerd en missen de visuele diagrammen die essentieel zijn voor multimodale training.

Het artikel identificeert drie specifieke hiaten die de automatische generatie van multimodale analytische meetkundeproblemen belemmeren:

1. Representatiehiaat: Bestaande formalismen (bijv. Inter-GPS, FormalGeo) richten zich op Euclidische constructies en kunnen geen coördinatensystemen of kegliggende curven uitdrukken. Omgekeerd missen tekstuele coderingen (bijv. Assertional Logic in Conic10K) de constructieprimitieven die nodig zijn voor het renderen van diagrammen.
2. Renderinghiaat: Diagrammen van analytische meetkunde vereisen algebraisch gedefinieerde curven binnen coördinatensystemen. Traditionele plotbibliotheken vereisen vooraf berekende posities en kunnen geen constraint-gestuurde lay-outs afhandelen waarbij posities onderbepaald zijn door tekst alleen.
3. Verificatiehiaat: Huidige generatiebenaderingen zijn doorgaans single-pass. Fouten in probleemformulering, diagramrendering of antwoordextractie planten zich ongedetecteerd voort, wat resulteert in kwalitatief lage datasets zonder menselijke annotatie.

Methodologie: Het FormalAnalyticGeo-framework

De auteurs stellen FormalAnalyticGeo voor, een schaalbaar, neuraal-symbolisch framework dat multimodale analytische meetkundeproblemen genereert zonder menselijke annotatie. Het systeem werkt als een closed-loop pipeline bestaande uit vier gespecialiseerde LLM-componenten en een deterministische rendering engine, verbonden door een formele intermediaire taal.

1. Condition Description Language (CDL)

Om de kloof tussen natuurlijke taal en visuele rendering te overbruggen, introduceren de auteurs CDL, een declaratieve formele taal.

• Structuur: CDL-programma's bestaan uit met puntkomma's gescheiden statements gecategoriseerd in declaraties (het definiëren van objecten zoals lijnen, cirkels, ellipsen), vergelijkingen (algebraïsche definities), coördinaten, afgeleide objecten (bijv. brandpunten, snijpunten), predicaten (geometrische relaties) en metrische restricties.
• Functie: Elke geldige CDL-statement brengt direct een visueel element of een differentieerbare restrictie in kaart, wat automatische syntactische validatie en volledigheidscontrole mogelijk maakt.

2. SDF-gebaseerde Rendering Engine

Het framework gebruikt een Signed Distance Field (SDF) engine om CDL-programma's te compileren naar geometrische diagrammen.

• Uniforme Representatie: In tegen tegenstelling tot traditionele tools die constraint solving en rendering scheiden, behandelt de SDF-engine beide als één enkel differentieerbaar proces. Geometrische elementen (kegliggende curven, assen, asymptoten) worden gerepresenteerd als scalaire functies $F: \mathbb{R}^2 \to \mathbb{R}$.
• Constraint Solving: Onderbepaalde posities (bijv. een punt op een curve dat aan een afstandrestrictie voldoet) worden opgelost via gradiëntafdaling over geometrische restricties.
• Exacte Mapping: Het renderingproces produceert een exacte coördinaat-naar-pixel mapping, wat cruciaal is voor de daaropvolgende extractie van de grondwaarheid (ground-truth).

3. De Generatie Pipeline

Het framework voert een sequentiële workflow uit met feedback-gestuurde pogingen tot herstel:

• Generator: Produceert diverse natuurlijke taalproblemen en kegliggende vergelijkingen. Het maakt gebruik van een "reverse path" die geworteld is in een seed-bibliotheek van geverifieerde eigenschappen (uit Conic10K) om geometrische consistentie te waarborgen, naast een "forward path" voor vrije compositie. Het handhaaft een informatiepartitie waarbij sommige condities tekst-alleen zijn en andere visueel-alleen.
• Formalizer: Vertaalt het natuurlijke taalprobleem naar een CDL-programma. Het maakt gebruik van grammar prompting die is afgestemd op specifieke type curven om hallucinaties te verminderen, en wordt onmiddellijk geparsed op syntactische fouten.
• SDF Engine: Rendert het diagram vanuit de CDL.
• Measurer: Extraheert grondwaarheid antwoorden via fysieke informatie-isolatie. Het werkt in twee stadia:
  1. Task Extractor: Leest alleen de probleemtekst om een gestructureerde meetinstructie te genereren (geen vergelijkingen).
  2. Visual Measurer: Leest alleen de instructie en het gerenderde diagram, waarbij computer vision-tools (bijv. pixel_to_coord, intersect_line_curve) worden gebruikt om waarden te meten. Dit voorkomt dat het model de visuele meting omzeilt door de vergelijkingen analytisch op te lossen.

4. Quality Verifier en Closed-Loop Control

Een toegewezen Quality Verifier handhaaft de datakwaliteit bij drie controlepunten:

1. Gate 1 (Probleem): Verifieert oplosbaarheid via symbolische oplossing.
2. Gate 2 (CDL): Valideert syntaxis en zorgt ervoor dat alle in de tekst genoemde geometrische objecten in de CDL zijn gecodeerd.
3. Gate 3 (Antwoord): Controleert de plausibiliteit van de visuele meting ten opzien van een tekst-alleen symbolische oplossing.
   Als een gate faalt, geeft de verifier gestructureerde feedback aan de upstream-component, wat een automatische retry triggert. Deze loop elimineert de noodzaak voor menselijke annotatie.

Belangrijkste Bijdragen

1. Closed-Loop Generatie Framework: Een systeem dat de generatie van multimodale data deelt in gespecialiseerde stadia die verbonden zijn door een formele taal, waarbij gebruik wordt gemaakt van feedback-gestuurde kwaliteitspoorten om menselijke annotatie te elimineren.
2. CDL (Condition Description Language): Een formele intermediaire representatie die de brug slaat tussen natuurlijke taalbeschrijvingen en geometrische rendering, wat automatische validatie mogelijk maakt.
3. SDF-gebaseerde Rendering Engine: Een differentieerbare engine die constraint solving en diagramrendering verenigt, waardoor exacte analytische curven en precieze coördinaat-naar-pixel mappings mogelijk zijn.
4. AnalyticGeo7K Dataset: Een grootschalige dataset van meer dan 7.000 geverifieerde multimodale problemen, elk met uitgelijnde tekst, diagrammen, formele annotaties en visueel geëxtraheerde grondwaarheden.
5. Uitgebreide Empirische Analyse: Experimenten op 8 state-of-the-art MLLM's die de moeilijkheid van het domein en de noodzaak van visuele input aantonen.

Resultaten en Evaluatie

• Dataset Kwaliteit: De gegenereerde AnalyticGeo7K dataset bevat 7.043 geverifieerde problemen. De Measurer bereikt een mediane relatieve fout van de grondwaarheid van 0,70%, waarbij 82,3% van de antwoorden binnen 5% van de exacte symbolische oplossing valt.
• Framework Betrouwbaarheid: De drie kwaliteitspoorten bereiken een uiteindelijke pass rate van $\ge$ 99%. Gate 1 (Probleem) slaagt voor 99,1% bij de eerste poging; Gate 2 (CDL) slaagt voor 98,2%; Gate 3 (Antwoord) slaagt voor 95,1%, waarbij de resterende fouten leiden tot retries of het verwerpen van de sample.
• Model Prestaties: Op de AnalyticGeo7K benchmark behaalt het best presterende model (Gemini 3 Flash met beeldinput) een nauwkeurigheid van 77,6%. De prestaties dalen aanzienlijk in tekst-alleen modus (beste tekst-alleen resultaat: 42,0%), wat de cruciale rol van visuele diagrammen in analytische meetkundige redenering benadrukt.
• Ablatie Studies:
  • Het verwijderen van de Quality Verifier veroorzaakt een dramatische daling in nauwkeurigheid (de binnen-5% nauwkeurigheid daalt van 82,3% naar 45,5%).
  • Het verwijderen van CV Tools uit de Measurer (waarbij visuele schatting zonder tools wordt afgedwongen) verhoogt de gemiddelde fout van 2,84% naar 40,5%.
  • Het verwijderen van de Seed Library verhoogt de retry rate en vermindert de geometrische coherentie, wat de waarde van structurele priors bevestigt.

Significantie en Claims

Het artikel claimt dat FormalAnalyticGeo het tekort aan geannoteerde multimodale analytische meetkundige data aanpakt door een volledig automatische, annotatievrije generatieframework te bieden. Door formele taal (CDL), differentiële rendering (SDF) en multi-agent verificatie te verenigen, produceert het framework hoogwaardige, geverifieerde datasets die de training en evaluatie van MLLM's op complexe ruimtelijke en algebraïsche redeneertaken mogelijk maken. De auteurs stellen dat hun werk een kritiek gat vult in de benchmarks voor multimodale wiskundige redenering, door verder te gaan dan Euclidische vlakke meetkunde naar het meer uitdagende domein van kegliggende curven en coördinatengeometrie. Het framework en de resulterende AnalyticGeo7K dataset worden vrijgegeven om verder onderzoek in dit gebied te faciliteren.