Technische Samenvatting: Internalisering van Geometrische Wetten via Solver-Residualen

Probleemstelling

Large Language Models (LLM's) vertonen "precisie-hallucinaties" in domeinen die strikte naleving van geometrische, fysieke of logische wetten vereisen. Hoewel modellen syntactisch coherente en semantisch plausibele outputs kunnen genereren, falen ze vaak in het voldoen aan exacte metrische beperkingen (bijv. loodrechtheid, raaklijnen, specifieke lengtes). Bestaande benaderingen delegeren redeneren vaak aan externe symbolische of numerieke solvers, waardoor het LLM wordt gereduceerd tot een vertaler van natuurlijke taal naar een solver-specifieke Domain Specific Language (DSL). Deze delegatie voorkomt dat het model ruimtelijke logica internaliseert, waardoor het broos wordt wanneer het geconfronteerd wordt met nieuwe beperkingen buiten de vooraf gedefinieerde vocabulaire van de solver.

De specifieke uitdaging die wordt aangepakt is Geometric Constraint Solving (GCS): het vertalen van vrije tekstbeschrijvingen naar precieze Python-programma's die exacte metrische coördinaten (puntlocaties, cirkelradii) produceren die tientallen interagerende beperkingen tegelijkertijd voldoen. In tegenstelling tot eerdere benchmarks die zich richten op scalaire antwoorden of stellingbewijzen, vereist deze taak de generatie van een volledig geconstrueerde geometrische configuratie waarbij alle relationele beperkingen worden voldaan binnen een strikte tolerantie ($\|r\|_2^2 < 10^{-3}$).

Methodologie

Het PyGeoX Framework

De auteurs introduceren PyGeoX, een programmeerbare geometrische DSL en engine ontworpen om declaratieve intentie te overbruggen met differentiabele optimalisatie.

• Architectuur: PyGeoX werkt als een "Declaratief-naar-Symbolisch-naar-Differentiabel" pijplijn. Het accepteert hoogwaardige geometrische beschrijvingen, compileert deze naar symbolische beperkingsvergelijkingen (met behulp van SymPy), en aggregeert deze in een enkele differentiabele foutfunctie $E(u)$.
• Capaciteiten: De engine ondersteunt 35 objecttypen en 38 relaties, inclus inclusief complexe algebraïsche beperkingen (bijv. "de omtrek van een vijfhoek is gelijk aan de oppervlakte van een cirkel") en ongelijkheidsbeperkingen, die vaak niet worden ondersteund door traditionele deductieve engines.
• Rol in Training: PyGeoX wordt strikt off-policy gebruikt. Het genereert procedureel trainingsdata en berekent per-constraint residualen tijdens de evaluatie van de Reinforcement Learning (RL) reward. Het LLM krijgt tijdens de inferentie nooit toegang tot de PyGeoX-bibliotheek, wat het model dwingt om geometrische wetten te leren in plaats van de API-syntax.

Reward Design: Outlier Gradient Masking en SAR

Een kernbijdrage van het artikel is de identificatie van een faalmodus in standaard RL met Verifiable Rewards (RLVR) genaamd Outlier Gradient Masking.

• Het Probleem: Standaard globale norm-rewards (bijv. $R = \exp(-\|r\|_2^2)$) aggregeren alle constraint-residualen in een enkele scalaire waarde. In hoogdimensionale constraint-ruimtes zorgt een enkele ernstig overtreden beperking (een outlier) ervoor dat de globale norm naar bijna nul gaat, waardoor het reward-signaal voor alle andere voldane beperkingen instort. Deze "alles-of-niets" schaling neutraliseert de policy gradient, waardoor het model niet kan leren van gedeeltelijke vooruitgang.

• De Oplossing (SAR): De auteurs stellen Saturating Additive Rewards (SAR) voor. In plaats van residualen globaal te aggregeren, deelt SAR de reward op in een som van onafhankelijke, begrensde kernels voor elke beperking:
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  waarbij $\phi$ een monotoon dalende kernel is (bijv. Boltzmann $\phi(r) = e^{-r/T}$). Dit zorgt ervoor dat vooruitgang op voldane beperkingen een niet-nul gradiëntsignaal behoudt, zelfs wanneer andere beperkingen worden overtreden.

• Composiete Reward: Om de "reward plateau" (waar gedeeltelijke voldoening een hoge reward oplevert maar faalt om exacte oplossingen te bereiken) en "geometrische degeneratie" (triviale oplossingen zoals het laten samenvallen van alle punten tot één coördinaat) aan te pakken, combineert de uiteindelijke rewardfunctie:

  1. Dense Shaping (SAR): Biedt continue gradiënten voor gedeeltelijke vooruitgang.
  2. Sparse Bonus: Een binaire reward die alleen wordt geactiveerd wanneer alle beperkingen zijn voldaan ($\|r\|_2^2 < 10^{-3}$).
  3. Degeneracy Penalty: Trekt reward af voor triviale configuraties (bijv. samenvallende punten).

Trainingsprotocol

Het framework werd geëvalueerd met Qwen3-8B als het basismodel.

• Data: Een procedurele pijplijn genereerde ~100k gevalideerde trainingsproblemen, gestratificeerd in Easy, Medium en Hard niveaus.
• Benaderingen: De auteurs vergeleken Supervised Fine-Tuning (SFT) met gewogen loss (gebruikmakend van genormaliseerde rewards) met Reinforcement Learning met behulp van Group Relative Policy Optimization (GRPO).
• Baselines: Vergelijkingen werden gemaakt met standaard globale norm-rewards (MSE-gebaseerd), sparse binaire rewards, en de voorgestelde SAR+S+D.

Belangrijkste Resultaten

Prestaties op Benchmarks

De auteurs evalueerden modellen op PyGeoX-Bench (300 gestratificeerde problemen) en PyGeoX-Wild (86 out-of-distribution problemen aangepast van middle-school geometrie benchmarks).

• SAR Superioriteit: De composiete SAR+S+D reward presteerde aanzienlijk beter dan de standaard sparse en globale norm-rewards. Op het "Hard" niveau bereikte SAR+S+D een solving rate (SR) van 0.41 (RL) en 0.32 (SFT), vergeleken met 0.18 en 0.04 respectievelijk voor MSE+S+D.
• Validatie van Gradient Masking: Empirische analyse van 3.893 gedeeltelijk correcte oplossingen toonde aan dat 60% van de MSE-gebaseerde rewards instortte naar bijna nul, waardoor ze ononderscheidbaar werden voor de optimizer. In tegenstelling hiertoe vielen 97% van de SAR-rewards binnen het informatieve bereik $[0.1, 0.9]$, waardoor relatieve verschillen tussen oplossingen behouden bleven.
• Token Efficiëntie: Modellen getraind met SAR+S+D vereisten ~22.8% minder tokens om problemen op te lossen vergeleken met sparse baselines, wat wijst op directere redeneerpaden.
• Concurrentiekracht: Het resulterende 8B model (0.41 SR op Hard) presteerde beter dan drie van de vier geëvalueerde frontier closed-source systemen (inclusief DeepSeek-V3.2) op het Hard niveau, ondanks dat het aanzienlijk kleiner is.

Bewijs van Internalisering

Het artikel betoogt dat het model geometrische wetten heeft geïnternaliseerd in plaats van trainingsdata te memoriseren, gebaseerd op drie bewijslijnen:

1. Constructieve Traces: ~90% van de succesvolle traces volgde stapsgewijze constructieve afleidingen (liniaal-en-passer stijl) in plaats van black-box optimalisatie-oproepen.
2. OOD Transfer: Het model behield een hoge prestatie op PyGeoX-Wild, die menselijk geschreven proza en ongeziene combinaties van beperkingen bevatte.
3. Combinatorische Onmogelijkheid: De oplossingsruimte voor Hard problemen overstijgt $10^{17}$ configuraties, wat de trainingsset verre overstijgt en memorisatie statistisch onmogelijk maakt.

Betekenis en Claims

Het artikel beweert het eerste framework te presenteren dat end-to-end Geometric Constraint Solving formuleert als een LLM-alignment taak, bewegend voorbij het "vertaler"-paradigma. De primaire betekenis ligt in:

1. Reward Design: Het identificeren en oplossen van het "Outlier Gradient Masking" probleem, en het aantonen dat dense, per-constraint residual signalen essentieel zijn voor het trainen van LLM's op taken met meerdere beperkingen.
2. Infrastructuur: Het vrijgeven van PyGeoX, een differentiabele geometrische engine die ongelijkheidsbeperkingen en complexe algebraïsche relaties ondersteunt, samen met PyGeoX-Bench en PyGeoX-Wild voor rigoureuze evaluatie.
3. Generaliseerbaarheid: De auteurs stellen dat de SAR-benadering toepasbaar is op elke RLVR-setting waarbij een solver een multidimensionale residual vector teruggeeft, zoals fysieke simulatie, scène-indeling of robotmanipulatie.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de huidige resultaten beperkt zijn tot 2D statische geometrie en dat de aanpak een basismodel vereist met sterke wiskundige en programmeer-capaciteiten (omdat kleinere modellen niet convergeerden). Ze beweren niet algemeen technisch ontwerp te hebben opgelost, maar hebben een levensvatbaar pad geëtableerd voor LLM's om geometrische wetten te internaliseren in precisie-kritische domeinen.