GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

Titel: GeometryZero: Vooruitgang in het oplossen van meetkundige problemen via Group Contrastive Policy Optimization

1. Het Probleem

Hoewel grote taalmodellen (LLMs) aanzienlijke vooruitgang hebben geboekt in wiskundig redeneren, blijft meetkunde een uitdagend domein. De kern van het probleem ligt in de noodzaak van hulpconstructies (zoals het trekken van hulplijnen in diagrammen) om complexe problemen op te lossen.

• Bestaande beperkingen: Eerdere methoden presteren vaak onvoldoende of zijn afhankelijk van enorme modellen (zoals GPT-4o), wat ze onbetaalbaar maakt voor bredere toepassing.
• Het dilemma bij Reinforcement Learning (RL): Bestaande RL-methoden met verifieerbare beloningen (zoals GRPO) worden vaak toegepast met onvoorwaardelijke beloningen voor het gebruik van hulpmiddelen. Dit leidt tot een "indiscriminatie" probleem: modellen worden gestimuleerd om altijd hulplijnen te tekenen, zelfs wanneer dit onnodig is of zelfs schadelijk voor de oplossing (bijvoorbeeld door het verstoren van de logica of het introduceren van fouten). Modellen leren niet wanneer ze een constructie moeten gebruiken, maar alleen hoe.

2. Methodologie: Group Contrastive Policy Optimization (GCPO)

De auteurs stellen GCPO voor, een nieuw RL-framework dat specifiek is ontworpen om modellen te leren selectief hulpconstructies toe te passen. GCPO bouwt voort op GRPO (Group Relative Policy Optimization) maar introduceert twee cruciale componenten:

• Group Contrastive Masking (GCM):

  • In plaats van een onvoorwaardelijke beloning te geven voor het gebruik van hulpmiddelen, vergelijkt GCPO twee groepen van rollouts (generaties): één groep waarbij het model wel probeert een hulpconstructie te maken en één groep waarbij het model geen constructie maakt.
  • Als de groep met constructies gemiddeld een hogere nauwkeurigheidsbeloning behaalt dan de groep zonder, wordt de beloning voor het gebruik van de constructie positief gemaskeerd (beloning).
  • Als de constructie de prestaties verslechtert, wordt de beloning negatief gemaskeerd (straf).
  • Als het verschil verwaarloosbaar is, wordt de beloning nul (geen signaal).
  • Dit mechanisme leert het model dynamisch wanneer een tool (hulpconstructie) nuttig is en wanneer het beter is om af te zien.

• Length Reward:

  • Om dieper en meerdimensionaal redeneren te stimuleren (nodig voor complexe constructies), wordt een lengtebeloning toegevoegd. Deze moedigt langere redeneerketens aan, binnen een bepaald maximum, om de "aha-momenten" en reflectiestappen in het denkproces te bevorderen.

• GeometryZero:

  • Op basis van GCPO hebben de auteurs GeometryZero ontwikkeld: een familie van betaalbare, lichtgewicht modellen (van 1.5B tot 7B parameters) die gespecialiseerd zijn in meetkundig redeneren. Deze modellen kunnen autonomisch beslissen of ze hulplijnen moeten tekenen (via code zoals TikZ) of direct moeten redeneren.

3. Belangrijkste Bijdragen

1. Validatie van Selectief Gebruik: Het paper toont aan dat LLMs complexe meetkundige taken beter oplossen wanneer ze leren selectief hulpconstructies toe te passen, in plaats van ze blindelings toe te passen.
2. GCPO Framework: De introductie van een nieuwe RL-methode die conditionele beloningen biedt. Dit voorkomt dat modellen overmatig afhankelijk worden van hulpmiddelen, terwijl het de voordelen behoudt wanneer constructies strategisch gerechtvaardigd zijn.
3. GeometryZero Familie: De training en evaluatie van een reeks lichtgewicht modellen die state-of-the-art prestaties leveren op meetkundebenchmarks, zonder de noodzaak van kolossale modellen.

4. Resultaten

De experimenten zijn uitgevoerd op benchmarks zoals Geometry3K, Geomverse, MathVista en OlympiadBench.

• Superieure Prestaties: GeometryZero-modellen (zowel 1.5B, 3B als 7B) presteren consistent beter dan RL-baselines zoals GRPO en ToRL (Tool RL).
  • Bijvoorbeeld: GeometryZero-7B behaalde een gemiddelde score van 57.47 over alle benchmarks, vergeleken met 55.63 voor GRPO en 54.72 voor ToRL.
• Generalisatie: De modellen tonen sterke generalisatie op out-of-distribution (OOD) data (zoals MathVista en OlympiadBench), wat aangeeft dat ze het concept van "wanneer te construeren" hebben geleerd in plaats van alleen patronen te memoriseren.
• Ablatiestudies: Het verwijderen van de "Group Contrastive Masking" of de "Length Reward" leidt tot een duidelijke prestatiedaling, wat bewijst dat beide componenten essentieel zijn voor het succes van het framework.
• Visuele Modellen: De methode werkt ook effectief op Vision-Language Models (VLMs), waarbij de model de hulplijnen visueel kan renderen en gebruiken in het redeneringsproces.

5. Betekenis en Impact

• Efficiëntie: Het paper demonstreert dat het niet nodig is om enorme modellen (zoals GPT-4o) te gebruiken om complexe meetkundige problemen op te lossen. Kleiner, goedkoper getrainde modellen kunnen dit even goed of beter doen door slimme RL-strategieën.
• Intelligent Tool Use: Het biedt een nieuw paradigma voor het trainen van modellen in tool-use. In plaats van modellen te dwingen tools te gebruiken, leert GCPO hen de contextuele geschiktheid van een tool te beoordelen. Dit is een belangrijke stap naar meer robuuste en mensachtige redeneermodellen.
• Toekomstige Richting: De resultaten suggereren dat verifieerbare beloningen en contrastieve leermechanismen een krachtige route zijn voor het verbeteren van redeneercapaciteiten in andere complexe domeinen waar "tool use" of "hulpstappen" contextafhankelijk zijn.

Kortom, GeometryZero bewijst dat door slimme, conditionele beloningssystemen (GCPO) kleine modellen kunnen leren om complexe meetkundige problemen op te lossen door strategisch en selectief gebruik te maken van hulpconstructies, waardoor ze superieur presteren aan eerdere methoden die onvoorwaardelijk afhankelijk waren van hulpmiddelen.