GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

Titolo: GeometryZero: Avanzamento della Risoluzione di Problemi Geometrici tramite Ottimizzazione della Politica di Contrasto di Gruppo (GCPO)

1. Il Problema

La risoluzione di problemi geometrici rappresenta una sfida significativa per i Large Language Models (LLM), richiedendo non solo la comprensione del contesto visivo (diagrammi), ma anche un ragionamento complesso che spesso necessita di costruzioni ausiliarie (es. linee aggiuntive, punti di intersezione).
Le limitazioni delle metodologie attuali includono:

• Dipendenza da modelli enormi: Le soluzioni più performanti (es. AlphaGeometry2, GPT-4o) richiedono modelli colossali, rendendole costose e difficili da distribuire.
• Costruzioni indiscriminate: I metodi basati sul Reinforcement Learning (RL) esistenti, come GRPO (Group Relative Policy Optimization) o ToRL, tendono a incoraggiare l'uso di strumenti (costruzioni ausiliarie) in modo uncondizionato. Questo porta spesso a costruzioni ridondanti o dannose che peggiorano il ragionamento invece di migliorarlo.
• Mancanza di flessibilità: I modelli non imparano quando è necessario costruire linee ausiliarie e quando è meglio ragionare direttamente, portando a errori di inferenza.

2. Metodologia: GCPO e GeometryZero

Gli autori propongono GeometryZero, una famiglia di modelli di ragionamento geometrico leggeri (da 1.5B a 7B parametri), addestrati tramite un nuovo framework di Reinforcement Learning chiamato Group Contrastive Policy Optimization (GCPO).

Il cuore della metodologia risiede in due componenti principali che modificano l'algoritmo standard GRPO:

A. Group Contrastive Masking (Mascheramento di Contrasto di Gruppo)
A differenza dei metodi RL tradizionali che assegnano ricompense positive unconditionally per l'uso di strumenti, GCPO introduce un meccanismo dinamico:

1. Durante il campionamento delle risposte, il modello genera tre gruppi di rollout:
   • Un gruppo standard ($O$).
   • Un gruppo che obbliga l'uso di costruzioni ausiliarie ($O_w$).
   • Un gruppo che vieta l'uso di costruzioni ausiliarie ($O_{wo}$).
2. Il sistema confronta l'accuratezza media tra i gruppi $O_w$ e $O_{wo}$.
3. Logica di Mascheramento:
   • Se le costruzioni ausiliarie migliorano significativamente l'accuratezza ($E(R_{acc}(O_w)) > E(R_{acc}(O_{wo})) + \epsilon$), la ricompensa per l'uso dello strumento viene positiva.
   • Se le costruzioni ausiliarie peggiorano le prestazioni, la ricompensa viene negativa (penalità).
   • Se la differenza è trascurabile, la ricompensa è zero.
     Questo insegna al modello a selezionare autonomamente quando è utile costruire linee ausiliarie.

B. Length Reward (Ricompensa per la Lunghezza)
Per incoraggiare catene di ragionamento più profonde e multidimensionali, necessarie per la geometria complessa, viene introdotta una ricompensa basata sulla lunghezza della risposta ($R_{length}$), ispirata a LCPO. Questo spinge il modello a non saltare passaggi logici cruciali.

Formulazione della Ricompensa:
La ricompensa totale $R(o_i)$ combina:

• Ricompensa di accuratezza e formato (base GRPO).
• Ricompensa ausiliaria mascherata ($\lambda \cdot Mask(R_{aux})$).
• Ricompensa di lunghezza ($\beta \cdot R_{length}$).

3. Contributi Chiave

1. Validazione dell'uso contestuale delle costruzioni: Dimostrano che i LLM possono risolvere problemi geometrici complessi utilizzando costruzioni ausiliarie, ma solo quando queste sono strategicamente giustificate dal contesto.
2. Nuovo algoritmo RL (GCPO): Introduzione di un metodo che fornisce segnali condizionali (incoraggiamento o penalità) per l'uso degli strumenti, risolvendo il problema dell'uso indiscriminato tipico dei metodi precedenti.
3. GeometryZero: Creazione di una famiglia di modelli efficienti (fino a 7B parametri) che superano i baselines RL, combinando ragionamento testuale e rappresentazioni formali (codice TikZ/Python) per descrivere i diagrammi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard come Geometry3K, Geomverse, MathVista e OlympiadBench.

• Prestazioni Superiori: GeometryZero (basato su GCPO) supera costantemente i baselines come GRPO, ToRL e modelli SFT (Supervised Fine-Tuning) su tutti i benchmark, sia in-domain che out-of-distribution (OOD).
  • Esempio: Su Geometry3K, GeometryZero-7B raggiunge il 78.81% di accuratezza, superando GRPO (79.03% su alcuni set ma con media inferiore) e ToRL.
• Efficienza dei Modelli: I modelli GeometryZero (1.5B - 7B) ottengono prestazioni competitive o superiori rispetto a modelli molto più grandi, dimostrando un eccellente effetto di scaling.
• Generalizzazione Visiva: L'applicazione di GCPO a modelli Vision-Language (Qwen2.5-VL-7B) mostra risultati superiori, sebbene i modelli puramente testuali (che ricevono il diagramma come codice formale) abbiano mostrato prestazioni leggermente migliori, suggerendo che la rappresentazione formale è più robusta per il ragionamento a catena.
• Analisi Ablativa: Rimuovere il mascheramento di contrasto (GC) o la ricompensa per la lunghezza (LR) porta a un calo delle prestazioni, confermando che entrambi i componenti sono essenziali.
• Dinamica di Addestramento: I modelli GCPO mostrano un pattern di lunghezza di risposta "crescita-declino-crescita", indicando che il modello impara prima a generare ragionamenti strutturati, poi a ottimizzarli, e infine a introdurre complessità aggiuntiva quando necessario.

5. Significato e Impatto

Il lavoro di GeometryZero segna un passo avanti significativo nell'ambito del ragionamento geometrico automatizzato:

• Democratizzazione: Dimostra che modelli di dimensioni moderate (non colossali) possono raggiungere prestazioni di livello umano in geometria se addestrati con la strategia corretta.
• Ragionamento Adattivo: Sposta il paradigma dall'uso "cieco" degli strumenti (tool-use) a un uso adattivo e critico, dove il modello impara a valutare l'utilità di una costruzione prima di eseguirla.
• Efficienza Computazionale: Offre una via praticabile per applicazioni reali che richiedono ragionamento geometrico senza i costi proibitivi di modelli da centinaia di miliardi di parametri.

In sintesi, GeometryZero non si limita a "risolvere" problemi geometrici, ma insegna al modello a pensare come un geometra, decidendo strategicamente quando e come modificare il problema per trovare la soluzione.