💬 NLP

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

Le papier présente GeometryZero, un cadre d'apprentissage par renforcement innovant nommé GCPO qui améliore le raisonnement géométrique des modèles de langage en apprenant à sélectionner judicieusement les constructions auxiliaires grâce à un masquage contrastif et une récompense de longueur, surpassant ainsi les méthodes existantes sur des benchmarks standards.

Auteurs originaux : Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

📐 Le Problème : Le Dessin qui Bloque

Imaginez que vous essayez de résoudre un casse-tête géométrique complexe. Parfois, la solution est évidente si vous tracez une petite ligne de plus sur le dessin (une "ligne auxiliaire"). C'est comme si vous regardiez un labyrinthe de haut et que vous voyiez soudain un chemin caché.

Cependant, les intelligences artificielles (les modèles de langage) ont du mal avec ça.

Soit elles sont trop "paresseuses" et ne dessinent jamais cette ligne, même quand c'est nécessaire.
Soit elles sont trop "zélées" et dessinent des lignes partout, même quand ce n'est pas utile, ce qui embrouille le problème au lieu de le résoudre.

Les méthodes actuelles utilisent des "super-intelligences" (comme GPT-4) qui sont très puissantes mais extrêmement coûteuses à faire tourner, comme essayer de conduire un camion de pompiers pour aller acheter du pain.

💡 La Solution : GeometryZero et son "Guide Intérieur"

Les chercheurs de l'article GeometryZero ont créé une nouvelle méthode pour entraîner des modèles plus petits (et moins chers) à devenir de véritables experts en géométrie. Ils ont utilisé une technique appelée GCPO (Optimisation de Politique par Contraste de Groupe).

Pour faire simple, voici comment ça marche, avec une analogie :

1. L'Entraînement par "Jumeaux" (Le Contraste de Groupe)

Imaginez que vous entraînez un élève (le modèle) pour résoudre des problèmes. Au lieu de lui donner une seule réponse, vous lui faites jouer le jeu deux fois en parallèle :

Jumeau A : Il essaie de résoudre le problème sans tracer de lignes supplémentaires.
Jumeau B : Il essaie de résoudre le même problème en traçant des lignes supplémentaires.

Ensuite, le "professeur" (l'algorithme) compare les deux résultats :

Si le Jumeau B (avec la ligne) trouve la réponse correcte et que le Jumeau A échoue : Bravo ! Le professeur dit : "Tracer la ligne était une excellente idée, tu as gagné des points !" 🌟
Si le Jumeau B se perd dans ses lignes et que le Jumeau A aurait réussi tout seul : Oups ! Le professeur dit : "Tu as tracé une ligne inutile qui t'a embrouillé. C'est une erreur, tu perds des points." ⚠️
Si les deux réussissent ou échouent de la même façon : Peu importe. Le professeur ne donne ni points ni punition.

C'est ça, le masquage contrastif : apprendre à l'IA à savoir quand utiliser son outil (la ligne) et quand s'abstenir, au lieu de l'obliger à l'utiliser tout le temps.

2. La Récompense de la "Longueur" (Le Length Reward)

Parfois, pour trouver la solution, il faut réfléchir longuement et faire plusieurs étapes. Si l'IA essaie de répondre trop vite, elle rate souvent.
Les chercheurs ont donc ajouté une petite récompense pour encourager l'IA à réfléchir plus longtemps et à détailler son raisonnement, un peu comme on encourage un détective à ne pas sauter d'étapes dans son enquête.

🚀 Le Résultat : GeometryZero

Grâce à cette méthode, GeometryZero est une famille de modèles (de la taille d'un petit chat à celle d'un grand chien) qui sont :

Économes : Ils sont beaucoup plus petits et moins chers à utiliser que les géants actuels.
Intelligents : Ils savent exactement quand tracer une ligne pour aider, et quand s'arrêter.
Efficaces : Ils battent les autres modèles (même ceux entraînés avec des méthodes plus anciennes) sur des tests de géométrie difficiles, y compris ceux qui nécessitent de l'imagination visuelle.

En Résumé

Imaginez que vous apprenez à un enfant à faire du vélo.

Les anciennes méthodes lui disaient : "Pédale toujours à fond !" (ce qui le fait tomber dans les virages).
GeometryZero, lui, lui apprend à sentir quand il faut pédaler fort et quand il faut freiner ou tourner doucement, en lui montrant les conséquences de chaque action.

C'est ainsi que ces petits modèles deviennent des champions de géométrie, capables de "voir" les solutions cachées sans avoir besoin d'être des super-ordinateurs coûteux.

Résumé Technique : GeometryZero

1. Problématique

La résolution de problèmes de géométrie par les grands modèles de langage (LLM) reste un défi majeur, en particulier lorsque la solution nécessite la construction d'éléments auxiliaires (lignes, points ou cercles supplémentaires).

Limites des approches actuelles : Les méthodes existantes soit sous-performent, soit dépendent de modèles massifs (comme GPT-4o) coûteux en calcul.
Le problème de la construction aveugle : Les méthodes d'apprentissage par renforcement (RL) récentes, comme GRPO (Group Relative Policy Optimization), encouragent souvent l'utilisation d'outils (ici, la construction de lignes auxiliaires) de manière inconditionnelle. Cela conduit les modèles à ajouter des constructions inutiles, voire nuisibles, dégradant ainsi la qualité du raisonnement et la précision de la réponse.
Besoin : Il est crucial d'enseigner au modèle non seulement comment construire des éléments auxiliaires, mais surtout quand le faire (ou quand s'en abstenir).

2. Méthodologie : GCPO (Group Contrastive Policy Optimization)

Les auteurs proposent GCPO, un cadre d'apprentissage par renforcement innovant conçu pour optimiser l'utilisation conditionnelle des constructions auxiliaires. GCPO améliore GRPO en introduisant deux mécanismes clés :

A. Masquage Contrastif de Groupe (Group Contrastive Masking)
C'est le cœur de la méthode. Au lieu d'accorder une récompense positive systématique pour toute tentative de construction auxiliaire, GCPO évalue dynamiquement l'utilité de cette action :

Échantillonnage : Pour une même question, le modèle génère trois groupes de réponses :
1. Un groupe standard ( $O$ ).
2. Un groupe forçant la construction auxiliaire ( $O_w$ ).
3. Un groupe interdisant la construction auxiliaire ( $O_{wo}$ ).
Évaluation : Le système compare les récompenses de précision (accuracy rewards) entre le groupe avec construction ( $O_w$ ) et le groupe sans ( $O_{wo}$ ).
Masquage conditionnel :
- Si la construction améliore la précision ( $E(R_{acc}(O_w)) > E(R_{acc}(O_{wo})) + \epsilon$ ), la récompense auxiliaire est positive.
- Si la construction dégrade la précision, la récompense est négative (pénalité).
- Si la différence est négligeable, la récompense est nulle.
Objectif : Apprendre au modèle à activer l'outil "construction auxiliaire" uniquement lorsqu'il est bénéfique pour le problème spécifique.

B. Récompense de Longueur (Length Reward)
Inspirée par LCPO, une récompense supplémentaire est ajoutée pour encourager des chaînes de raisonnement plus longues et plus approfondies, nécessaires pour analyser les contextes géométriques complexes et justifier les constructions.

C. Architecture du Modèle (GeometryZero)
Sur la base de GCPO, les auteurs entraînent une famille de modèles GeometryZero (de 1,5B à 7B paramètres, basés sur Qwen2.5). Ces modèles sont entraînés pour raisonner sur des problèmes géométriques décrits en langage formel (code Python/TikZ ou logique), permettant une manipulation précise des diagrammes.

3. Contributions Clés

Validation de l'utilité contextuelle : Démonstration que les LLM peuvent résoudre des tâches géométriques complexes en utilisant des constructions auxiliaires, mais seulement lorsqu'elles sont judicieusement sélectionnées.
Nouveau paradigme RL (GCPO) : Introduction d'un mécanisme de récompense conditionnelle qui évite l'usage indiscriminé des outils, permettant au modèle d'apprendre la stratégie "quand utiliser" vs "quand s'abstenir".
Famille de modèles GeometryZero : Création de modèles légers (jusqu'à 7B) spécialisés en raisonnement géométrique, surpassant les méthodes basées sur GRPO ou SFT (Supervised Fine-Tuning) classiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks : Geometry3K, Geomverse, MathVista (hors distribution) et OlympiadBench.

Performance Supérieure : GeometryZero surpasse systématiquement les modèles de base (Qwen2.5-Instruct) et les variantes entraînées avec GRPO ou ToRL (Tool-RL).
- Exemple (Modèle 7B) : GeometryZero-7B atteint 57,47 % de précision moyenne, contre 55,63 % pour GRPO et 54,72 % pour ToRL.
- Généralisation : Les gains sont particulièrement marqués sur les benchmarks hors distribution (MathVista, OlympiadBench), prouvant la capacité de généralisation du RL par rapport au SFT.
Ablation Study : L'ablation des composants montre que :
- Sans le masquage contrastif (GC), le modèle régresse vers le comportement de ToRL (usage aveugle).
- Sans la récompense de longueur, la capacité de raisonnement profond diminue.
- La combinaison des trois (Récompense auxiliaire + Masquage + Longueur) est optimale.
Analyse du Comportement : Les études de cas montrent que GeometryZero réussit à identifier les problèmes où une ligne auxiliaire est cruciale (ex: triangles isocèles, cercles) et à s'en abstenir lorsque le raisonnement direct suffit, évitant ainsi les erreurs de sur-interprétation.

5. Signification et Impact

Efficacité des Modèles de Taille Moyenne : GeometryZero démontre que des modèles de taille modeste (7B) peuvent rivaliser avec des modèles massifs (GPT-4o) en géométrie grâce à un entraînement RL ciblé, rendant ces capacités accessibles et moins coûteuses.
Apprentissage de la Stratégie d'Outil : Ce travail marque une avancée vers des agents IA capables de décider dynamiquement de l'opportunité d'utiliser un outil externe (ici, la construction géométrique), une compétence essentielle pour le raisonnement complexe au-delà de la géométrie.
Représentation Formelle : L'approche confirme que la transformation des contextes visuels en langage formel (code) pour le raisonnement est supérieure à l'analyse purement visuelle pour les tâches de géométrie exigeant une précision logique.

En conclusion, GeometryZero établit un nouvel état de l'art pour la résolution de problèmes géométriques en combinant l'apprentissage par renforcement avec une récompense conditionnelle intelligente, permettant aux modèles d'imiter le processus de réflexion humain : construire des auxiliaires uniquement lorsque cela apporte une valeur ajoutée réelle.