🤖 AI

Socratic-Geo: Synthetic Data Generation and Geometric Reasoning via Multi-Agent Interaction

Socratic-Geo est un cadre multi-agents entièrement autonome qui couple dynamiquement la génération de données synthétiques avec l'apprentissage de modèles pour surmonter la rareté des données de raisonnement géométrique de haute qualité, atteignant des performances de pointe tant en raisonnement qu'en génération d'images avec nettement moins de ressources que les bases de référence existantes.

Auteurs originaux : Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève comment résoudre des problèmes de géométrie complexes, mais que vous souffrez d'une grave pénurie de bons manuels scolaires. Les rares livres dont vous disposez sont soit trop chers à l'achat, soit truffés d'erreurs, soit simplement pas assez stimulants. C'est l'état actuel de l'IA : les modèles de langage multimodaux (MLLM) sont excellents pour comprendre les images et les mots, mais ils peinent avec la géométrie car il n'existe pas assez de paires « image et problème » de haute qualité pour les entraîner.

Le document présente Socratic-Geo, un nouveau système qui agit comme un groupe d'étude à trois personnes capable de s'auto-améliorer pour résoudre ce problème. Au lieu d'attendre que des humains écrivent de nouveaux problèmes, ce système construit son propre programme scolaire à partir de zéro, en partant de seulement 108 problèmes de base (comme une seule page d'un manuel).

Voici comment fonctionne le « groupe d'étude », en utilisant des analogies simples :

Les trois agents (Le groupe d'étude)

L'Enseignant (L'Architecte et le Critique)
- Rôle : L'Enseignant ne se contente pas d'écrire des questions ; il les construit en utilisant du code. Imaginez un enseignant qui dessine un diagramme géométrique parfait sur un ordinateur en utilisant un ensemble précis d'instructions (code Python).
- La touche « Socratique » : L'Enseignant ne fait pas que deviner. Il possède deux vérifications internes :
  - Réflexion : « Ce problème est-il réellement soluble ? » (Vérification mathématique).
  - RePI : « L'image correspond-elle vraiment à la description ? » (Vérification visuelle).
- Action : Si l'élève se trompe, l'Enseignant ne donne pas simplement la réponse. Il analyse pourquoi l'élève a échoué, puis réécrit le code pour créer un nouveau problème, légèrement plus difficile, qui cible spécifiquement cette faiblesse.
Le Résolveur (L'Élève)
- Rôle : C'est le modèle d'IA qui tente d'apprendre. Il regarde l'image et la question, puis tente de résoudre le problème.
- Comment il apprend : Il ne se contente pas de mémoriser les réponses de l'Enseignant. Au contraire, il essaie, échoue, reçoit un signal simple « Vrai » ou « Faux », et réessaie. C'est comme apprendre par essais et erreurs. Lorsqu'il échoue de manière répétée, il signale à l'Enseignant de créer une nouvelle leçon ciblée.
Le Générateur (L'Illustrateteur)
- Rôle : Cet agent apprend à dessiner. Il observe le code de l'Enseignant et les images qui en résultent.
- La Magie : L'Enseignant crée des dessins mathématiquement parfaits en utilisant du code. Le Générateur apprend à imiter ce processus, transformant des instructions textuelles en images géométriques de haute qualité. C'est comme un apprenti artiste observant un maître peintre et apprenant à reproduire parfaitement les traits.

Le Cycle : Une boucle de rétroaction

Le système fonctionne en une boucle continue :

La Lutte : Le Résolveur tente un problème et échoue.
Le Diagnostic : L'Enseignant analyse l'échec. « Ah, l'élève n'a pas compris comment utiliser la règle de l'angle de 60 degrés. »
L'Invention : L'Enseignant écrit un nouveau code pour créer un diagramme qui force l'élève à utiliser précisément cette règle. Il vérifie que les mathématiques et le dessin sont parfaits.
La Leçon : Le Résolveur tente le nouveau problème.
L'Art : Pendant ce temps, le Générateur apprend du code de l'Enseignant pour devenir meilleur dans le dessin de ces diagrammes à partir de zéro.

Pourquoi est-ce une avancée majeure ? (Les Résultats)

Le document affirme que cette méthode est incroyablement efficace et puissante :

Efficacité des données : Alors que d'autres méthodes nécessitent des milliers d'exemples créés par des humains, Socratic-Geo est parti de seulement 108 problèmes. Il a développé son propre ensemble de données pour atteindre environ 2 500 problèmes et a obtenu de meilleurs résultats que des modèles entraînés sur plus de 10 000 exemples humains. C'est comme apprendre tout un semestre de mathématiques en étudiant seulement quelques pages de notes, à condition que ces notes soient parfaitement sélectionnées.
Capacité de raisonnement : Le « Résolveur » a amélioré ses scores aux tests de géométrie de 4,13 points par rapport aux méthodes standards, en utilisant seulement un quart des données habituelles.
Capacité de dessin : Le « Générateur » est devenu le meilleur modèle open-source pour dessiner des diagrammes mathématiques. Il a obtenu un score de 42,4 % à un test difficile, battant des modèles commerciaux comme Seedream-4.0 et se rapprochant très près du haut niveau de Gemini-2.5-Flash-Image.

L'Innovation Fondamentale

La plupart des systèmes d'IA actuels sont comme une rue à sens unique : les données sont créées, puis l'IA apprend à partir d'elles. Si les données sont mauvaises, l'IA prend de mauvaises habitudes.

Socratic-Geo est une boucle fermée. L'IA apprend, indique au système ses faiblesses, et le système corrige immédiatement les données pour répondre aux besoins de l'IA. C'est un moteur d'auto-correction où l'« Enseignant » et l'« Élève » évoluent ensemble, garantissant que chaque pièce de donnée générée est de haute qualité, mathématiquement exacte et parfaitement adaptée à ce que l'IA doit apprendre ensuite.

En bref : Socratic-Geo est une machine d'auto-apprentissage qui construit son propre manuel parfait et ses propres illustrations parfaites, en partant de presque rien, pour maîtriser l'art difficile du raisonnement géométrique.

Résumé Technique : Socratic-Geo

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) ont progressé de manière significative dans la compréhension vision-langage, mais restent sévèrement limités par le raisonnement géométrique. Cette limitation provient de l'extrême rareté des paires image-texte de haute qualité nécessaires à l'entraînement. Les solutions existantes font face à des compromis critiques :

Annotation Humaine : Prohibitivement coûteuse et chronophage.
Méthodes Automatisées : Échouent à garantir simultanément la fidélité, la diversité et l'efficacité de l'apprentissage.
- L'augmentation textuelle basée sur l'image est passive, affinant les descriptions pour des images existantes sans créer de nouvelles structures.
- La génération aléatoire pilotée par le symbolisme repose sur une exploration aveugle et un filtrage heuristique, déconnectant la génération des besoins d'apprentissage.
- L'augmentation pilotée par les LLM agit souvent comme un amplificateur "boîte noire", héritant de biais et manquant de contrôle fin sur les structures géométriques.
Paradigmes Statiques : La plupart des approches existantes produisent des ensembles de données unidirectionnels où la synthèse est déconnectée du processus d'apprentissage du modèle, manquant ainsi les opportunités d'amélioration itérative basées sur les faiblesses du modèle.

2. Méthodologie : Le Cadre Socratic-Geo

Les auteurs proposent Socratic-Geo, un cadre entièrement autonome et dynamique qui couple la synthèse de données avec l'apprentissage du modèle via une interaction multi-agents. Inspiré de la méthode socratique, le système fonctionne comme un moteur en boucle fermée piloté par trois agents spécialisés : le Professeur (Teacher), le Résolveur (Solver) et le Générateur (Generator).

2.1 L'Agent Professeur (Constructeur Proactif)

Le Professeur génère des scripts Python paramétrés pour créer des problèmes géométriques, employant une boucle « concevoir-et-vérifier » pour garantir la pureté et la validité :

Réflexion (Vérificateur de Solvabilité) : Vérifie la validité mathématique et la solvabilité.
RePI (Validateur Visuel) : S'assure que le diagramme rendu correspond parfaitement à la description textuelle et aux axiomes géométriques.
Flux de travail :
1. Diagnostic : Analyse les chemins d'échec du Résolveur pour identifier des faiblesses de raisonnement spécifiques (ex: axiomes manquants, incohérences sémantiques).
2. Invention : Modifie de manière programmatique le code Python sous-jacent pour construire un nouveau problème ciblant explicitement ces faiblesses.
3. Qualification : Auto-vérifie le nouveau problème en le résolvant ; seuls les triplets validés sont admis dans le curriculum.

2.2 L'Agent Résolveur (Apprentissage par Renforcement)

Le Résolveur évolue via l'Optimisation de Politique Relative au Groupe (GRPO), un algorithme d'apprentissage par renforcement conçu pour les tâches avec des récompenses vérifiables.

Paradigme d'Entraînement : Le Résolveur apprend exclusivement par essais et erreurs. Il n'observe pas le raisonnement par étapes (chain-of-thought) du Professeur ni les solutions de référence pendant l'entraînement.
Signal de Récompense : Il reçoit des signaux de récompense binaires indiquant la correction. Si les $k$ tentatives échouent, le Professeur injecte la solution de référence vérifiée comme unique exemple positif pour guider la mise à jour de la politique.
Évolution du Curriculum : Le curriculum $C$ croît de manière itérative. Les problèmes que le Résolveur ne parvient pas à résoudre déclenchent l'invention par le Professeur de versions améliorées, garantissant que le jeu de données s'adapte aux capacités évolutives du Résolveur.

2.3 L'Agent Générateur (Sous-produit Synergique)

Le Générateur opère indépendamment de la boucle de raisonnement mais exploite les actifs créés par le Professeur.

Distillation : Le Professeur traduit ses instructions de dessin programmatiques (code Python) en instructions de dessin en langage naturel ( $p_{diagram}$ ).
Entraînement : Le Générateur, un modèle de diffusion, est affiné sur des triplets (instruction, image) de haute qualité. Cela distille l'intelligence de dessin symbolique et basée sur des règles du Professeur dans les poids neuronaux du Générateur, lui permettant de produire des diagrammes géométriquement précis à partir de prompts textuels.

3. Contributions Clés

Synthèse Programmatique Orientée vers un Objectif : Un paradigme qui établit des objectifs de génération en diagnostiquant les faiblesses de l'apprenant et améliore les structures d'images via la modification de code. Ceci est soutenu par le mécanisme Reflect-RePI pour l'auto-correction proactive, garantissant la validité mathématique et visuelle.
Cadre d'Interaction Multi-Agents : Socratic-Geo couple étroitement la synthèse et l'apprentissage. L'interaction Professeur-Résolveur stimule l'évolution du raisonnement, tandis que le Générateur étend cette capacité à la génération d'images géométriques contrôlables à partir de données programmatiques.
Haute Efficacité des Données : Le cadre atteint des résultats de pointe en partant de seulement 108 problèmes de base, démontrant qu'un petit curriculum itératif de haute qualité surpasse les ensembles de données statiques à grande échelle.

4. Résultats Expérimentaux

4.1 Performance du Résolveur (Raisonnement Géométrique)

Évalué sur six benchmarks (MathVerse, GeoQA, MathVision, MathVista, WeMath, GeomVerse) :

Performance : Le Socratic-Solver a atteint une précision moyenne globale de 49,11 %.
Comparaison : Cela représente une amélioration de +4,13 points par rapport à la ligne de base zero-shot et surpasse la base la plus forte (GeoReasoning) de 2,43 points.
Efficacité des Données : Le modèle a obtenu ces résultats en utilisant seulement 2,5k échantillons d'entraînement synthétiques (un quart des données utilisées par les bases comme R-CoT ou GeoReasoning qui utilisent 7,2k–10k échantillons).

4.2 Performance du Générateur (Texte-vers-Image)

Évalué sur le benchmark GenExam-Math :

Performance : Le Socratic-Generator a atteint un score relaxé de 42,4 %.
Comparaison : Cela établit un nouveau record pour les modèles open-source, surpassant Seedream-4.0 (39,8 %) et approchant la performance du modèle propriétaire Gemini-2.5-Flash-Image (43,1 %).
Score Strict : A atteint un score strict de 6,0, surpassant nettement le modèle de base Qwen-Image (0,0).

4.3 Études d'Ablation

Module Qualify : Le retrait de l'étape de vérification a entraîné une chute de performance (en dessous de la ligne de base zero-shot), confirmant que les données synthétiques non vérifiées introduisent des erreurs qui dégradent l'apprentissage.
RL vs. SFT : L'entraînement par apprentissage par renforcement (RL) a surpassé l'apprentissage supervisé (SFT) de 1,74 % sur des données identiques, prouvant que le paradigme d'apprentissage par essais et erreurs est supérieur à l'apprentissage par imitation pour cette tâche.
Capacité du Professeur : Les gains de performance ont été principalement tirés par l'accès du Professeur aux journaux d'échec et au code du Résolveur (« privilège d'information ») plutôt que par la capacité brute du modèle ; même un Professeur de 3 milliards de paramètres a surpassé les bases entraînées sur 10k échantillons.

5. Signification et Revendications

L'article affirme que Socratic-Geo répond au goulot d'étranglement critique de la rareté des données géométriques en passant d'une génération de données statique et unidirectionnelle à une boucle fermée de synthèse-apprentissage dynamique.

Moteur d'Auto-Amélioration : Le cadre démontre qu'un système peut étendre un curriculum hautement informatif à partir d'un ensemble de graines minimal en identifiant et en traitant continuellement les faiblesses de raisonnement.
Double Efficacité : Il réussit à unifier l'amélioration des capacités de raisonnement (Résolveur) avec la génération de contenu visuel de haute fidélité (Générateur), prouvant que le contrôle programmatique peut combler le fossé entre la logique symbolique et la représentation visuelle.
Scalabilité : Les auteurs postulent que ce moteur de données auto-améliorant et scalable peut être étendu à d'autres domaines STEM au-delà de la géométrie, offrant une voie pour surmonter les limites de données dans les tâches de raisonnement multimodal complexes.