Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Les auteurs proposent GeoCode, un nouveau jeu de données généré à partir de zéro pour le raisonnement géométrique multimodal qui améliore l'alignement visuel-symbolique via la prédiction de code de tracé et démontre des performances supérieures sur plusieurs benchmarks.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment résoudre des problèmes de géométrie, comme ceux qu'on trouve dans les manuels scolaires ou les concours de mathématiques.

Le Problème : Le Robot est "Aveugle" aux Formes

Actuellement, les intelligences artificielles (IA) sont très fortes pour lire du texte et très fortes pour regarder des photos de chats ou de paysages. Mais quand il s'agit de géométrie, elles ont un gros problème : elles ne comprennent pas vraiment le lien entre le dessin et la logique.

C'est comme si on donnait à un élève un énoncé de problème écrit en français, mais qu'on lui interdisait de regarder le dessin. Il doit deviner la forme du triangle ou la position des points uniquement grâce aux mots. Souvent, l'IA se trompe car elle "devine" la réponse en se basant sur des mots-clés plutôt que sur la structure réelle du dessin.

La Solution : Créer une "Usine à Problèmes" (GeoCode)

Les chercheurs de cette étude (de l'HKUST, JLU, etc.) ont décidé de ne pas chercher de problèmes existants, mais de construire leur propre usine à problèmes de zéro. Ils ont créé un dataset (une bibliothèque de données) appelé GeoCode.

Voici comment leur "usine" fonctionne, étape par étape, avec une analogie :

1. L'Architecte (La Graine Symbolique)

Au lieu de dessiner au hasard, ils commencent par un plan abstrait, comme un architecte qui dessine les fondations d'une maison sans encore choisir la couleur des murs.

• Ce qu'ils font : Ils utilisent un système logique pour créer des relations mathématiques pures (ex: "Le point A est perpendiculaire au point B").
• L'analogie : C'est comme écrire une recette de cuisine purement logique : "Si tu as de la farine et des œufs, tu peux faire un gâteau", sans encore avoir les ingrédients.

2. Le Constructeur (L'Instantiation)

Ensuite, ils donnent ces plans à un grand modèle de langage (une IA très intelligente) pour qu'il remplisse les détails.

• Ce qu'ils font : L'IA choisit des nombres réels (ex: "Le côté mesure 5 cm"), écrit l'énoncé du problème en langage naturel et explique comment le résoudre.
• L'analogie : C'est l'étape où l'on achète les ingrédients et où l'on écrit les instructions précises pour le cuisinier.

3. Le Dessinateur Automatique (Le Code de Tracé)

C'est ici que la magie opère. Au lieu de simplement générer une image, l'usine génère du code informatique (du "code de tracé") qui dessine le diagramme.

• Ce qu'ils font : Le code dit exactement : "Place un point ici, trace une ligne là, fais un cercle de ce rayon".
• L'analogie : Imaginez que pour construire une maison, on ne donne pas juste une photo de la maison finie, mais les plans de construction exacts (les coordonnées de chaque brique). Si le code dit "murs droits", le dessin sera droit. Si le code dit "cercle parfait", le dessin sera parfait.

L'Innovation Clé : Apprendre par le Code, pas par le Texte

C'est le cœur de leur découverte. Habituellement, on apprend à une IA à résoudre un problème en lui montrant le dessin et la réponse finale. Ici, ils ajoutent une étape cruciale : ils forcent l'IA à prédire le code de tracé avant de donner la réponse.

• L'analogie du "Dessin sur le dos" : Imaginez que vous voulez apprendre à quelqu'un à reconnaître un triangle.
  • Méthode ancienne : Vous montrez un triangle et dites "C'est un triangle". L'IA mémorise l'image.
  • Méthode GeoCode : Vous montrez le triangle et dites : "Pour dessiner ça, tu dois d'abord placer un point ici, puis tracer une ligne de 5 cm vers la droite, puis un angle de 60 degrés...".
  • Pourquoi c'est mieux ? En obligeant l'IA à écrire le "code" (les instructions de construction), elle est obligée de comprendre la structure du dessin. Elle ne peut plus tricher en regardant juste les mots. Elle doit "voir" la géométrie pour pouvoir la reconstruire.

Les Résultats : Un Entraînement de Haute Qualité

Grâce à cette méthode, ils ont créé 18 000 problèmes de géométrie qui sont :

1. Plus difficiles que ceux qu'on trouve habituellement (comme des problèmes d'olympiades).
2. Parfaitement cohérents (le dessin correspond toujours à l'énoncé, pas d'erreurs).
3. Vérifiés : Chaque problème passe par des contrôles mathématiques stricts pour s'assurer qu'il n'y a pas d'erreur.

Quand ils ont entraîné des IA avec ces nouveaux problèmes, les modèles sont devenus beaucoup plus forts. Ils ne se contentent plus de deviner ; ils arrivent à "voir" la structure géométrique cachée dans les images et à raisonner logiquement, même sur des problèmes très complexes qu'ils n'ont jamais vus auparavant.

En Résumé

Cette recherche dit : "Pour apprendre à une IA à faire de la géométrie, ne lui donnez pas juste des images et des réponses. Donnez-lui les plans de construction (le code) pour qu'elle apprenne à reconstruire le monde géométrique elle-même."

C'est comme passer d'un élève qui apprend par cœur les réponses à un élève qui comprend vraiment comment les formes sont construites.

Résumé technique

Titre : Synthèse de jeux de données géométriques multimodaux à partir de zéro et alignement visuel via le code de tracé

1. Problématique

Le raisonnement géométrique multimodal exige que les modèles comprennent simultanément des diagrammes visuels et effectuent un raisonnement symbolique structuré. Cependant, les modèles actuels de vision-langage (VLM) échouent souvent face à des constructions géométriques complexes pour deux raisons principales :

• Manque de données d'entraînement : Les jeux de données existants sont souvent générés manuellement ou par échantillonnage limité, ce qui entraîne une faible diversité structurelle et une profondeur de raisonnement insuffisante.
• Alignement visuel-symbolique faible : L'alignement entre l'image et le symbole est généralement supervisé uniquement par la réponse finale ou le raisonnement textuel. Cela laisse la récupération de la structure géométrique à partir du diagramme comme une tâche implicite et mal contrainte, conduisant les modèles à s'appuyer sur des corrélations linguistiques plutôt que sur une reconstruction visuelle fidèle.

L'objectif est de surmonter ces limites en synthétisant des problèmes géométriques complexes avec une garantie de cohérence mathématique et en introduisant un mécanisme d'alignement explicite.

2. Méthodologie

Les auteurs proposent un pipeline de génération de données en trois étapes, aboutissant à la création du jeu de données GeoCode, et introduisent une nouvelle stratégie d'apprentissage basée sur le code.

A. Pipeline de Génération (GeoCode)
Le processus de synthèse est décomposé en trois modules vérifiables pour assurer la cohérence entre la structure symbolique, le texte, le raisonnement et l'image :

1. Génération de Graines Symboliques (Seed Generation) :
   • Utilisation de systèmes de preuve formelle (comme AlphaGeometry) pour construire des structures géométriques symboliques basées sur des prédicats (incidence, parallélisme, perpendicularité, etc.).
   • Un "Target Finder" analyse les graphes de dépendance pour s'assurer que la structure admet des chaînes de déduction non triviales.
   • Sélection des graines les plus complexes et riches structurellement.
2. Instantiation Ancrée (Grounded Instantiation) :
   • Un modèle de langage (LLM) agit comme un "Instructeur" pour attribuer des valeurs numériques concrètes (respectant les contraintes symboliques, ex: triples pythagoriciennes), générer l'énoncé du problème en langage naturel et produire une trace de raisonnement (Chain-of-Thought).
   • Un module "Coder" génère du code de tracé (plotting code) exécutable (Python) pour calculer les coordonnées exactes de tous les points géométriques. Ce code est exécuté dans un bac à sable pour vérifier la validité géométrique.
3. Visualisation et Débiaisage (Visualization & Debiasing) :
   • Rendu des diagrammes via OpenCV à partir du code de tracé.
   • Débiaisage textuel : Suppression de toutes les informations de l'énoncé qui peuvent être déduites directement du diagramme (ex: positions relatives, intersections visibles). Cela force le modèle à extraire les relations géométriques de l'image plutôt que de les lire dans le texte.
   • Validation multi-étapes (sémantique, géométrique par coordonnées, qualité visuelle) pour éliminer les échantillons incohérents.

B. Stratégie d'Alignement par Code (Code-Based Alignment)
Au-delà de la génération de données, l'article propose une nouvelle tâche d'apprentissage :

• Au lieu de superviser uniquement la réponse finale, le modèle est entraîné à prédire le code de tracé (une représentation structurée JSON/DSL décrivant les points, segments, cercles et annotations) directement à partir de l'image et de la question.
• Cela transforme la compréhension visuelle en une tâche de prédiction structurée et vérifiable, forçant le modèle à reconstruire explicitement la géométrie sous-jacente avant de raisonner.

3. Contributions Clés

1. Pipeline de Synthèse de Zéro : Une méthode modulaire pour générer des problèmes géométriques complexes avec une garantie de cohérence cross-modale (symbole, texte, raisonnement, image).
2. Jeu de Données GeoCode : Un ensemble de données de 18 000 problèmes géométriques multimodaux, incluant des diagrammes, des solutions et du code de tracé. Ce dataset présente une complexité structurelle et une difficulté de raisonnement supérieures aux benchmarks existants.
3. Alignement Explicite via le Code : L'introduction du code de tracé comme objectif de supervision explicite pour l'alignement visuel-symbolique, permettant un apprentissage structuré des relations géométriques.
4. Validation Empirique : Démonstration que l'entraînement sur GeoCode améliore les performances sur plusieurs benchmarks publics, y compris dans des scénarios hors distribution (OOD).

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de base comme Qwen2.5-VL et Qwen3-VL.

• Performance sur les Benchmarks Publics : Les modèles entraînés sur GeoCode montrent des améliorations constantes sur des ensembles de données tels que Geometry3K, GeoQA, MathVerse et OlympiadBench.
  • Exemple notable : Sur OlympiadBench (très difficile), Qwen3-VL a gagné +11,52 points par rapport à la ligne de base.
• Étude Ablative :
  • La supervision par code de tracé surpasse significativement la supervision par légendes textuelles (captions) ou l'absence d'alignement.
  • L'analyse montre que la capacité du modèle à récupérer correctement la structure (mesurée par le F1 au niveau des segments) est fortement corrélée à la précision de la résolution du problème.
  • Le débiaisage textuel apporte des gains supplémentaires uniquement lorsqu'il est combiné à la supervision par code, confirmant que l'alignement structurel explicite est crucial.
• Qualité des Données : GeoCode contient des problèmes avec une densité d'entités et de contraintes plus élevée que les données d'entraînement standards, validant la complexité accrue du dataset.

5. Signification et Impact

Ce travail adresse un goulot d'étranglement fondamental dans le raisonnement multimodal : la difficulté des modèles à passer d'une perception visuelle à une représentation symbolique fiable.

• Changement de Paradigme : En passant d'une supervision implicite (réponse finale) à une supervision explicite (reconstruction de la structure via le code), l'article démontre que la perception géométrique peut être apprise de manière supervisée et vérifiable.
• Généralisation : La méthode prouve que des données synthétiques de haute qualité, générées avec des garanties de cohérence mathématique, peuvent améliorer les capacités de raisonnement des modèles sur des problèmes réels et complexes.
• Futur : L'approche ouvre la voie à l'utilisation du code comme interface intermédiaire pour d'autres tâches de raisonnement visuel, permettant de combler le fossé entre la perception et le raisonnement symbolique.

En résumé, GeoCode et la stratégie d'alignement par code offrent une solution robuste pour entraîner des modèles capables de comprendre et de raisonner sur des diagrammes géométriques complexes, dépassant les limitations des approches purement textuelles ou basées sur des données manuelles.