CodePercept: Code-Grounded Visual STEM Perception for MLLMs

Le papier présente CodePercept, une approche qui améliore la perception visuelle des modèles de langage multimodaux dans les domaines STEM en utilisant l'exécution de code comme médium perceptuel, soutenue par un nouveau jeu de données ICC-1M et un benchmark d'évaluation STEM2Code-Eval.

L'essentiel

Voici une explication simple et imagée du papier de recherche CodePercept, conçue pour être comprise par tout le monde, même sans bagage technique.

🧠 Le Problème : Pourquoi les IA échouent-elles en sciences ?

Imaginez que vous essayez de résoudre un problème de géométrie complexe ou de physique. Vous avez un élève très intelligent (l'IA) qui connaît parfaitement les formules mathématiques et la logique. Pourtant, il échoue. Pourquoi ?

L'équipe de recherche s'est posée une question fondamentale : Est-ce que l'élève est mauvais en mathématiques (raisonnement), ou est-ce qu'il est simplement myope et ne voit pas bien les détails de l'image (perception) ?

Pour le savoir, ils ont fait une expérience étrange : ils ont pris un cerveau très puissant (un gros modèle d'IA) et l'ont forcé à utiliser des "yeux" plus petits, puis l'inverse.
Le résultat surprenant ? Augmenter la puissance de "raisonnement" n'aide presque pas. En revanche, améliorer la capacité à voir et décrire précisément l'image fait exploser les performances.

La leçon : Le vrai problème n'est pas que l'IA ne sait pas penser, c'est qu'elle ne sait pas bien voir.

---

🔍 La Solution : L'IA qui "parle" en code

Comment améliorer la vision d'une IA ? Habituellement, on lui demande de décrire une image en langage naturel (ex: "Il y a un triangle rouge avec trois points"). Mais le langage humain est flou. "Rouge" peut être clair ou foncé, "trois points" peut être n'importe où.

L'équipe a eu une idée géniale : Au lieu de demander à l'IA de décrire l'image avec des mots, demandons-lui de la reconstruire avec du code.

Imaginez que vous voulez décrire un dessin à un ami.

• Méthode ancienne (Langage) : "Dessine un carré, un peu à gauche, avec un point dedans." (L'ami peut dessiner le carré trop grand ou le point au mauvais endroit).
• Méthode CodePercept (Code) : "Dessine un carré de 10cm de côté, centré en (0,0), avec un point exact en (2,2)." (L'ami, s'il suit les instructions, ne peut pas se tromper).

Le code est comme un plan d'architecte infaillible. Si l'IA peut écrire le code exact pour redessiner l'image, cela prouve qu'elle a parfaitement compris chaque détail : la position, la couleur, la taille, les relations entre les objets.

---

🛠️ Comment ont-ils fait ? (Le "Kit de Construction")

Pour entraîner leurs IA à devenir de véritables "architectes visuels", ils ont créé deux choses principales :

1. Le Super-Entraînement (ICC-1M)

Ils ont créé une bibliothèque de 1 million d'exemples (images + descriptions + code).

• L'astuce : Au lieu de laisser l'IA deviner la description (ce qui crée des hallucinations, comme inventer des détails qui n'existent pas), ils utilisent le code comme "vérité absolue".
• Analogie : C'est comme si on apprenait à un peintre en lui donnant d'abord la recette exacte du tableau (le code), puis en lui demandant de décrire ce qu'il voit. Comme il connaît la recette, sa description ne contient aucune erreur.

Ils ont aussi appris à l'IA à créer des variations de problèmes (comme changer la couleur d'un triangle ou la forme d'un graphique) pour qu'elle apprenne à voir les principes sous-jacents, pas juste à mémoriser des images.

2. Le Nouveau Test (STEM2Code-Eval)

Jusqu'à présent, on testait les IA en leur donnant un problème et en regardant si la réponse finale était juste. Mais si l'IA devine la bonne réponse sans avoir bien vu l'image, on ne le sait pas.

Ils ont créé un nouveau test où l'IA doit écrire le code pour redessiner l'image.

• Le verdict est sans appel : Si le code tourne et que l'image générée ressemble à l'originale, l'IA a bien vu. Si le code plante ou si l'image est tordue, l'IA a échoué. C'est un test objectif, comme un examen de conduite où l'on regarde si la voiture roule bien, pas seulement si le conducteur a répondu "oui" à la question "sais-tu conduire ?".

---

🚀 Les Résultats : Des yeux de faucon

Après cet entraînement spécial "Code-Perception", les modèles d'IA (basés sur la famille Qwen) sont devenus bien meilleurs :

• Ils voient les détails précis (le nombre exact de points, la position exacte d'une ligne).
• Ils font beaucoup moins d'erreurs d'interprétation.
• Ils surpassent même des modèles beaucoup plus gros et plus puissants qui n'ont pas eu cet entraînement.

🌟 En résumé

Ce papier nous dit que pour que l'IA soit brillante en sciences et en maths, il ne faut pas seulement lui donner un cerveau plus gros. Il faut lui apprendre à voir avec une précision chirurgicale.

Et la meilleure façon de le faire ? Lui apprendre à parler le langage des machines (le code) pour décrire ce qu'elle voit. C'est comme passer d'une description vague ("il y a un truc rouge") à un plan d'ingénieur précis ("un carré de 5cm à la coordonnée X"). Grâce à cette méthode, l'IA ne se contente plus de deviner, elle comprend vraiment ce qu'elle regarde.

Résumé technique

Titre : CodePercept : Perception Visuelle STEM Ancrée dans le Code pour les MLLMs

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels rencontrent des difficultés majeures dans le raisonnement visuel lié aux domaines scientifiques, technologiques, ingénierie et mathématiques (STEM). Une question fondamentale se pose : ces échecs sont-ils dus à des limitations de raisonnement ou à des déficiences de perception ?

Les auteurs identifient que la perception visuelle est le goulot d'étranglement principal. Les approches existantes souffrent de deux problèmes majeurs :

• Hallucinations et imprécision : Les modèles générant des descriptions textuelles (captions) à partir d'images STEM introduisent souvent des erreurs factuelles (positions spatiales, valeurs numériques, relations entre éléments).
• Aphasie descriptive : Le langage naturel est intrinsèquement ambigu pour décrire des structures spatiales complexes et des relations géométriques précises (ex: géométrie solide, diagrammes de physique).
• Évaluation indirecte : Les benchmarks actuels évaluent la perception via la résolution de problèmes, ce qui ne mesure pas la compréhension visuelle globale, mais seulement la capacité à extraire les informations pertinentes pour une question spécifique.

2. Méthodologie : CodePercept

L'idée centrale de CodePercept est d'utiliser le code exécutable (Python/Matplotlib) comme un médium de perception plus rigoureux que le langage naturel. Le code offre une sémantique précise, structurée et vérifiable.

La méthodologie se décompose en trois piliers :

A. Construction de la Données (ICC-1M)
Les auteurs ont créé ICC-1M, un jeu de données à grande échelle contenant 1 million de triplets (Image - Légende - Code). La génération de ces données repose sur trois pipelines complémentaires :

1. Reproduction d'Image (Image Reproduction) : Conversion d'images STEM existantes en code Python exécutable pour générer une image de reproduction.
2. Diversité d'Images (Image Diversity) : Extraction des principes scientifiques sous-jacents d'une image "graine" et ré-instantiation de ces principes dans de nouveaux contextes visuels via le code, tout en conservant la validité conceptuelle.
3. Synthèse de Géométrie Solide (Solid Geometry) : Utilisation de modèles paramétriques pour générer des images de géométrie 3D complexes, comblant ainsi une lacune majeure des MLLMs actuels.

B. Deux Tâches d'Apprentissage "Ancrées dans le Code" (Code-Grounded)
Pour entraîner les modèles, deux tâches sont proposées :

1. Génération de Légendes Ancrées dans le Code (Code-Grounded Caption Generation) : Au lieu de générer une légende directement à partir de l'image (source d'hallucinations), le modèle génère d'abord du code, puis utilise ce code (vérité terrain) pour affiner et corriger la légende textuelle. Cela élimine les erreurs factuelles sur les nombres et les positions.
2. Traduction Image vers Code STEM (STEM Image-to-Code Translation) : Le modèle apprend à générer directement du code Python exécutable pour reconstruire l'image. Cela force le modèle à comprendre les relations géométriques et les contraintes mathématiques sans ambiguïté.

C. Stratégie d'Entraînement

• Supervised Fine-Tuning (SFT) : Entraînement conjoint sur les tâches de légendage et de génération de code.
• Reinforcement Learning (RL) : Utilisation de l'algorithme GRPO (Group Relative Policy Optimization) spécifiquement pour la génération de code. Les récompenses sont basées sur :
  • Le format (bloc de code valide).
  • L'exécution (le code tourne sans erreur).
  • La similarité sémantique et visuelle entre l'image générée et l'originale.

D. Nouveau Benchmark : STEM2Code-Eval
Pour évaluer objectivement la perception, les auteurs introduisent STEM2Code-Eval. Contrairement aux benchmarks classiques, celui-ci ne demande pas de répondre à une question, mais de générer du code Python capable de reconstruire pixel par pixel l'image originale.

• Métriques : Score d'image (similarité visuelle), Score de code (qualité structurelle), et Taux d'exécution.
• Avantage : C'est une évaluation déterministe et vérifiable ; si le code ne reproduit pas l'image, la perception est jugée incomplète.

3. Résultats Clés

Les expériences ont été menées sur la famille de modèles Qwen3-VL (4B, 8B, 32B paramètres).

• Analyse de Mise à l'Échelle (Scaling Analysis) : Une expérience cruciale a montré que mettre à l'échelle la capacité de perception (en entraînant sur des données image-code) apporte des gains de performance supérieurs à la mise à l'échelle de la capacité de raisonnement seule.
• Performance sur les Benchmarks STEM :
  • CodePercept surpasse systématiquement les modèles de base (Qwen3-VL) et d'autres modèles SOTA (comme InternVL, MiniCPM-V) sur des benchmarks comme MathVision, MathVista et WeMath.
  • Le modèle CodePercept-8B-S1 surpasse le modèle Qwen2.5-VL-72B (un modèle 9 fois plus grand) de 6,2 % en moyenne, démontrant l'efficacité de l'approche.
• Performance sur STEM2Code-Eval :
  • Les modèles CodePercept montrent une amélioration massive dans la capacité à générer du code exécutable et précis.
  • Le modèle CodePercept-32B-R1 atteint un score moyen de 75,80, surpassant des modèles propriétaires de pointe comme GPT-5-Thinking (75,52) et Gemini2.5-Pro-Thinking (78,67) sur certaines métriques, et battant nettement les modèles open-source existants.
  • Le taux d'exécution du code généré est très élevé (jusqu'à 95,9 % pour le modèle 32B), prouvant la robustesse de la perception.

4. Contributions Principales

1. Identification du Goulot d'Étranglement : Démonstration empirique que la perception visuelle, et non le raisonnement, est le facteur limitant principal pour les MLLMs dans les tâches STEM.
2. Paradigme Code-Perception : Introduction d'une nouvelle approche où le code exécutable sert de vérité terrain pour l'entraînement et l'évaluation, remplaçant ou complétant le langage naturel pour une précision accrue.
3. Ressources Open Source :
   • ICC-1M : Un jeu de données massif de 1M triplets Image-Légende-Code.
   • STEM2Code-Eval : Un benchmark rigoureux pour évaluer la perception visuelle via la reconstruction d'images.
   • Modèles CodePercept : Des modèles fine-tunés performants disponibles pour la communauté.

5. Signification et Impact

Ce travail marque un changement de paradigme dans le développement des MLLMs pour les sciences. Il démontre que le code est une alternative supérieure aux légendes textuelles pour capturer la complexité visuelle des domaines STEM. En ancrant la perception dans l'exécutabilité, CodePercept résout le problème des hallucinations factuelles et fournit une méthode d'évaluation objective. Cela ouvre la voie à des modèles plus petits mais plus performants, capables de comprendre et de manipuler des concepts visuels complexes avec une précision de niveau humain, ce qui est essentiel pour les applications en éducation, en ingénierie et en recherche scientifique.