VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs

Ce papier présente VisioMath, un nouveau benchmark de 1 800 problèmes mathématiques K-12 basé sur des diagrammes visuellement similaires, qui révèle les limites actuelles des modèles multimodaux dans le raisonnement comparatif fin et propose des stratégies d'alignement pour améliorer leur précision.

L'essentiel

🧐 Le Grand Défi des Images Qui Se Ressemblent

Imaginez que vous êtes dans une salle d'examen. Le professeur vous montre une question de mathématiques, mais au lieu de vous donner des choix de réponses écrits (A, B, C, D), il vous montre quatre dessins.

Ces dessins sont presque identiques. C'est comme regarder quatre œufs dans un panier : ils semblent tous pareils au premier coup d'œil. Pour trouver la bonne réponse, vous devez repérer un tout petit détail : peut-être que la ligne du graphique est un tout petit peu plus penchée, ou que le coin d'un cube est un peu plus arrondi.

C'est exactement le défi que les chercheurs ont voulu tester avec leurs nouvelles "intelligences artificielles" (les modèles multimodaux).

1. Le Problème : Les IA sont de superbes lecteurs, mais de mauvais observateurs

Aujourd'hui, les intelligences artificielles (IA) sont incroyables. Elles peuvent lire un livre entier en une seconde et comprendre ce qu'elles voient sur une photo. Mais les chercheurs ont découvert un gros problème : quand il faut comparer plusieurs images très similaires, les IA se trompent souvent.

C'est comme si l'IA disait : "Ah, l'option A est en haut à gauche, donc c'est sûrement la bonne !" au lieu de vraiment regarder les dessins. Elle triche en utilisant des repères de position plutôt que de faire le travail de détective visuel.

2. La Solution : VisioMath, le nouveau terrain de jeu

Pour tester cette faiblesse, l'équipe a créé VisioMath. C'est une nouvelle "boîte à outils" (un benchmark) remplie de 1 800 questions de mathématiques (niveau collège et lycée).

• La particularité : Dans chaque question, les 4 réponses possibles sont des images.
• Le piège : Ces images sont des jumeaux presque parfaits. Il faut un œil de lynx pour voir la différence.
• L'objectif : Voir si les IA peuvent vraiment "comprendre" les mathématiques visuelles ou si elles se contentent de deviner.

3. Ce qu'ils ont découvert : Le "Malentendu"

Quand ils ont fait passer le test aux IA les plus puissantes du monde (comme GPT-4, Gemini, etc.), le résultat a été sans appel : plus les images se ressemblaient, plus l'IA perdait ses moyens.

Les chercheurs ont trouvé la cause du problème : c'est un problème de connexion.
Imaginez que l'IA a deux oreilles : une pour entendre les mots (le texte de la question) et une pour voir les images. Le problème, c'est que l'IA ne parvient pas à bien relier le mot "A" à l'image "A" quand il y a trop de bruit visuel. Elle perd le fil et commence à faire des suppositions basées sur la position des images plutôt que sur leur contenu.

C'est comme si vous demandiez à quelqu'un de choisir la bonne clé dans un trousseau de 4 clés identiques, mais que cette personne regardait seulement l'ordre dans lequel vous les avez présentées, sans jamais toucher les clés !

4. Les Remèdes : Comment aider l'IA à mieux voir ?

L'équipe a testé trois astuces pour aider les IA à faire de leur mieux :

• Astuce 1 : Tout mettre sur une seule table. Au lieu de montrer les images séparément, on les colle toutes ensemble sur une seule grande image.
  • Résultat : L'IA se débrouille mieux, car elle n'a pas besoin de sauter d'un écran à l'autre pour comparer.
• Astuce 2 : Mettre des étiquettes claires. On écrit directement la lettre (A, B, C, D) sur chaque image.
  • Résultat : L'IA ne peut plus se tromper de clé. Elle voit immédiatement que "cette image-ci est bien l'option A".
• Astuce 3 : Lui apprendre à raisonner (Le "CoT"). C'est l'astuce la plus puissante. On a entraîné l'IA avec un petit manuel qui lui apprend à dire : "D'abord, je regarde l'image A et je vois telle chose. Ensuite, je regarde l'image B...".
  • Résultat : Magique ! Même avec très peu d'exemples, l'IA a fait un bond en avant. Elle a appris à ne plus tricher et à vraiment comparer les détails.

🎯 En Résumé

VisioMath nous apprend une leçon importante : les IA sont devenues très fortes, mais elles ont encore du mal à faire la différence entre des choses qui se ressemblent énormément. Elles ont tendance à "tricher" en regardant l'ordre des choses plutôt que leur contenu.

Ce travail est crucial pour l'avenir, surtout dans l'éducation. Si nous voulons que les robots aident les élèves à résoudre des problèmes de géométrie ou à comprendre des schémas complexes, nous devons d'abord leur apprendre à être de véritables observateurs, et non pas de simples devineurs.

L'article se termine par un espoir : en utilisant ces nouvelles méthodes d'entraînement, nous pouvons construire des IA qui comprennent vraiment le monde visuel, et pas seulement les mots qui l'accompagnent.

Résumé technique

Titre : VisioMath : Évaluation du raisonnement mathématique basé sur les figures dans les LMM

1. Problématique

Les modèles de langage multimodaux (LMM) ont réalisé des progrès significatifs dans l'intégration de la vision et du langage. Cependant, leur capacité à effectuer un raisonnement comparatif fin sur plusieurs entrées visuellement similaires reste insuffisamment explorée.
Dans de nombreux contextes réels, notamment en éducation (mathématiques K-12), les étudiants doivent distinguer des diagrammes presque identiques pour identifier la bonne solution. Les benchmarks existants se concentrent souvent sur des scénarios à image unique ou sur des options textuelles, négligeant le défi spécifique du raisonnement où toutes les options de réponse sont des images présentant des similitudes visuelles subtiles (différences géométriques mineures, courbes fonctionnelles légèrement décalées, etc.). Les modèles actuels échouent souvent à aligner précisément les indices textuels avec les bonnes figures parmi plusieurs options visuellement proches.

2. Méthodologie

A. Construction du Benchmark VisioMath
Les auteurs ont créé VisioMath, un benchmark rigoureux composé de 1 800 problèmes mathématiques de haute qualité, issus d'examens d'entrée chinois (lycée et université) entre 2002 et 2023.

• Structure : Chaque question propose des options de réponse sous forme de diagrammes distincts (A, B, C, D). Environ 50 % des questions incluent également une image dans l'énoncé (stem).
• Similarité Visuelle : Une caractéristique clé est la quantification systématique de la similarité visuelle entre les options. Les images sont encodées via un modèle d'embedding multimodal (Qwen multimodal-embedding-v1), et la similarité d'une question est définie par la similarité cosinus minimale entre toutes les paires d'options. Le dataset couvre un spectre complet de similarité, allant de faible à très élevée.
• Traitement des données : Un pipeline strict a été mis en place pour extraire le texte (format LaTeX), recadrer les images (une image par option), éliminer les doublons et valider manuellement les échantillons par des experts.

B. Évaluation Expérimentale
Le benchmark a été utilisé pour évaluer une large gamme de LMMs (modèles fermés comme GPT-4.1, Gemini 2.5 Pro, et modèles open-source comme Qwen2.5-VL, InternVL) dans un cadre zero-shot.

• Analyse des erreurs : Une analyse détaillée des échecs a été réalisée, classant les erreurs en catégories (désalignement image-texte, reconnaissance visuelle, raisonnement, connaissances).
• Expérience de contrôle (Shuffling) : Pour tester la robustesse, les auteurs ont mélangé l'ordre des options textuelles tout en gardant l'ordre des images constant, afin de vérifier si les modèles s'appuient sur des heuristiques de position plutôt que sur un véritable alignement sémantique.

C. Stratégies d'Amélioration
Trois stratégies ont été explorées pour atténuer les échecs :

1. Mise en page consolidée : Fusionner toutes les images (énoncé + options) en une seule image composite pour faciliter l'attention du modèle.
2. Ancres explicites : Ajouter des étiquettes textuelles directement sur les images (ex: "A", "B", "C", "D" superposés) pour forcer l'alignement visuel-textuel.
3. Fine-tuning avec CoT (Chain-of-Thought) : Création d'un jeu de données spécialisé de 500 exemples de raisonnement multi-images avec alignement explicite, utilisé pour affiner (fine-tuning) des modèles comme Qwen2.5-VL.

3. Résultats Clés

• Déclin des performances avec la similarité : Il existe une corrélation négative forte entre la similarité visuelle des options et la précision des modèles. Plus les images sont similaires, plus les performances chutent. Par exemple, Gemini 2.5 Pro voit sa précision baisser de 12,9 % entre les quartiles de faible et de haute similarité.
• Désalignement Image-Texte : L'analyse des erreurs révèle que le désalignement image-texte est la cause principale d'échec (36 % des erreurs). Les modèles ont du mal à associer la bonne option textuelle à la bonne image parmi plusieurs candidats visuels.
• Vulnérabilité aux heuristiques de position : L'expérience de shuffling a montré une baisse drastique des performances (ex: -8,7 % pour Gemini 2.5 Pro), prouvant que les modèles s'appuient souvent sur la position des images plutôt que sur leur contenu sémantique.
• Impact des stratégies :
  • La mise en page consolidée et les ancres explicites améliorent les performances de manière significative.
  • Le fine-tuning avec CoT aligné (Stratégie 3) a produit les gains les plus importants, augmentant la précision de 12,6 % pour Qwen2.5-VL-3B, surpassant même des modèles plus grands non entraînés sur cette tâche spécifique. Cela démontre l'importance cruciale de l'alignement explicite dans les données d'entraînement.

4. Contributions Principales

1. VisioMath Benchmark : Le premier benchmark spécifiquement conçu pour le raisonnement mathématique où les options de réponse sont des images, comblant le vide entre les benchmarks de VQA traditionnels et les besoins réels en raisonnement comparatif.
2. Évaluation Comprehensive : Une évaluation systématique des modèles de pointe (SOTA), révélant une limitation fondamentale des LMMs actuels : leur incapacité à établir des correspondances fines multi-images/texte.
3. Stratégies d'Alignement : Identification des modes d'échec et proposition de solutions pratiques (ancrage visuel, CoT multi-images) qui améliorent substantiellement les capacités de raisonnement figuratif.

5. Signification et Impact

Ce travail met en lumière une lacune critique dans les capacités actuelles des LMMs : la difficulté à raisonner sur des ensembles d'images similaires, une compétence essentielle pour l'éducation, le tutorat intelligent et la compréhension de diagrammes complexes en STEM.

• Pour la recherche : VisioMath offre un test rigoureux pour évaluer et améliorer l'alignement multimodal fin.
• Pour l'application : Les résultats suggèrent que des interventions ciblées, comme l'ajout d'ancres visuelles ou l'entraînement sur des données de raisonnement aligné, peuvent considérablement améliorer la fiabilité des modèles dans des scénarios éducatifs réels.
• Avenir : Le benchmark ouvre la voie à l'extension de ces défis à d'autres domaines (physique, ingénierie, chimie) où la comparaison de structures visuelles est primordiale.

Le code et le dataset sont disponibles publiquement pour favoriser la reproductibilité et le développement futur.