MathScape: Benchmarking Multimodal Large Language Models in Real-World Mathematical Contexts

Ce papier présente MathScape, un nouveau benchmark évaluant les capacités de raisonnement mathématique des modèles de langage multimodaux à travers 1 369 problèmes réels, révélant ainsi leurs limites face aux scénarios du monde réel par rapport aux données synthétiques.

L'essentiel

🌍 MathScape : Le vrai test de mathématiques pour les intelligences artificielles

Imaginez que vous êtes un professeur qui veut tester la capacité de mathématiques de ses élèves. Jusqu'à présent, vous ne leur donniez que des exercices imprimés sur du papier blanc, parfaitement propres, avec des dessins au trait net. C'est ce qu'on appelle les benchmarks (tests de référence) actuels pour les intelligences artificielles (IA).

Mais dans la vraie vie, les élèves ne reçoivent pas toujours des copies parfaites. Ils reçoivent parfois :

• Une photo floue d'un tableau noir prise avec un téléphone.
• Une feuille de papier froissée posée sur une table en bois.
• Un écran d'ordinateur avec un reflet de fenêtre.

C'est là que l'équipe de chercheurs (de l'Université de Pékin et d'autres) a lancé un nouveau défi : MathScape.

📸 1. Le concept : Passer du "Studio Photo" à la "Rue"

L'idée principale de ce papier est simple : les IA sont excellentes en salle de classe, mais elles se perdent dans la rue.

Les chercheurs ont créé une nouvelle banque de questions de mathématiques (1 369 problèmes au total) qui ne sont pas générées par ordinateur. Au lieu de cela, ils ont :

1. Pris de vrais manuels scolaires et des devoirs.
2. Imprimé ces pages.
3. Photographié ces pages avec des appareils photo réels (comme le ferait un élève).
4. Ajouté des défauts : des ombres, des angles bizarres, du papier froissé, de la lumière naturelle.

C'est comme si on passait d'un examen en salle climatisée avec une lumière parfaite, à un examen dans un bus bondé avec des secousses et une lumière changeante.

🤖 2. Le test : Les champions tombent à plat

Les chercheurs ont mis à l'épreuve les plus grandes intelligences artificielles du moment (comme GPT-4o, Claude, Gemini, etc.) avec ces photos réalistes.

Le résultat est surprenant :

• En classe (sur des fichiers PDF propres) : Les IA sont des génies. Elles résolvent presque tout.
• Dans la rue (sur les photos réelles) : Elles trébuchent. Même les modèles les plus avancés ont du mal à comprendre ce qui est écrit sur une photo floue ou mal éclairée.

C'est un peu comme un champion de natation qui nage parfaitement dans une piscine olympique, mais qui panique dès qu'on le jette dans l'océan avec des vagues et des algues.

📉 3. Ce que nous avons appris (Les 3 grandes leçons)

1. La perfection n'est pas la réalité : Le fait qu'une IA soit très forte sur des images générées par ordinateur ne garantit pas qu'elle sera utile pour aider un élève qui prend une photo de son devoir.
2. La difficulté augmente avec l'âge : Les IA réussissent mieux aux mathématiques de l'école primaire (qui sont souvent plus simples et visuelles) qu'aux problèmes complexes du lycée, surtout quand l'image est imparfaite.
3. L'instabilité : Si vous posez la même question à une IA cinq fois de suite, elle peut donner cinq réponses différentes. Elle n'est pas encore aussi fiable qu'un humain pour ce genre de tâches.

🏗️ 4. Comment ils ont construit ce test ?

Pour créer MathScape, ils ont suivi une méthode rigoureuse, un peu comme la construction d'une maison :

• Les fondations : Ils ont collecté des milliers de vrais problèmes scolaires.
• La structure : Ils ont pris des photos de ces problèmes pour simuler la vie réelle.
• La vérification : Ils ont engagé des experts (des étudiants en maths) pour vérifier que chaque photo et chaque réponse étaient correctes, assurant que le test était juste et fiable.

🚀 Conclusion : Pourquoi c'est important ?

Ce papier nous dit qu'il ne suffit plus de dire "Regardez, notre IA a un score de 90 % en maths !". Il faut maintenant demander : "Et si je lui donne une photo prise avec mon téléphone dans un bus ?".

MathScape est ce nouveau terrain de jeu. Il force les créateurs d'IA à améliorer leurs modèles pour qu'ils soient non seulement intelligents, mais aussi robustes et capables de comprendre le monde imparfait qui nous entoure. C'est une étape cruciale pour que ces outils puissent vraiment nous aider dans notre quotidien, et pas seulement dans des exercices théoriques.

Résumé technique

1. Problématique

Bien que les modèles de langage multimodaux (MLLM) aient montré des progrès significatifs dans le raisonnement mathématique, les benchmarks existants (comme MathVista ou MathVerse) reposent principalement sur du contenu généré numériquement ou synthétique. Ces ensembles de données ne capturent pas la complexité des scénarios réels où les utilisateurs posent des questions mathématiques basées sur des photographies de documents imprimés ou d'écrans. Ces situations réelles introduisent des défis supplémentaires tels que des variations de qualité d'image, des angles de prise de vue, des reflets et une ambiguïté contextuelle. Le papier identifie un manque critique d'évaluation des capacités de raisonnement des MLLM dans des contextes mathématiques réalistes.

2. Méthodologie

Construction de MathScape

Les auteurs ont développé un pipeline en trois étapes pour créer le benchmark MathScape :

1. Préparation des données : Collecte de 1 369 problèmes mathématiques (de l'école primaire au lycée) issus de banques de questions chinoises. Les documents sont convertis en PDF, puis rendus en images.
2. Simulation de données visuelles : Pour simuler des conditions réelles, les images PDF sont photographiées (documents imprimés) ou capturées par écran (screenshots). Cela introduit du bruit visuel et des distortions typiques du monde réel.
3. Validation manuelle et classification : Une équipe de cinq étudiants diplômés en mathématiques a vérifié rigoureusement chaque question et réponse pour garantir la précision. Les données sont ensuite classées selon trois axes :
   • Type de question : Choix multiple, réponse libre (solution), preuves.
   • Domaines de connaissances : Algèbre, géométrie, probabilités/statistiques, fonctions, équations.
   • Niveaux éducatifs : Primaire, collège, lycée.
   • Difficulté : Facile, moyen, difficile.

Évaluation

Pour évaluer les modèles sur des réponses longues et complexes, les auteurs proposent un pipeline d'évaluation en deux étapes :

1. Segmentation des réponses : Un LLM est utilisé pour décomposer une réponse longue en sous-réponses (étapes intermédiaires).
2. Notation des sous-réponses : Un autre LLM évalue la justesse de chaque sous-réponse individuellement.
   Cette méthode automatisée a été validée par des humains avec un taux d'accord supérieur à 97 %.

3. Contributions Clés

• Nouveau Benchmark (MathScape) : Un ensemble de données multimodal inédit de 1 369 problèmes, intégrant des images réelles capturées par des humains, couvrant divers niveaux éducatifs et domaines mathématiques.
• Classification Détaillée : Une granularité fine des données (type, domaine, niveau, difficulté) permettant une analyse multidimensionnelle des performances.
• Évaluation Comparative Large : Tests effectués sur 19 modèles (9 modèles propriétaires fermés, 3 modèles open-source >20B, 7 modèles plus petits et spécialisés en mathématiques), comparés à des baselines (aléatoire, fréquence, performance humaine).
• Mise en évidence de l'écart Réel/Synthétique : Démonstration que la performance sur des images PDF propres ne garantit pas la performance sur des images réelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de pointe (SOTA) comme GPT-4o, Gemini Pro, Claude-3-Opus, Qwen2-VL, et LLaVA-OneVision.

• Performance Globale : Même les modèles les plus avancés (ex: GPT-4o) obtiennent des scores bien inférieurs à la performance humaine (environ 42-43 % pour GPT-4o contre 77 % pour les humains). Les modèles open-source de grande taille (ex: Qwen2-VL-72B) obtiennent les meilleurs scores parmi les modèles ouverts (38,67 %).
• Impact des Images Réelles : C'est la découverte majeure. Les modèles performants sur des PDF propres (ex: LLaVA-OneVision-72B sur PDF) voient leurs performances chuter drastiquement lorsqu'ils sont confrontés aux images réelles de MathScape. Par exemple, la précision de LLaVA-OneVision-72B passe de ~30 % (PDF) à ~8 % (Image réelle).
• Difficultés Spécifiques :
  • Les modèles réussissent mieux sur les questions de type "Preuve" (structurées) que sur les questions à choix multiples ou à solution libre nécessitant des calculs complexes.
  • La performance se dégrade avec l'augmentation du niveau éducatif (Lycée > Collège > Primaire) et de la difficulté.
  • Les modèles spécialisés en mathématiques (Math-LLaVA, G-LLaVA) sont souvent surpassés par des modèles généralistes plus grands, suggérant que la qualité des données d'entraînement et l'architecture comptent plus que la spécialisation étroite.
• Stabilité : Les tests de stabilité (5 tentatives par problème) montrent que les modèles sont instables : seulement ~25 % des problèmes sont résolus correctement à chaque tentative, indiquant un manque de robustesse.

5. Signification et Conclusion

Le papier MathScape démontre de manière convaincante que les benchmarks actuels, basés sur des données synthétiques, surestiment les capacités des MLLM en raisonnement mathématique.

• Limites actuelles : Les modèles actuels manquent de robustesse face aux imperfections visuelles du monde réel et peinent à généraliser leur raisonnement dans des contextes non idéaux.
• Nécessité de nouveaux standards : MathScape établit un nouveau standard pour l'évaluation, forçant la communauté à développer des modèles capables de gérer le bruit visuel et l'ambiguïté contextuelle.
• Perspectives futures : Les auteurs soulignent la nécessité d'améliorer la synthèse de données mathématiques multimodales et les méthodes d'annotation pour créer des benchmarks encore plus riches et réalistes, essentiels pour le déploiement de l'IA dans des applications éducatives et pratiques réelles.

En résumé, ce travail marque un tournant vers une évaluation plus rigoureuse et réaliste des capacités de raisonnement mathématique des IA, mettant en lumière un fossé significatif entre les performances en laboratoire et les capacités en conditions réelles.