Résumé technique : M3Kang – Évaluation du raisonnement mathématique multilingue et multimodal dans les modèles de vision-langage

1. Énoncé du problème

Malgré l'avancement rapide des modèles de vision-langage (VLM) et de leurs capacités de raisonnement démontrées, leurs performances en matière de raisonnement mathématique multilingue restent sous-explorées. Les évaluations actuelles sont fortement biaisées en faveur des langues à hautes ressources et des benchmarks uniquement textuels. Des études existantes indiquent que les modèles éprouvent des difficultés significatives dans les langues moins couramment utilisées et échouent à interpréter correctement les diagrammes. Il existe un manque critique de benchmarks qui abordent simultanément l'intersection du multilinguisme, de la multimodalité et du raisonnement mathématique. Cette lacune limite la compréhension de la robustesse des modèles et entrave le développement de systèmes d'IA inclusifs et mondialement applicables. De plus, bien que certains benchmarks existent pour les tâches multilingues ou multimodales individuellement, peu évaluent la capacité combinée, et ceux qui le font se concentrent souvent sur la culture générale plutôt que sur les mathématiques ou ne couvrent qu'un ensemble limité de langues.

2. Méthodologie

2.1 Le jeu de données M3Kang

Les auteurs introduisent M3Kang, le premier jeu de données massivement multilingue et multimodal pour le raisonnement mathématique des VLM. Le jeu de données est dérivé de la Kangaroo Math Competition, la plus grande compétition de mathématiques au monde, qui mobilise chaque année plus de six millions de participants de moins de 18 ans dans plus de 90 pays.

• Matériel source : Le jeu de données de base se compose de 1 747 problèmes à choix multiples uniques issus des éditions 2007–2024 de la compétition, initialement extraits de PDF organisés par la Societat Catalana de Matemàtiques.
• Échelle et diversité : Le jeu de données comprend des traductions en 108 langues culturellement diverses, allant des langues à hautes ressources (ex. anglais, espagnol) aux langues à faibles ressources (ex. tsonga, lingala). Cela représente un total de 111 198 problèmes après filtrage de la qualité.
• Structure multimodale : Chaque problème est fourni sous deux formats :
  1. Une version uniquement textuelle.
  2. Une image contenant l'intégralité du problème (question, options et tout diagramme nécessaire) avec le texte traduit dans la langue cible.
• Sous-ensemble anglais (M2Lang) : Un sous-ensemble exclusivement anglais est également publié indépendamment pour évaluer le raisonnement multimodal non multilingue.

2.2 Pipeline de construction du jeu de données

Les auteurs proposent un pipeline automatisé pour traduire les problèmes multimodaux d'une langue source (catalan) vers 108 langues cibles. Le processus comprend trois étapes :

1. Création du jeu de données de base (catalan) : Les PDF sont analysés, convertis en images et segmentés. Des boîtes englobantes sont tracées manuellement autour des questions pour exclure les termes spécifiques au catalan dans les images. Un LLM-as-a-judge signale les échantillons corrompus (ex. boîtes englobantes incorrectes, couverture partielle de la figure), qui sont ensuite corrigés manuellement. Les doublons sont supprimés via la similitude textuelle.
2. Traduction anglaise (M2Lang) : Le jeu de données catalan est traduit en anglais. Le texte est dynamiquement re-formaté à l'intérieur des boîtes englobantes originales pour maintenir l'alignement multimodal. Un LLM-as-a-judge détecte la corruption de la traduction, suivi d'une revue manuelle rigoureuse où 42 erreurs de traduction ont été supprimées pour garantir l'exactitude linguistique et éliminer les biais.
3. Extension multilingue : Le jeu de données anglais est étendu à d'autres langues. Pour garantir la qualité sans références de vérité terrain pour les 108 langues, les auteurs utilisent une stratégie d'évaluation basée sur la rétrotraduction.
   • Métrique de qualité : Ils utilisent une métrique sans référence basée sur le score max chrf++ entre le texte source et plusieurs rétrotraductions (utilisant des modèles NLLB).
   • Seuil : Les échantillons ayant un score chrf++ maximum inférieur à un seuil ($T = 0,625$) sont écartés en tant que mauvaises traductions. Un sous-ensemble de "haute qualité" est également fourni avec un seuil plus strict ($T = 0,85$).

2.3 Configuration expérimentale

Les auteurs ont testé un ensemble diversifié de 16 modèles, incluant des VLM open-source (ex. Qwen-2.5, Gemma, Phi-4, Kimi-Thinking) et propriétaires (ex. GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro).

• Langues : Les expériences se sont concentrées sur 16 langues sélectionnées pour représenter un mélange équilibré de langues à faibles, moyennes et hautes ressources basées sur leur présence sur Internet.
• Prompting : Les modèles ont été sollicités via un raisonnement par chaîne de pensée (Chain-of-Thought - CoT), avec l'instruction de produire des traces de raisonnement suivies d'un format de réponse spécifique (A, B, C, D ou E).
• Techniques évaluées : L'étude a évalué le prompting standard contre trois stratégies de raisonnement multilingue :
  1. Model Tongue Reasoning (MTR) : Traduire la question en anglais et solliciter le modèle avec les versions originale et traduite.
  2. CLSP : Appliquer le MTR sur plusieurs langues (anglais, espagnol, allemand, français) et agréger les résultats via un vote majoritaire.
  3. Pilotage d'activation (Activation Steering) : Modifier les activations internes du modèle pour aligner les représentations vers l'anglais pendant la génération.

3. Résultats clés

3.1 Performance des modèles

• Difficultés générales : Malgré les progrès récents, les modèles luttent encore avec les mathématiques de base et le raisonnement basé sur des diagrammes. La performance augmente généralement avec la taille du modèle et la disponibilité des ressources linguistiques, mais ne suit pas l'échelle de difficulté des niveaux scolaires.
• Meilleurs performeurs : Gemini-2.5-Pro a obtenu la meilleure performance dans toutes les langues et catégories. Parmi les modèles ouverts, Kimi-Thinking-2506 était le plus fort, surpassant GPT-4o en anglais mais montrant des chutes significatives dans les langues à faibles ressources.
• Corrélation avec les ressources : Pour tous les modèles sauf Gemini-2.5-Pro, la précision est fortement corrélée à la présence sur Internet de la langue. Les modèles plus petits montrent une corrélation plus forte, indiquant une capacité limitée à généraliser à travers les langues. La performance dans les langues à faibles ressources pour de nombreux modèles approche le hasard.

3.2 Problèmes textuels vs Problèmes basés sur des figures

Un écart constant et significatif a été observé : tous les modèles capables performent mieux sur les problèmes uniquement textuels que sur les problèmes basés sur des figures, quel que soit le niveau de difficulté.

• Contraste Humain vs IA : Cette tendance est l'inverse de la performance humaine, où les humains trouvent les problèmes basés sur des figures plus faciles que les problèmes textuels.
• Implication : Les VLM actuels peinent à intégrer efficacement l'information visuelle pour le raisonnement mathématique. La modalité de la figure introduit des complexités (relations spatiales, interprétation de diagrammes) que les architectures actuelles ne capturent pas pleinement.

3.3 Techniques multilingues

L'étude a évalué si les techniques multilingues textuelles se transfèrent aux contextes multimodaux :

• Supériorité du MTR : Le Model Tongue Reasoning (MTR) a systématiquement obtenu la meilleure performance globale, réduisant considérablement les disparités de performance entre les langues à faibles et hautes ressources.
• CLSP et Pilotage d'activation : Le CLSP a été moins performant que le MTR. Le pilotage d'activation n'a offert que des gains modestes dans les langues à faibles ressources et n'a pas réussi à égaler la performance du MTR, même sur de plus petits modèles.
• Efficacité : Le MTR s'est avéré efficace même avec de plus petits modèles de traduction, suggérant que dans des scénarios à faible budget, de plus petits traducteurs peuvent être utilisés sans perte de capacité significative.

3.4 Comparaison Humain vs Modèle

En utilisant les données de performance de plus de 68 000 étudiants de la compétition Kangaroo 2024 :

• Difficulté non monotone : Les modèles ne présentent pas de déclin monotone de performance à mesure que la difficulté des problèmes augmente (selon les évaluations de difficulté humaine). Par exemple, Kimi-Thinking-2506 se classe au-dessus du 94e percentile pour les niveaux 3–6, mais seulement au 44e percentile pour les niveaux inférieurs.
• Divergence de raisonnement : L'analyse suggère qu'il n'y a aucune corrélation significative entre les capacités de raisonnement des modèles d'IA et celles des jeunes étudiants. Les modèles semblent s'appuyer sur des approches de résolution de problèmes différentes, potentiellement ancrées dans la reconnaissance de formes (pattern matching) ou un entraînement spécifique sur des tâches de géométrie de type olympiade plutôt que sur un raisonnement étape par étape de type humain.

4. Contributions clés

1. Jeu de données M3Kang : Un benchmark multilingue et multimodal comprenant 1 747 problèmes uniques à travers 108 langues (111 198 instances totales), dérivés de la compétition Kangaroo Math.
2. Pipeline de traduction : Un cadre open-source pour créer automatiquement des jeux de données multimodaux multilingues à partir de sources monolingues, doté d'un mécanisme de contrôle de qualité par rétrotraduction pour assurer l'intégrité de la traduction sans références de vérité terrain.
3. Évaluation exhaustive : Un benchmark complet des principaux VLM à travers diverses langues et techniques d'inférence, révélant que les modèles luttent avec les mathématiques de base et les diagrammes, et que la performance dépend fortement de la disponibilité des ressources linguistiques.
4. Référence humaine : Une comparaison directe avec les données de performance de plus de 68 000 étudiants, soulignant un décalage fondamental entre le raisonnement humain et celui de l'IA dans les contextes mathématiques.

5. Signification et affirmations

L'article affirme que M3Kang comble une lacune critique dans l'évaluation de l'IA en fournissant un banc d'essai de haute fidélité pour évaluer la généralisation des modèles, la cohérence translinguistique et l'intégration multimodale dans un domaine exigeant à la fois une précision linguistique et une compréhension visuelle.

Les auteurs soutiennent que leurs conclusions révèlent :

• Limites des SOTA actuels : Même les modèles de pointe échouent aux mathématiques de base et à l'interprétation de diagrammes, la performance étant fortement biaisée en faveur des langues à hautes ressources.
• Efficacité des techniques simples : Les techniques multilingues comme le MTR peuvent être étendues efficacement aux contextes multimodaux, offrant des améliorations significatives par rapport aux bases sans la complexité du fine-tuning ou des mécanismes de vote complexes.
• Besoin de nouveaux benchmarks : La divergence entre la performance humaine et celle des modèles (notamment concernant les tâches visuelles vs textuelles) suggère que les futurs benchmarks doivent inclure des tâches de raisonnement multi-étapes et évaluer les étapes de raisonnement intermédiaires pour mieux capturer les compétences de résolution de problèmes de type humain.

Les auteurs soulignent que le jeu de données, le pipeline et le code sont en accès libre afin de faciliter la création de jeux de données similaires dans divers contextes linguistiques et éducatifs, visant à favoriser le développement de systèmes d'IA plus inclusifs et robustes.