💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Cet article présente Sci-Rho, un benchmark symbolique multilingue et ancré visuellement comprenant 4 242 modèles de problèmes STEM exécutables à travers cinq disciplines et sept langues, qui révèle des écarts de robustesse significatifs chez les modèles de vision-langage de pointe lorsqu'ils sont évalués par rapport à des variations de cas extrêmes plutôt que par rapport à des moyennes statiques.

Auteurs originaux : Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous testez la capacité d'un nouvel étudiant à résoudre des problèmes scientifiques. Par le passé, les chercheurs tendaient à l'étudiant une fiche de travail unique et statique avec une seule image et une seule question. Si l'étudiant réussissait, il passait l'examen. Mais ce document soutient que c'est comme tester un conducteur uniquement sur une route droite et déserte. Cela ne vous dit pas s'il peut gérer un nid-de-poule soudain, un détour ou une condition météorologique différente.

Les auteurs de cet article, Sci-ρ, ont décidé de construire un test de conduite beaucoup plus difficile et dynamique pour les « étudiants » IA (plus précisément, les modèles de langage-vision ou VLM).

Voici une décomposition simple de ce qu'ils ont fait et de ce qu'ils ont trouvé :

1. Le test « polymorphe » (Le Jeu de Données)

Au lieu de donner à l'IA 606 questions de sciences statiques, les chercheurs ont construit une usine numérique.

Le Plan : Ils ont créé 606 « modèles » de problèmes en mathématiques, physique, chimie, biologie et informatique. Considérez cela comme des plans directeurs.
L'Usine : Ils ont écrit du code informatique (Python) qui prend ces plans et imprime instantanément 10 versions légèrement différentes de chaque problème.
- Exemple : Si un problème de mathématiques demande l'aire d'un carré, l'usine peut imprimer une version avec un côté de 5, une autre avec 7, une autre avec une couleur différente, ou même une forme différente entièrement.
La Touche Multilingue : Ils n'ont pas fait cela uniquement en anglais. Ils ont traduit les instructions dans 7 langues (incluant le swahili, l'hindi et l'arabe), tout en gardant les images identiques.
Le Résultat : Ils ont obtenu 42 420 problèmes uniques. C'est comme donner à l'IA une immense bibliothèque où chaque livre possède 10 éditions différentes, demandant toutes la même logique de base mais paraissant légèrement différentes.

2. Le piège de la « Moyenne » contre le « Pire Cas »

Les chercheurs ont testé 17 modèles d'IA différents sur cette immense bibliothèque. Ils ont observé deux scores :

Précision Moyenne : La fréquence à laquelle l'IA donne la bonne réponse à travers les 10 versions d'un problème.
Précision du Pire Cas : La fréquence à laquelle l'IA réussit chaque une des 10 versions.

La Grande Découverte :
Les modèles d'IA semblaient excellents sur le score de la « Moyenne ». Mais quand les chercheurs ont regardé le score du « Pire Cas », les modèles se sont effondrés.

L'Analogie : Imaginez un étudiant qui réussit 9 problèmes sur 10 en mathématiques. Il semble intelligent. Mais si vous lui demandez de résoudre à nouveau ces mêmes 10 problèmes avec des chiffres légèrement différents, et qu'il en rate 4 cette fois-ci, il ne « raisonne » pas réellement à travers les mathématiques. Il est probablement simplement en train de mémoriser des motifs ou de deviner en fonction de l'apparence des chiffres.
Le Constat : Même les modèles d'IA les plus intelligents et les plus coûteux (comme GPT-5.4) présentaient un écart énorme. Ils pouvaient résoudre un problème facilement, mais si l'on changeait la couleur d'un graphique ou les chiffres légèrement, ils échouaient souvent. Les modèles plus petits et moins chers échouaient encore plus lourdement.

3. La Barrière de la Langue

Les chercheurs ont vérifié si l'IA éprouvait plus de difficultés lorsque les instructions étaient dans une autre langue que l'anglais.

Les Grands Modèles : Les modèles géants et coûteux étaient comme des polyglottes ; ils géraient l'anglais, le chinois et le swahili de manière presque égale.
Les Petits Modèles : Les modèles plus petits et en open-source étaient comme des touristes qui ne parlent que l'anglais. Lorsque les instructions passaient à une langue moins courante (comme le swahili), leurs performances chutaient considérablement. Ils semblaient confus par le simple changement de langue, même si le problème scientifique était le même.

4. Le Problème « Yeux vs Cerveau »

Les chercheurs ont regardé à l'intérieur d'un des modèles d'IA pour voir comment il « pensait ». Ils ont mesuré à quel point l'attention du modèle se portait sur l'image par rapport au texte.

Le Constat : L'attention du modèle changeait selon la langue.
- Lorsque le texte était en chinois, le modèle s'appuyait moins sur l'image et davantage sur le texte.
- Lorsque le texte était en kazakh ou en hindi, le modèle s'appuyait fortement sur l'image.
La Métaphore : C'est comme si l'IA pensait : « Je ne comprends pas bien cette langue, alors je vais juste deviner en me basant sur le dessin. » Quand elle comprend parfaitement la langue, elle fait davantage confiance aux mots. Cela suggère que l'IA ne « voit » pas l'image de manière humaine ; elle utilise simplement l'image comme une béquille lorsque le texte est confus.

5. Où l'IA s'est bloquée

Lorsque l'IA échouait, les chercheurs classaient les erreurs :

Mauvaise lecture de l'image (63 %) : L'IA ne pouvait pas compter les points dans un diagramme ou lire correctement les chiffres sur un graphique.
Mauvaise Logique (29 %) : L'IA connaissait la bonne formule mais l'appliquait à la mauvaise chose, ou inventait des faits qui n'étaient pas présents.
Erreurs de Calcul (8 %) : L'IA avait la bonne logique mais se trompait dans l'arithmétique simple.

La Conclusion

L'article conclut que les tests statiques nous mentent. Le fait qu'une IA puisse résoudre un problème scientifique spécifique une fois ne signifie pas qu'elle comprend la science. Elle pourrait simplement reconnaître un motif qu'elle a vu lors de son entraînement.

Pour savoir si une IA est réellement intelligente, nous devons secouer la table, changer les chiffres, changer les langues, et voir si elle est toujours capable de résoudre le problème. Si elle n'y arrive pas, ce n'est pas du raisonnement ; c'est juste de la supposition. Sci-ρ est l'outil conçu pour secouer cette table.

Résumé technique : Sci-ρ : Un benchmark symbolique multilingue et visuellement ancré pour les problèmes de STEM

Énoncé du problème

Les benchmarks actuels pour l'évaluation des modèles de vision-langage (VLM) dans les domaines STEM souffrent de trois limitations principales :

Manque d'évaluation de la robustesse : La plupart des benchmarks existants reposent sur des images statiques et uniques. Ils ne parviennent pas à distinguer les modèles qui raisonnent réellement sur le contenu visuel de ceux qui réussissent en faisant correspondre des caractéristiques de surface observées lors de l'entraînement. La présentation visuelle d'un problème (par exemple, des coordonnées ou des couleurs spécifiques) est souvent accessoire à sa logique sous-jacente, pourtant les évaluations actuelles ne testent pas si les modèles peuvent résoudre des variantes logiquement équivalentes avec différents paramètres visuels.
Étendue de domaine étroite : Les efforts existants sont fortement concentrés sur les mathématiques et la physique, laissant la biologie, la chimie et l'informatique largement inexplorées dans le contexte du raisonnement visuellement ancré, malgré leurs exigences visuelles distinctes (par exemple, les structures moléculaires, les diagrammes biologiques).
Biais monolingue : Les évaluations sont conduites presque exclusivement en anglais, ce qui laisse planer le doute sur la capacité de transfert des capacités des VLM vers les contextes multilingues où la plupart des apprenants et des praticiens rencontrent réellement le contenu STEM.

Méthodologie : Le benchmark Sci-ρ

Pour combler ces lacunes, les auteurs introduisent Sci-ρ (Science Rhobustness), un benchmark dynamique, symbolique et multilingue pour les problèmes de STEM visuellement ancrés.

Construction du jeu de données

Le jeu de données a été construit en deux étapes impliquant des experts du domaine, notamment des médaillés de l'Olympiade de sciences et des étudiants de premier cycle avancés :

Création de modèles (Templates) : 606 modèles de problèmes de haute qualité ont été créés à travers cinq matières (mathématiques, physique, chimie, biologie et informatique) basés sur les programmes du Cambridge IGCSE et du A-Level. Chaque problème est implémenté sous la forme d'une classe Python exécutable. Ces classes génèrent dynamiquement des instances de problèmes en faisant varier :
- Valeurs numériques : Changement des nombres dans le texte ou les images.
- Motifs visuels : Altération des agencements (ex: positions des objets).
- Formes géométriques : Modification des dimensions ou des formes.
- Schémas de couleurs : Changement des couleurs de solution ou des teintes des objets.
- Types de fonctions : Passage entre des fonctions linéaires, quadratiques, etc.
  Chaque modèle garantit au moins 10 variantes distinctes.
Traduction : Les descriptions de problèmes ont été traduites en six autres langues (indonésien, chinois, arabe, hindi, kazakh et swahili) via une traduction automatique suivie d'une vérification rigoureuse par des locuteurs natifs. Le contrôle qualité incluait des erreurs « honey-pot » pour garantir l'exactitude des traducteurs.

Le jeu de données final comprend 42 420 instances de problèmes uniques (606 modèles × 10 variantes × 7 langues), chacune accompagnée de solutions de vérité terrain et d'étapes de raisonnement pas à pas en LaTeX.

Cadre d'évaluation

Les auteurs ont évalué 17 modèles VLM de pointe (incluant GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL, et d'autres) à l'aide de six métriques :

Précision moyenne ( $A_{avg}$ ) : La précision moyenne sur toutes les variantes générées.
Précision du pire cas ( $A_{wst}$ ) : La proportion de modèles de problèmes où le modèle a répondu correctement à chaque variante. Cela mesure la cohérence.
Métriques au niveau des étapes : Rappel ( $R$ ), Précision ( $P$ ) et score F1 ( $F$ ) pour les étapes de raisonnement, calculés en comparant les sorties du modèle à la vérité terrain à l'aide d'un juge LLM (GPT-5.4).
F1 du pire cas ( $F_{wst}$ ) : Le score F1 minimum à travers toutes les variantes pour un modèle donné.
Ratio d'attention de l'image (IAR) : Une analyse mécaniste mesurant l'attention relative que les VLM allouent aux jetons (tokens) d'image par rapport aux jetons de texte lors de la génération.

Résultats clés

1. L'écart de robustesse

Un écart de performance significatif existe entre la précision moyenne et celle du pire cas pour tous les modèles.

Modèles de pointe : Même les modèles de premier plan comme GPT-5.4 et Gemini 2.5 montrent des chutes de 10 à 28 % de la précision du pire cas par rapport à leur précision moyenne. Par exemple, la précision de GPT-5.4 en biologie chute de 72,2 % (moyenne) à 47,8 % (pire cas).
Petits modèles : Les modèles plus petits à poids ouverts souffrent d'une dégradation sévère. En biologie, des modèles comme InternVL3.5-4B et Molmo2-4B s'effondrent pratiquement dans les conditions du pire cas, avec une précision tombant proche de 0 % pour certaines variantes.
Sensibilité à l'architecture : Le modèle Qwen3.5-122B-A10B (architecture MoE) a montré une précision du pire cas nettement inférieure à celle de son homologue dense de 27B, suggérant que le nombre de paramètres ne garantit pas la robustesse.

2. Performance multilingue

Modèles propriétaires/grands modèles : Les grands modèles propriétaires (GPT-5.4, Gemini 2.5) et les grands modèles à poids ouverts montrent une dégradation de performance quasi nulle entre les langues, maintenant leur robustesse dans les contextes non anglophones.
Petits modèles : Les plus petits modèles à poids ouverts présentent des baisses de performance notables dans les langues non anglaises, particulièrement dans les langues à faibles ressources comme le swahili. Cela suggère que la représentation du corpus de pré-entraînement influence fortement la robustesse multilingue.

3. Analyse des étapes de raisonnement

L'évaluation au niveau des étapes révèle que la fragilité du raisonnement est un phénomène général, pas limité aux petits modèles.

Cohérence : Il existe un écart constant entre le F1 moyen et le F1 du pire cas. Même GPT-5.4 perd 13 à 20 points de score F1 dans les conditions du pire cas.
Difficulté des sujets : La biologie reste la matière la plus difficile pour tous les modèles, suivie des mathématiques et de l'informatique, qui présentent les plus fortes baisses de cohérence au niveau des étapes.

4. Aperçus mécanistes (Têtes d'attention)

L'analyse des têtes d'attention du modèle Qwen3-VL-8B-Instruct révèle une variation trans-linguistique substantielle du Ratio d'attention de l'image (IAR) :

Dépendance linguistique : Le modèle s'appuie moins sur le contexte visuel lorsqu'il est sollicité en chinois (IAR le plus bas) et beaucoup plus lorsqu'il l'est en kazakh et en hindi (IAR le plus élevé).
Hypothèse : Les auteurs supposent qu'une plus grande familiarité avec la langue permet au modèle de s'appuyer davantage sur les entrées textuelles, tandis qu'une familiarité moindre force une dépendance compensatoire vis-à-vis des entrées visuelles.

5. Modes de défaillance

L'inspection manuelle des échecs de GPT-5.4 a identifié trois types d'erreurs principaux :

Erreurs de lecture de figures (63,5 %) : Échec de l'extraction de valeurs numériques précises ou erreur de comptage d'objets.
Erreurs de connaissances (28,8 %) : Raisonnement logique erroné, hallucination d'informations inexistantes ou application de théorèmes incorrects.
Erreurs de calcul (7,7 %) : Erreurs arithmétiques malgré une logique correcte.

Signification et revendications

L'article affirme que Sci-ρ est le premier benchmark symbolique et multilingue de robustesse pour le raisonnement visuellement ancré en STEM. Sa principale importance réside dans le passage d'un paradigme d'évaluation de tests statiques à des évaluations dynamiques basées sur des variantes.

Les auteurs soutiennent que :

Les benchmarks statiques sont insuffisants : Ils ne parviennent pas à distinguer le raisonnement véritable de la simple correspondance de motifs de surface. Le grand écart entre la précision moyenne et celle du pire cas expose la fragilité des VLM actuels.
La robustesse est une métrique critique : Une véritable capacité en STEM nécessite une performance constante face aux perturbations visuelles et numériques, une capacité qui fait actuellement défaut même aux modèles de pointe.
La robustesse multilingue dépend du modèle : Si les grands modèles généralisent bien entre les langues, les plus petits modèles peinent, soulignant la nécessité d'un meilleur pré-entraînement multilingue ou d'ajustements architecturaux.
L'ancrage visuel est incohérent : La variation de l'allocation de l'attention selon les langues suggère que les VLM n'intègrent pas uniformément les informations visuelles et textuelles, s'appuyant potentiellement sur le texte lorsqu'ils sont familiers et sur l'image lorsqu'ils ne le sont pas.

Le travail conclut que l'évaluation des VLM au-delà des benchmarks statiques est essentielle pour mesurer leur véritable qualité et leur aptitude à des applications STEM rigoureuses.