Résumé Technique : SEEPHYS PRO

Énoncé du Problème

Les systèmes d'IA multimodaux font face à un défi critique en matière de cohérence des modalités : la capacité à préserver des comportements de raisonnement identiques lorsque des informations équivalentes sont présentées sous différentes formes (par exemple, texte versus diagrammes). Les benchmarks actuels évaluent souvent les modèles sur un seul format d'entrée, masquant ainsi de savoir si les améliorations de la précision de la réponse finale découlent d'un raisonnement véritablement invariant à la représentation ou de raccourcis spécifiques à une modalité. Ce fossé est particulièrement aigu en physique, où les diagrammes définissent souvent la structure du système physique et les liaisons de variables plutôt que de simplement illustrer le texte. Les évaluations existantes peinent à distinguer les échecs liés à la perception des diagrammes, à la lecture des variables, à l'abstraction physique et au raisonnement symbolique en aval.

Méthodologie

1. Benchmark SEEPHYS PRO

Les auteurs introduisent SEEPHYS PRO, un benchmark de transfert de modalité finement granulaire fondé sur le principe de « même physique, représentation différente ».

• Conception : Chaque problème physique de base est transformé en quatre variantes sémantiquement alignées qui déplacent progressivement les informations critiques pour la tâche du langage vers la vision :
  • Niveau 1 (L1) : Texte uniquement (toute la structure, les variables et les quantités sont en langage).
  • Niveau 2 (L2) : Structure dans l'image (topologie/relations physiques dans l'image ; les variables restent en texte).
  • Niveau 3 (L3) : Structure + Variables dans l'image (le diagramme inclut les étiquettes et les valeurs numériques).
  • Niveau 4 (L4) : Image entièrement rendue (énoncé du problème, formules et diagramme convertis en une seule entrée visuelle, incluant du texte manuscrit).
• Construction des Données : Dérivé de plus de 5 000 pages PDF issues de jeux de données publics, de manuels scolaires, d'olympiades et d'examens. Le jeu de données contient 1 000 questions de base (4 000 variantes au total) couvrant six disciplines de la physique (Mécanique, Électromagnétisme, Optique, Thermodynamique, Ondes, Physique moderne).
• Métriques : Le benchmark définit des métriques spécifiques pour décomposer les performances :
  • Fossés de Transfert : $\Delta S$ (transfert structurel L1→L2), $\Delta V$ (ancrage des variables L2→L3), $\Delta R$ (rendu L3→L4), et $\Delta T$ (fossé total).
  • Cohérence : Le pourcentage de problèmes résolus correctement simultanément sur les quatre niveaux.

2. Diagnostics en Phase d'Entraînement (Entraînement Aveugle)

Pour investiguer si l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) améliore véritablement l'ancrage visuel ou exploite simplement des raccourcis statistiques, les auteurs ont développé deux corpus d'apprentissage par renforcement à grande échelle en physique (PhysRL-40K et PhysRL-8K).

• Contrôle d'Entraînement Aveugle : Un paramétrage de contrôle négatif où toutes les images d'entraînement sont masquées (remplacées par des images noires), rendant les instances d'entraînement visuellement insolubles.
• Comparaison : Les modèles sont entraînés via RL standard (avec images) et RL aveugle (sans images) puis évalués sur des ensembles de validation non masqués.
• Analyse des Mécanismes : Les auteurs emploient la suppression de texte, la suppression ciblée de texte, l'ablation du taux de masquage d'image et des contrôles de saturation de format pour isoler les sources des gains de performance dans l'entraînement aveugle.

Résultats Clés

Fragilité en Phase d'Inférence

L'évaluation sur 15 grands modèles de langage multimodaux (MLLM) à poids fermés et ouverts révèle une fragilité significative lors du transfert de modalité :

• Dégradation des Performances : La précision moyenne chute de 49,2 % (L1) à 35,8 % (L4), résultant en un fossé total de transfert moyen de 13,4 points de pourcentage.
• Goulot d'Étranglement de l'Ancrage des Variables : La plus forte baisse de performance se produit lors du passage du Niveau 2 au Niveau 3 ($\Delta V = 7,4$), où les modèles doivent ancrer les variables et les étiquettes depuis l'image. Cela indique que la reconnaissance de la structure du diagramme est moins problématique que la lecture et la liaison de quantités numériques spécifiques à des entités physiques.
• Incohérence : Même les modèles de pointe (par exemple, GPT-5.4, Claude-4.7-Opus) présentent une faible cohérence à quatre voies (par exemple, 32,6 % pour GPT-5.4), ce qui signifie qu'un modèle résolvant un problème basé sur du texte échoue souvent lorsque le même problème est présenté visuellement.
• Référence Humaine : Des élèves du secondaire (54,0 % en L1) montrent une plus grande robustesse, avec une performance qui s'améliore légèrement lors du passage du texte à la structure (L1→L2), alors que les modèles se dégradent.

Diagnostics en Phase d'Entraînement

• Gains de l'Entraînement Aveugle : De manière surprenante, le RL aveugle (entraînement avec images masquées) améliore la précision sur les ensembles de validation non masqués. Pour Qwen3-VL-4B, le RL aveugle a augmenté la précision du Niveau 1 de 9,9 % à 20,9 % et celle du Niveau 4 de 6,4 % à 13,0 %.
• Absence de Fermeture des Fossés : Malgré les gains de précision, le RL aveugle échoue à combler les fossés de transfert de modalité. Le fossé total ($\Delta T$) et le fossé d'ancrage des variables ($\Delta V$) restent importants, voire s'élargissent après l'entraînement.
• Mécanisme des Gains : L'analyse des mécanismes révèle que les gains aveugles sont pilotés par des indices textuels résiduels (par exemple, modèles de problèmes, options de réponse, plages numériques) et des régularités statistiques au niveau du jeu de données plutôt que par des preuves visuelles valides.
  • La suppression du texte dans les données d'entraînement élimine les gains aveugles.
  • Les gains aveugles persistent même lorsque les récompenses de format sont saturées, écartant la simple conformité au format comme cause unique.
• Validation Transversale aux Benchmarks : Ces résultats s'étendent à des benchmarks externes de mathématiques et de physique (par exemple, MathVerse, PhyX), suggérant que le RL basé uniquement sur le résultat amplifie souvent des raccourcis non visuels plutôt que de favoriser un véritable ancrage visuel.

Signification et Revendications

L'article soutient que les évaluations actuelles du raisonnement multimodal sont insuffisantes si elles reposent uniquement sur la précision de la réponse finale. Les auteurs affirment :

1. L'Invariance de Représentation fait défaut : Les MLLM de pointe ne sont pas encore des raisonneurs invariants à la représentation ; ils sont hautement sensibles à la manière dont l'information est encodée, l'ancrage des variables constituant un mode d'échec primaire.
2. Limites du RLVR : L'apprentissage par renforcement avec des récompenses basées uniquement sur le résultat peut améliorer les performances des benchmarks sans réellement améliorer la capacité du modèle à utiliser des preuves visuelles. Les « gains » observés dans le RL standard découlent largement du fait que le modèle apprend à exploiter des raccourcis textuels et distributionnels plutôt qu'à ancrer le raisonnement dans les images.
3. Nécessité de Diagnostics : Les recherches futures doivent évaluer le raisonnement multimodal à travers la robustesse au transfert de modalité et des diagnostics d'ancrage en phase d'entraînement (tels que des contrôles d'entraînement aveugle) pour distinguer un véritable apprentissage visuel des améliorations de performance basées sur des raccourcis.

Ce travail met en lumière la nécessité de benchmarks et de protocoles d'entraînement qui testent explicitement si les améliorations reposent sur des preuves visuelles critiques pour la tâche, plutôt que simplement sur la capacité du modèle à parvenir à la bonne réponse par des voies alternatives non visuelles.