💬 NLP

What MLLMs Learn about When they Learn about Multimodal Reasoning

Cet article présente MathLens, une nouvelle référence qui décompose le raisonnement multimodal en composantes de perception, de raisonnement et spécifiques au multimodal pour révéler que des stratégies d'entraînement comme l'apprentissage par renforcement et le SFT textuel produisent des profils de capacités distincts invisibles aux métriques d'agrégation de précision, suggérant que les progrès apparents reflètent des équilibres changeants parmi les sous-compétences plutôt qu'un avancement uniforme.

Auteurs originaux : Jiwan Chung, Neel Joshi, Pratyusha Sharma, Youngjae Yu, Vibhav Vineet

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwan Chung, Neel Joshi, Pratyusha Sharma, Youngjae Yu, Vibhav Vineet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de robots très intelligents (Modèles de Langage à Grande Échelle Multimodaux, ou MLLM) qui tentent de résoudre des énigmes complexes impliquant à la fois des images et des mots. Pendant longtemps, nous avons évalué ces robots avec un bulletin simple : « Ont-ils trouvé la bonne réponse ou non ? » S'ils avaient raison, nous leur donnions une étoile dorée. S'ils avaient tort, nous leur mettions une croix rouge.

Le problème avec cette approche, c'est qu'elle traite le « raisonnement » comme un super-pouvoir magique unique. C'est comme dire qu'une voiture est « rapide » sans vérifier si c'est le moteur, les pneus ou le conducteur qui la font aller vite. Si la voiture a un accident, vous ne savez pas si c'est à cause de pneus défectueux (perception), d'un conducteur confus (raisonnement), ou du fait que la voiture ne sait tout simplement pas comment gérer la route (coordination multimodale).

Voici MATHLENS : La radiographie du robot

Les auteurs de cet article ont construit un outil spécial appelé MATHLENS. Considérez MATHLENS non pas comme un examen final, mais comme une radiographie médicale pour ces robots IA. Au lieu de se contenter de regarder le score final, MATHLENS décompose chaque problème de mathématiques en trois parties distinctes pour voir exactement où le robot échoue :

Perception (Les Yeux) : Le robot peut-il réellement voir les nombres et les formes dans le diagramme ? A-t-il lu correctement « 50 degrés », ou a-t-il cru voir « 55 » ?
Raisonnement (Le Cerveau) : Si le robot voit les nombres correctement, peut-il utiliser la logique pour résoudre le problème ? Peut-il effectuer les étapes mathématiques sans se tromper ?
Intégration Multimodale (La Poignée de Main) : C'est la partie délicate. Le robot peut-il combiner avec succès ce qu'il a vu avec ce qu'il a pensé ? Parfois, un robot voit les bons nombres et connaît les bonnes mathématiques, mais il échoue quand même parce qu'il ne parvient pas à relier les deux idées de manière fluide.

Ce qu'ils ont découvert : Le régime d'entraînement compte

Les chercheurs ont testé différentes méthodes pour « entraîner » ces robots (comme en leur donnant différents régimes) et ont constaté que la méthode d'entraînement modifie laquelle des parties du robot devient plus forte, souvent de manière surprenante :

Le régime « Apprentissage par Renforcement » (RL) : Imaginez cela comme un sergent instructeur rigoureux. Le robot tente un problème, reçoit une récompense s'il a raison et une pénalité s'il a tort.
- Résultat : Cet entraînement rend les yeux du robot beaucoup plus perçants. Il devient très bon pour lire les diagrammes et gérer différents styles visuels. Cependant, cela ne rend pas nécessairement le « cerveau » du robot (la logique pure) plus intelligent en soi. Cela aide surtout le robot à cesser de faire des erreurs visuelles bêtes.
Le régime « Texte seul » (SFT Textuel) : Imaginez enseigner au robot en utilisant uniquement des manuels, sans aucune image.
- Résultat : Étonnamment, cela rend le robot meilleur pour lire les images aussi ! Comment ? En forçant le robot à réfléchir profondément à la logique des mots, il apprend à « réfléchir » et à vérifier son propre travail. C'est comme un étudiant qui étudie la théorie si bien que, lorsqu'il regarde enfin un diagramme, il réalise : « Attends, j'ai mal lu cette ligne plus tôt », et se corrige lui-même.
Le régime « Multimodal » (SFT Multimodal) : Il s'agit d'un entraînement avec à la fois des images et des mots ensemble.
- Résultat : Celui-ci était un peu un piège. Bien que les robots se soient améliorés sur les images spécifiques qu'ils ont vues pendant l'entraînement, ils sont devenus moins robustes. Si vous leur montriez une version légèrement différente du même diagramme (comme en le faisant pivoter), ils se perdaient. C'est comme un étudiant qui a mémorisé les réponses à un test de pratique spécifique mais échoue lorsque les questions sont réorganisées.

Les erreurs « Fantômes »

Voici la découverte la plus fascinante : alors que les robots s'amélioraient dans la vision (Perception) et la pensée (Raisonnement), les erreurs ne disparaissaient pas entièrement. Au lieu de cela, un nouveau type d'erreur a commencé à dominer.

Les chercheurs appellent cela l'erreur « Spécifique au Multimodal ». Imaginez un robot qui voit parfaitement le nombre « 10 » et sait que « 10 + 10 = 20 ». Mais lorsqu'on lui demande de résoudre un problème avec une image de « 10 » et le texte « 10 », il échoue d'une manière ou d'une autre à les mettre ensemble. Ce n'est pas un problème de vision, et ce n'est pas un problème de mathématiques ; c'est un problème de coordination. Les yeux et le cerveau du robot fonctionnent bien individuellement, mais ils ne se serrent pas la main correctement.

La conclusion

L'article soutient que nous devons cesser de nous contenter de regarder le « Score de Précision » final. Ce score est un mensonge car il cache la vérité. Un robot peut obtenir un score élevé en ayant de la chance avec sa vision, ou il peut obtenir un score faible parce qu'il est excellent en mathématiques mais mauvais pour lire les diagrammes.

En utilisant MATHLENS, nous pouvons voir que le « progrès » n'est pas une ligne droite. Parfois, nous réparons simplement les yeux, parfois le cerveau, et parfois nous réparons simplement la poignée de main entre les deux. Pour construire des robots véritablement intelligents, nous devons réparer les trois parties, pas seulement courir après un seul chiffre.

Résumé Technique : Ce que les MLLM Apprennent lorsqu'ils Apprennent le Raisonnement Multimodal

Énoncé du Problème

L'évaluation actuelle des Grands Modèles de Langage Multimodaux (MLLM) réduit généralement la performance à un score d'exactitude agrégé unique. Cette approche traite implicitement le raisonnement comme une capacité unitaire, occultant les sources distinctes d'erreurs : la perception (extraction d'informations à partir d'entrées visuelles), le raisonnement (traitement des informations extraites) et les interactions spécifiques au multimodal (coordination entre les modalités). Les benchmarks existants décomposent rarement ces composants avec des contrôles stricts, s'appuyant souvent sur des modalités d'entrée variées sans isoler des compétences spécifiques. Par conséquent, il reste unclear comment différentes stratégies d'entraînement (par exemple, l'Affinement Supervisé vs l'Apprentissage par Renforcement) influencent des capacités spécifiques de raisonnement multimodal.

Méthodologie : MATHLENS

Pour y remédier, les auteurs introduisent MATHLENS, un benchmark contrôlé de problèmes de géométrie de style manuel conçu pour décomposer opérationnellement la performance.

Construction des Données : MATHLENS est construit sur l'état sémantique symbolique de FormalGeo-7K. Chaque instance de problème $k$ est définie par un état sémantique latent $S_k$ (un ensemble de faits atomiques, par exemple la colinéarité, les mesures d'angles) et un opérateur de requête $\phi_k$ .
Variantes Contrôlées : À partir de $S_k$ $S_{k}$ , le benchmark génère quatre annotations alignées :
1. Diagrammes Visuels ( $C^{img}_k$ ) : Rendus à partir de contraintes géométriques pour tester la perception.
2. Descriptions Textuelles ( $C^{txt}_k$ ) : Encodage textuel définitivement équivalent de $S_k$ , permettant une évaluation du raisonnement avec une perception trivialisée.
3. Questions Multimodales ( $Q_k$ ) : Nécessitant les deux modalités pour être résolues.
4. Sondes de Perception ( $Q^{perc}_k$ ) : Questions fines ciblant des faits atomiques spécifiques dans $S_k$ (par exemple, « Quels points sont colinéaires ? »).
Test de Robustesse : Le benchmark inclut des modifications sémantiques de diagrammes (par exemple, le renommage, la rotation, l'ajout de formes auxiliaires) qui préservent la réponse de vérité terrain mais altèrent la forme visuelle, testant l'invariance sémantique au-delà de l'augmentation au niveau des pixels.
Décomposition des Erreurs : Les sorties du modèle sont catégorisées en :
- Erreurs de Perception : Échec sur les sondes de perception.
- Erreurs de Raisonnement : Succès sur les sondes mais échec sur le raisonnement en texte seul.
- Erreurs Spécifiques au Multimodal (Intégration) : Succès à la fois sur les tâches de perception et de raisonnement isolées, mais échec sur la tâche multimodale combinée.
- Résidus : Une catégorie capturant les échecs non expliqués par les composants de perception et de raisonnement mesurés.

L'étude évalue 13 points de contrôle à travers 7 familles de modèles (7–9B et 72B paramètres), incluant des variantes entraînées avec RL Direct, SFT Multimodal, SFT Textuel, et des combinaisons de ceux-ci.

Résultats Clés

La décomposition révèle que les stratégies d'entraînement induisent des profils de capacités systématiquement différents qui sont invisibles sous l'exactitude agrégée :

Impact Différentiel des Stratégies d'Entraînement :
- Apprentissage par Renforcement (RL) : Améliore principalement la perception et la robustesse face aux variations de diagramme. Lorsqu'il est couplé à un SFT textuel fort, le RL produit des gains significatifs en perception. Cependant, le RL seul n'offre que des améliorations modestes dans les deux modalités.
- SFT Textuel : Malgré l'absence d'entrée visuelle pendant l'entraînement, le SFT textuel renforce indirectement la perception. Cela est attribué au raisonnement réflexif, où des stratégies cognitives améliorées (par exemple, l'auto-correction) permettent aux modèles de revisiter et de corriger les jugements perceptuels initiaux.
- Gains de Raisonnement : Les améliorations du raisonnement suivent largement les améliorations perceptuelles sous le RL et ne présentent pas de gains additionnels distincts au-delà de ces améliorations couplées.
L'Émergence des Résidus Spécifiques au Multimodal :
À mesure que les capacités de perception et de raisonnement s'améliorent, une fraction croissante des erreurs restantes tombe en dehors de ces composants mesurés. Ces erreurs sont catégorisées comme des résidus spécifiques au multimodal (ou échecs d'intégration). Cela suggère que les progrès apparents en raisonnement multimodal reflètent souvent des équilibres changeants entre les composants plutôt qu'une avancée uniforme.
Divergence de Robustesse :
- Le RL améliore la cohérence sous des variations structurelles de diagrammes.
- Le SFT Multimodal réduit la robustesse, conduisant à un surajustement sur des styles visuels spécifiques et une chute brutale des performances sur des diagrammes modifiés.
Gains Spécifiques aux Compétences :
Les gains de perception sont inégaux. L'entraînement améliore préférentiellement les compétences pilotées par des indices géométriques directs (par exemple, la colinéarité, les lignes parallèles). Les tâches reposant sur des marques symboliques ou des associations visuelles à longue portée (par exemple, des valeurs d'angles spécifiques, la détection de triangles) montrent des gains limités sauf si combinées à une supervision textuelle.

Importance et Revendications

L'article revendique que MATHLENS fournit un cadre nécessaire pour l'évaluation multi-axiale du raisonnement multimodal. En allant au-delà de l'exactitude scalaire, les auteurs démontrent que :

Les progrès apparents des MLLM sont souvent un déplacement de l'équilibre entre perception, raisonnement et intégration, plutôt qu'un boost de capacité uniforme.
Différents objectifs d'entraînement (SFT vs RL) façonnent ces composants de manières distinctes, le RL étant crucial pour l'ancrage perceptuel et la robustesse, et le SFT textuel aidant la perception par le biais du raisonnement réflexif.
La persistance des résidus spécifiques au multimodal indique que les paradigmes d'entraînement actuels peinent avec la coordination inter-modale, même lorsque les composants individuels s'améliorent.

Les auteurs concluent que les travaux futurs doivent aborder directement la coordination inter-modale et la capacité perceptuelle, motivés par la découverte que les métriques agrégées standard occultent ces limitations critiques. L'article ne prétend pas résoudre ces problèmes mais fournit les outils de diagnostic pour les identifier.

Résumé Technique : Ce que les MLLM Apprennent lorsqu'ils Apprennent le Raisonnement Multimodal

Énoncé du Problème

Méthodologie : MATHLENS

Résultats Clés

Importance et Revendications

Articles similaires