MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence
L'article présente MMArch, un banc d'essai rigoureux pour l'architecture et le génie civil qui évalue la capacité des grands modèles de langage multimodaux à synthétiser des preuves visuelles distribuées avec des principes d'ingénierie, révélant un écart de performance significatif entre les systèmes d'IA actuels et les experts humains.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot comment devenir architecte. Vous ne voulez pas seulement qu'il reconnaisse qu'une image montre une maison ; vous voulez qu'il comprenne pourquoi la maison ne s'effondrera pas. C'est le monde des « Modèles de Langage de Grande Taille Multimodaux » (MLLM). Considérez ces modèles comme des cerveaux numériques super intelligents capables de lire du texte et de regarder des images en même temps. Ils sont excellents pour décrire ce qu'ils voient, comme dire : « C'est une porte bleue », ou « Ce graphique montre une ligne qui monte ». Mais dans le monde réel de l'ingénierie, savoir ce que l'on voit ne suffit pas. Il faut relier les points entre un dessin, une règle de physique et un code de sécurité pour porter un jugement. C'est comme être un détective qui doit examiner la photo d'une scène de crime, se souvenir d'une loi spécifique, puis décider si le suspect est coupable. La grande question que les chercheurs se posent est la suivante : ces détectives IA peuvent-ils réellement résoudre l'affaire, ou ne font-ils que deviner en se basant sur les indices qu'ils voient ?
C'est là qu'intervient une nouvelle étude appelée MMArch. Les chercheurs ont construit un test géant et complexe, spécifiquement dédié à l'architecture et au génie civil, pour voir si l'IA peut réellement « réfléchir » comme un ingénieur. Ils ne se sont pas contentés de demander à l'IA de décrire une image ; ils lui ont donné un puzzle dont la réponse était cachée dans différentes parties d'un dessin et qui nécessitait une règle de physique spécifique pour être résolue. Les résultats ont été un véritable signal d'alarme. Bien que les modèles d'IA les plus performants aient réussi environ la moitié des questions, une équipe d'experts humains a réussi presque toutes les questions. L'étude a révélé que l'IA n'échoue pas parce qu'elle est incapable de « voir » l'image, mais parce qu'elle est incapable de relier l'image à la bonne règle et de faire le calcul pour obtenir la réponse. C'est comme si l'IA pouvait lire le menu et voir les ingrédients, mais qu'elle ne savait pas comment cuisiner le plat.
Le Grand Test : MMArch
Les chercheurs ont créé un benchmark appelé MMArch (Architecture Multimodale). Voyez cela comme un examen final pour l'IA, mais au lieu de questions à choix multiples où l'on peut simplement deviner, c'est un examen à réponses courtes. L'examen est composé de 1 212 questions tirées directement de véritables articles scientifiques évalués par des pairs concernant des bâtiments, des ponts et des villes. Ce ne sont pas des images inventées ; ce sont les diagrammes réels que les ingénieurs utilisent pour prouver que leurs conceptions fonctionnent.
Le test couvre 10 domaines différents, allant de la façon dont les bâtiments tremblent lors de séismes à la conception de modèles numériques de villes. Pour s'assurer que l'IA ne puisse pas utiliser de raccourcis, les chercheurs ont utilisé un système astucieux de « planificateur-rédacteur ». D'abord, un « planificateur » a examiné un article et a choisi une réponse spécifique (comme « Armature n°6 et n°7 »). Ensuite, un « rédacteur » a créé une question qui exigeait de regarder l'image et de connaître la règle d'ingénierie pour trouver cette réponse. L'IA ne pouvait pas simplement lire le texte ou regarder une petite partie de l'image ; elle devait regarder l'image entière, trouver les bons indices et appliquer une règle pour résoudre le problème.
Les Résultats : L'IA contre les Humains
Lorsqu'ils ont soumis 18 modèles d'IA différents (à la fois des modèles gratuits et open-source et des modèles commerciaux coûteux et de haut niveau) à ce test, les résultats ont été clairs : l'IA est encore loin d'être un véritable ingénieur.
- Les experts humains : Un panel de véritables architectes et ingénieurs a obtenu 94,6 % de bonnes réponses. Ils ont excellé à l'examen.
- La meilleure IA : Le modèle d'IA commerciale le plus intelligent (GPT-5.5) n'a obtenu que 51,7 % de bonnes réponses.
- L'IA Open-Source : Le meilleur modèle gratuit a réussi environ 30 %.
C'est un écart de plus de 40 points de pourcentage. Même la meilleure IA est à peine au niveau de la moyenne, tandis que les humains obtiennent des scores proches de la perfection. Les chercheurs ont vérifié que l'IA ne se contentait pas de deviner ou de lire le texte au lieu de l'image, et ils ont confirmé que l'IA échouait réellement sur la partie raisonnement.
Pourquoi l'IA a-t-elle des difficultés ?
L'équipe ne s'est pas arrêtée aux scores ; elle a cherché à comprendre pourquoi l'IA se trompait. Elle a découvert que le problème n'était pas que l'IA ne pouvait pas « voir » l'image. L'IA était en fait plutôt douée pour repérer les bonnes lignes et les bons chiffres dans les diagrammes. Le vrai problème survenait lorsque l'IA tentait de combiner ce qu'elle voyait avec ce qu'elle savait.
Ils ont classé les erreurs en cinq types :
- Erreurs de Perception (20,3 %) : L'IA a simplement mal lu l'image (comme confondre deux lignes similaires).
- Erreurs de Principe (21,7 %) : L'IA a bien vu l'image, mais a utilisé la mauvaise règle (comme penser qu'une boucle large dans un graphique signifiait que le matériau devenait plus faible, alors qu'en réalité, il devenait plus fort).
- Erreurs de Composition (35,8 %) : C'était le problème majeur. L'IA trouvait les bons chiffres et connaissait la bonne règle, mais lorsqu'elle essayait de les combiner pour obtenir la réponse finale, elle sautait une étape ou se trompait dans le calcul. C'est comme avoir tous les ingrédients et la recette, mais brûler le gâteau parce qu'on a oublié de les mélanger dans le bon ordre.
- Erreurs d'Ancrage (14,5 %) : L'IA savait ce qu'elle devait chercher, mais a mal lu le nombre (comme dire +138 au lieu de -142).
- Erreurs de Cohérence (7,7 %) : L'IA avait trouvé la bonne réponse dans son « cerveau », mais a écrit la mauvaise.
La conclusion principale est que les Erreurs de Composition représentaient plus d'un tiers de toutes les erreurs. Cela signifie que la plus grande faiblesse de l'IA est de relier les points. Elle peut voir l'évidence et elle peut se rappeler la règle, mais elle ne peut pas les combiner de manière fiable pour résoudre un problème complexe.
Est-ce que « réfléchir étape par étape » aide ?
Vous avez peut-être entendu que dire à l'IA de « réfléchir étape par étape » (une technique appelée Chain-of-Thought) l'aide à résoudre des problèmes difficiles. Les chercheurs ont testé cela sur MMArch. Ils ont demandé à l'IA d'expliquer son raisonnement avant de donner la réponse. Le résultat ? Cela n'a pas beaucoup aidé. Pour certains modèles, cela les a légèrement améliorés ; pour d'autres, cela les a même rendus moins performants. Cela suggère que le problème n'est pas que l'IA a besoin qu'on lui dise comment réfléchir, mais qu'elle ne connaît tout simplement pas assez de choses sur les règles spécifiques de l'architecture et de l'ingénierie pour construire un fil de pensée correct en premier lieu.
Et après ?
L'étude conclut que nous ne pouvons pas simplement rendre l'IA plus grande ou lui donner plus de données pour corriger cela. Le problème n'est pas un manque de taille ; c'est un manque de raisonnement profond et spécialisé. L'IA doit apprendre à lier les preuves visuelles aux connaissances du domaine d'une manière que les modèles actuels ne peuvent pas encore faire.
MMArch est désormais disponible pour que d'autres chercheurs puissent l'utiliser comme terrain d'entraînement. C'est un outil de diagnostic pour nous aider à voir exactement où l'IA échoue afin de construire de meilleurs modèles pour l'avenir. En attendant, si vous devez concevoir un gratte-ciel qui ne s'effondrera pas lors d'un séisme, vous feriez mieux d'embaucher un expert humain plutôt que de demander à un robot.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.