Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems
Cet article évalue les capacités de raisonnement spatial et de sens commun de deux modèles multimodaux de pointe, Gemma-3 et Qwen-VL, sur des tâches qualitatives de résolution de problèmes mécaniques en analysant leurs processus de chaîne de pensée et leurs réponses finales par rapport aux solutions de référence dérivées du Bennett Mechanical Comprehension Test.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La vie quotidienne est remplie de casse-têtes mécaniques que nous résolvons sans jamais avoir recours à une calculatrice. Ouvrir un robinet, comprendre pourquoi une boîte lourde est plus difficile à pousser sur une rampe qu'une boîte légère, ou déterminer dans quel sens un ensemble d'engrenages tournera lorsqu'on tourne une manivelle — ce sont des tâches que nous accomplissons grâce à une sorte de bon sens. Cette capacité, appelée raisonnement qualitatif, repose sur la compréhension de l'apparence, du toucher et de la manière dont les objets se rapportent les uns aux autres dans l'espace, plutôt que sur des mesures précises ou des formules complexes. C'est une compétence si fondamentale pour l'intelligence humaine que les employeurs utilisent souvent des tests spécifiques, comme le Bennett Mechanical Comprehension Test, pour voir si les candidats possèdent l'intuition mécanique innée nécessaire pour des rôles dans la plomberie, la médecine d'urgence ou la conduite. Depuis des décennies, les scientifiques se demandent si les machines pourraient apprendre à faire la même chose, non pas seulement en calculant des chiffres, mais en « voyant » et en comprenant véritablement le monde physique comme le font les humains.
Une équipe de chercheurs de l'Université d'État de Louisiane à La Nouvelle-Orléans a récemment mis cette question à l'épreuve en examinant deux nouveaux modèles d'intelligence artificielle plus petits, conçus pour voir et lire simultanément. Ces modèles, nommés Gemma et Qwen, sont construits pour regarder une image et répondre à une question à son sujet, une capacité devenue de plus en plus courante dans la technologie moderne. Les chercheurs voulaient savoir si ces systèmes pouvaient résoudre le même type de casse-têtes mécaniques auxquels les humains sont confrontés et, plus important encore, ils voulaient voir comment les machines parvenaient à une réponse. Au lieu de simplement vérifier si la réponse finale était bonne ou mauvaise, l'équipe a demandé aux modèles d'expliquer leur raisonnement étape par étape, révélant la logique interne qu'ils utilisaient pour parvenir à une conclusion. Ils ont testé les modèles sur trente problèmes différents impliquant des engrenages, la pression de l'eau, les ondes sonores et la chaleur, couvrant une gamme de difficultés allant de facile à difficile.
Les résultats ont brossé le portrait d'une promesse accompagnée de limitations significatives. Lorsque les problèmes étaient simples et les indices visuels évidents, les deux modèles réussissaient bien, identifiant correctement la solution et expliquant leur logique avec un flux clair et étape par étape. Dans ces situations idéales, les machines associaient avec succès ce qu'elles voyaient aux règles de la physique, à l'instar d'un étudiant qui a étudié la matière et en comprend les concepts. Cependant, à mesure que les problèmes devenaient plus subtils ou nécessitaient une compréhension plus profonde des relations spatiales, les modèles commençaient à trébucher. Une grande partie de leurs erreurs ne provenait pas d'un manque de connaissances, mais d'un échec de perception correcte de l'image. Dans un cas impliquant un sous-marin et une onde sonore, les deux modèles ont inventé des détails qui n'étaient pas présents, comme le mouvement du sous-marin vers ou loin d'une explosion, alors que l'image montrait une scène statique. Parce qu'ils avaient halluciné ce mouvement, ils ont appliqué une mauvaise logique et sont arrivés à une mauvaise réponse, même si la véritable solution dépendait simplement de la vitesse à laquelle le son voyage dans l'eau par rapport à l'air.
Dans d'autres cas, les modèles ont obtenu la bonne réponse pour de mauvaises raisons, un phénomène que les chercheurs ont trouvé particulièrement révélateur. Un modèle a correctement identifié laquelle de trois turbines hydrauliques tournerait le plus vite, mais son explication reposait sur une compréhension totalement erronée de la manière dont les jets d'eau frappaient les pales. Il avait deviné le résultat par chance, masquant un processus interne défaillant. Cela suggère que, bien que les modèles puissent parfois imiter l'apparence de la compréhension, ils manquent du raisonnement robuste et ancré que les humains utilisent pour vérifier leurs pensées. L'étude a révélé que les modèles échouaient à résoudre environ la moitié des problèmes, les erreurs provenant soit d'un mauvais raisonnement spatial — manquant des détails visuels clés comme les points de contact ou les distances — soit d'une logique erronée où ils appliquaient mal les lois physiques. Par exemple, dans un problème d'engrenage, un modèle a supposé qu'un grand engrenage entraînerait un petit plus rapidement, une règle qui ne s'applique pas à l'agencement spécifique montré sur l'image.
Les chercheurs ont conclu que, bien que ces petits modèles de langage visuel soient capables de prouesses impressionnantes, ils ne sont pas encore prêts à remplacer l'intuition humaine dans des tâches mécaniques complexes. La capacité d'obtenir la bonne réponse ne suffit pas ; le chemin vers cette réponse doit être logique et basé sur une lecture véritable du monde visuel. L'étude souligne que l'intelligence artificielle actuelle éprouve toujours des difficultés avec le type de raisonnement spatial de bon sens qui permet aux humains de naviguer sans effort dans le monde physique. Pour progresser, les auteurs suggèrent que les futurs systèmes devront être entraînés spécifiquement sur des tâches exigeant la compréhension de l'espace et des relations, et peut-être combinés à des systèmes capables de vérifier les faits par rapport aux principes physiques connus. D'ici là, les machines restent des étudiants qui peuvent parfois réussir un examen en devinant, mais qui n'ont pas encore appris à véritablement voir le monde comme nous.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.