See2Think: Do Multimodal Models Really Use Intermediate Visual States?
Cet article introduit See2Think, un cadre d'évaluation unifié comprenant un benchmark de 1 200 échantillons et un protocole de Visual Action-of-Thought, pour révéler que si les modèles multimodaux présentent une dépendance comportementale vis-à-vis des états visuels intermédiaires, leur précision de raisonnement est fortement contrainte par la fidélité du rendu et varie considérablement selon les modèles et les environnements.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez de résoudre un casse-tête difficile, mais qu'au lieu de simplement regarder l'image, vous aviez le droit de prendre un crayon, de tracer des lignes, d'entourer des indices et de griffonner vos réflexions sur une feuille de papier. C'est le monde des Modèles de Langage de Grande Taille Multimodaux — des programmes informatiques super intelligents capables de lire du texte et de « voir » des images. Pendant un certain temps, ces modèles se sont améliorés pour « penser à voix haute » en écrivant leurs étapes, une astuce appelée Chaîne de Pensée (Chain-of-Thought). Mais de nombreux casse-têtes, en particulier ceux impliquant des espaces 3D ou de la géométrie complexe, sont difficiles à résoudre avec les mots seuls. Les humains utilisent naturellement des diagrammes pour nous aider à réfléchir, alors les scientifiques se sont demandé : Ces modèles d'IA peuvent-ils réellement utiliser des dessins et des croquis intermédiaires pour résoudre des problèmes, ou font-ils simplement semblant ?
C'est la grande question que les chercheurs posent. Si une IA dit : « Je dois tracer une ligne ici pour comprendre cela », utilise-t-elle réellement ce nouveau dessin pour trouver la réponse ? Ou ignore-t-elle simplement le dessin et devine-t-elle la réponse quand même ? C'est comme demander si un élève utilise réellement son brouillon pour faire ses mathématiques, ou s'il se contente de gribouiller n'importe quoi en espérant que la réponse finale vienne de la magie. Comprendre cela est crucial car si les modèles n'utilisent pas réellement les outils visuels qu'ils créent, nous perdons peut-être notre temps à construire des fonctionnalités qui ne les rendent pas réellement plus intelligents.
Entrez dans See2Think, une nouvelle étude qui agit comme un détective pour le raisonnement de l'IA. Les chercheurs ont construit un terrain de test massif appelé See2ThinkBench, contenant 1 200 puzzles différents allant de la géométrie 2D et des diagrammes chimiques aux scènes robotiques 3D et aux problèmes de physique du monde réel. Ils n'ont pas seulement demandé aux modèles de donner une réponse ; ils ont mis en place un protocole spécial appelé Visual Action-of-Thought (VAoT). Voyez cela comme un jeu où l'IA doit prendre des tours : elle réfléchit, décide de « dessiner » quelque chose (comme mettre en évidence un angle spécifique ou recadrer une partie de l'image), un outil distinct dessine réellement cela, puis l'IA doit regarder ce nouveau dessin pour poursuivre son raisonnement.
L'équipe a testé quatre modèles d'IA puissants différents pour voir comment ils géraient ce jeu. Ils ont découvert qu'il n'y a pas de vainqueur « universel ». Parfois, le simple fait de penser par les mots (sans dessiner) fonctionnait le mieux ; d'autres fois, le fait de voir réellement le dessin aidait. Mais voici le rebondissement : les modèles étaient étonnamment doués pour décider quoi dessiner (choisir les bons indices), mais ils échouaient souvent à utiliser correctement le dessin. En fait, l'étude a révélé que le principal goulot d'étranglement n'était pas le choix de l'action, mais plutôt la « fidélité » du dessin lui-même — l'outil a-t-il réellement dessiné ce que l'IA demandait ?
La découverte la plus fascinante est peut-être venue d'un « tour » joué par les chercheurs. Ils ont intentionnellement donné aux modèles des dessins « corrompus » — des images qui ressemblaient à ce que l'IA avait demandé, mais qui étaient fausses ou trompeuses. Lorsque cela se produisait, les performances des modèles chutaient considérablement, en particulier dans les scènes 3D, où la précision chutait de plus de 10 points de pourcentage. Cela prouve que les modèles dépendaient réellement de l'état visuel qu'ils voyaient, même si cet état était défectueux. Cependant, l'étude suggère également que le fait qu'un modèle dépend de le dessin ne signifie pas que le dessin l'a aidé à trouver la bonne réponse. Parfois, les modèles étaient si dépendants du retour visuel qu'un mauvais dessin suffisait à les confondre au point de les faire échouer, montrant que « utiliser » un état visuel et « bénéficier » de celui-ci sont deux choses très différentes.
En résumé, l'article révèle que si les modèles d'IA s'améliorent dans l'idée du raisonnement visuel, ils luttent encore avec la réalité désordonnée de l'exécution et de la confiance envers leurs propres croquis. Ils sont comme des étudiants qui savent exactement quelle partie du diagramme regarder, mais qui se perdent souvent lorsqu'ils essaient de lire le nouveau croquis qu'ils viennent de faire. Les chercheurs concluent que nous devons cesser de regarder simplement la réponse finale et commencer à diagnostiquer l'ensemble du processus — vérifier si le dessin était pertinent, s'il était dessiné correctement, et si le modèle l'a réellement utilisé pour réfléchir. Tant que nous ne résoudrons pas ces goulots d'étranglement, la « pensée avec des images » pourrait encore être plus une performance qu'un véritable superpouvoir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.