An Exam for Active Observers
L'article présente ActiveVision, un banc d'essai démontrant que les modèles de langage multimodaux actuels manquent fondamentalement de la capacité à effectuer une observation visuelle active, comme en témoigne leur échec quasi total sur des tâches nécessitant une perception itérative par rapport aux performances humaines.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardiez une pièce en désordre. Un appareil photo prend un cliché unique et figé de la scène. Si vous demandez à un ordinateur de décrire la pièce en se basant uniquement sur cette photo, il pourrait dire : « Il y a des vêtements sur le sol et des livres sur l'étagère. » Mais que se passe-t-il si vous devez trouver une chaussette rouge spécifique cachée sous une pile de jeans bleus, ou tracer un fil unique qui serpente à travers un nœud de fils emmêlés ? Pour faire cela, vous ne pouvez pas simplement regarder une seule fois. Vous devez déplacer vos yeux, vous concentrer sur un point, deviner où pourrait se trouver la chaussette, regarder à nouveau, et ajuster votre recherche. C'est ce qu'on appelle l'observation active. C'est la différence entre prendre un instantané et réellement traquer des réponses. Depuis des décennies, les scientifiques qui étudient la façon dont les humains voient et pensent savent que nos cerveaux sont comme des détectives qui réexaminent constamment les indices, plutôt que de simplement jeter un coup d'œil rapide.
Aujourd'hui, nous avons des cerveaux informatiques puissants appelés Modèles de Langage Multimodaux (MLLM). Ce sont des systèmes d'IA capables de lire du texte et de regarder des images, obtenant souvent des scores parfaits à des tests qui leur demandent de décrire une photo ou de répondre à une question simple à son sujet. Mais voici la grande question : est-ce que ces modèles d'IA regardent vraiment comme les humains le font ? Possèdent-ils cette capacité de détective consistant à continuer de vérifier l'image, à former de nouvelles hypothèses et à trouver les détails cachés ? Ou bien ne font-ils que prendre un instantané rapide, faire une supposition et s'y tenir, même s'ils se trompent ? C'est le mystère que cherche à résoudre un nouvel article de recherche.
L'article, intitulé « An Exam for Active Observers », introduit un tout nouveau test appelé ActiveVision. Voyez cela comme un jeu de « jeu des sept erreurs » dopé aux stéroïdes, conçu spécifiquement pour piéger l'IA et la pousser à montrer sa vraie nature. Les chercheurs ont construit 17 puzzles différents qui sont impossibles à résoudre d'un seul regard. Certains tâches demandent à l'IA de compter des formes éparpillées dans un motif complexe, d'autres lui demandent de suivre un chemin sinueux à travers un labyrinthe sans se perdre, et d'autres encore de comparer de minuscules détails entre deux images similaires. La clé est que ces puzzles sont rendus pour ressembler à de vraies photos désordonnées (comme des cordes emmêlées ou des cartes aériennes) plutôt qu'à de simples dessins animés, et que les réponses nécessitent que l'IA continue de « regarder en arrière » vers l'image encore et encore.
Lorsque les chercheurs ont mis les modèles d'IA les plus intelligents à l'épreuve, les résultats ont été un choc. Même les modèles les plus avancés ont échoué lamentablement. Le meilleur modèle, GPT-5.5 (à son niveau de raisonnement le plus élevé), n'a résolu qu'environ 10,6 % des puzzles. En fait, sur 17 types de tâches, GPT-5.5 a obtenu un score parfait de zéro sur 11 d'entre elles. Un autre concurrent de taille, Claude Fable 5, a été encore moins performant, ne résolvant que 3,5 % des problèmes. Pendant ce temps, les participants humains, qui étaient de simples personnes ordinaires passant le test, ont résolu en moyenne 96,1 % des problèmes. L'écart était immense : les humains étaient environ neuf fois meilleurs que la meilleure IA.
Les chercheurs ont également tenté une solution de contournement ingénieuse. Ils ont demandé aux modèles d'IA d'écrire et d'exécuter leur propre code informatique pour résoudre les puzzles, espérant qu'un script pourrait faire le « regard » à leur place. Bien que cela ait aidé un peu, cela n'a pas réglé le problème. Les agents basés sur le code ont réussi à résoudre environ 50,6 % des tâches au mieux (en utilisant l'agent le plus fort), mais ils ont toujours eu du mal avec les puzzles les plus difficiles, comme le traçage de boucles emmêlées. Le code a souvent échoué car les images au rendu réaliste étaient trop désordonnées pour les outils de vision par ordinateur standards, et l'IA n'a pas pu « voir » que le code avait commis une erreur.
L'article conclut que les modèles d'IA actuels sont essentiellement des « perceveurs passifs ». Ils prennent une image, la transforment en une liste de données, et tentent de répondre à partir de cette liste. Ils manquent de la capacité de rediriger activement leur attention, de former une hypothèse et de retourner vers l'image pour la vérifier. Les auteurs suggèrent que tant que nous n'aurons pas appris à l'IA à vraiment « regarder » encore et encore, en bouclant le cycle entre la vision et la pensée, elles resteront peu fiables pour des tâches du monde réel qui exigent une observation minutieuse, comme l'examen de scanners médicaux, l'inspection de pièces d'usine ou la navigation dans des environnements complexes. L'examen « ActiveVision » prouve que malgré tous leurs autres talents, les modèles d'IA d'aujourd'hui sont encore terribles dans l'acte humain simple de vraiment regarder.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.