Playing ZendoWorld: Challenging AI Agents on Active Visual Concept Induction
Cet article présente ZendoWorld, un environnement interactif pour évaluer la capacité des agents à inférer des règles visuelles cachées par l'expérimentation active, révélant que les modèles d'IA actuels peinent à pratiquer un véritable raisonnement inductif et un affinement d'hypothèses malgré une grande précision de prédiction sur les données observées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous jouez à une partie de haut vol de « Devinez la règle secrète » contre un arbitre invisible et mystérieux. Vous ne pouvez pas simplement rester là à fixer les indices ; vous devez construire vos propres petites scènes en utilisant des blocs colorés, des coins et des pyramides, puis demander à l'arbitre : « Est-ce que ceci respecte la règle ? » Si vous trouvez la bonne réponse, vous pouvez continuer à jouer. Si vous vous trompez, l'arbitre vous montre un « contre-exemple » — une scène qui contredit votre théorie actuelle mais qui respecte en réalité la règle secrète. Votre objectif est de découvrir la règle secrète plus vite que n'importe qui d'autre.
C'est ZendoWorld, un nouveau terrain de jeu numérique créé par des chercheurs pour tester la capacité des agents d'IA à apprendre, expérimenter et penser comme des humains. Ils ne voulaient pas seulement voir si une IA pouvait reconnaître des motifs ; ils voulaient voir si une IA pouvait les découvrir activement en construisant des expériences.
La grande surprise : avoir raison ne signifie pas comprendre
Les chercheurs ont mis en place 22 règles secrètes différentes, allant de choses simples comme « il doit y avoir au moins trois blocs rouges » à des choses plus complexes comme « le nombre de pièces doit être impair » ou « il y a plus de coins que de pyramides ». Ils ont observé comment différents types d'IA jouaient, des simples réseaux de neurones aux systèmes « neuro-symboliques » plus complexes qui tentent de mélanger la logique humaine avec la vision par ordinateur.
Voici le rebondissement qui a choqué l'équipe : Le fait qu'une IA soit excellente pour étiqueter des images ne signifie pas qu'elle connaît réellement la règle.
Imaginez un étudiant qui peut répondre parfaitement par « Vrai » ou « Faux » à un QCM sur la gravité. C'est très bien ! Mais si vous demandez à ce même étudiant de concevoir une nouvelle expérience pour tester la gravité, il pourrait simplement jeter un caillou contre un mur en espérant que cela fonctionne. L'article a révélé que de nombreux agents d'IA étaient comme cet étudiant. Ils pouvaient regarder une scène et dire correctement : « Oui, cela respecte la règle » ou « Non, cela ne la respecte pas », avec une grande précision. Mais lorsqu'il s'agissait de construire une nouvelle scène pour tester leurs propres théories, ils étaient médiocres. Ils continuaaient à construire des scènes qui ressemblaient exactement à celles qu'ils avaient déjà vues, n'apportant aucune nouvelle information. C'est comme essayer de résoudre un mystère en ne posant que des questions dont on connaît déjà les réponses.
Les trois goulots d'étranglement : les yeux, le cerveau et les mains
Les chercheurs ont décomposé le jeu en trois parties pour voir où l'IA échouait :
- La Perception (les Yeux) : L'IA peut-elle voir les blocs et savoir qu'ils sont rouges, bleus ou jaunes ?
- L'Induction (le Cerveau) : L'IA peut-elle regarder les indices et deviner la règle secrète ?
- L'Expérimentation (les Mains) : L'IA peut-elle construire une nouvelle scène qui l'aide à apprendre quelque chose de nouveau ?
Ils ont découvert que différents agents d'IA restaient bloqués à différentes étapes du processus.
- Les agents de « Pure Vision » : Ces agents, propulsés par de grands modèles de langage capables de voir des images, avaient du mal à deviner la règle correctement, échouant dans plus de la moitié des épisodes. Ils étaient également médiocres pour construire des expériences. Ils proposaient des scènes « peu informatives », ce qui signifie qu'elles n'aidaient pas à réduire les possibilités. Ils étaient comme un détective qui demande sans cesse : « Est-ce que le majordome est dans la bibliothèque ? », même après avoir déjà vérifié la bibliothèque dix fois.
- Les agents « Symboliques » : Ces agents sont meilleurs en logique mais ont parfois du mal à « voir » le monde correctement. Lorsque les chercheurs leur ont donné les descriptions des scènes sous forme de texte brut (en sautant la partie image), ces agents se sont montrés bien plus performants pour résoudre le jeu. Cela suggère que pour certains agents d'IA, le problème n'est pas la logique, mais plutôt que leurs « yeux » sont flous.
- Les Humains : Lorsque de vraies personnes jouaient, elles étaient nettement meilleures que les agents d'IA standards, surtout sur les règles complexes et difficiles. Les humains réussissaient à résoudre environ 73,3 % des parties, tandis que le meilleur agent d'IA standard (le VLM) n'en résolvait que 44,5 %. (Note : Un agent spécial « Oracle », doté d'une vision et d'une logique parfaites, a résolu 95,5 % des cas, mais il bénéficiait d'un avantage massif). Plus intéressant encore, les humains ont réussi à comprendre une règle « joker » qui sortait totalement des règles habituelles du jeu, et un agent d'IA spécifique (le VLP) a également réussi à résoudre cette tâche « joker », alors qu'aucun autre agent visuel n'y est parvenu.
Le piège de la « surcorrection »
L'une des découvertes les plus amusantes est que les humains et l'IA commettaient la même erreur stupide. Lorsqu'un agent d'IA (ou un humain) pensait avoir trouvé la bonne règle, mais qu'il soumettait sa proposition et que l'arbitre révélait un contre-exemple (une scène qui brisait son hypothèse de règle spécifique mais qui respectait toujours la véritable règle secrète), il paniquait souvent et basculait trop brutalement dans l'autre direction.
Imaginez que vous pensiez que la règle est « Tous les blocs doivent être rouges ». Vous soumettez cette règle, et l'arbitre vous montre une scène avec un bloc bleu et dit : « Non, ce n'est pas ça ». Au lieu de simplement changer « rouge » en « bleu », vous pourriez soudainement décider que la règle est « Tous les blocs doivent être bleus ET il doit y en avoir exactement trois ». Vous avez surcorrigé ! L'article a constaté que les humains comme les agents d'IA faisaient cela, s'éloignant de plus en plus de la vérité après une seule erreur.
Ce que cela signifie pour l'avenir
L'article ne prétend pas avoir résolu le problème de rendre l'IA aussi intelligente que l'humain. En fait, il suggère que l'IA actuelle est encore très spécialisée. Certains sont bons pour voir, d'autres pour la logique, mais très peu peuvent faire les trois — voir, réfléchir et expérimenter — de manière fluide et en boucle.
Les chercheurs suggèrent que pour s'améliorer, l'IA doit cesser de traiter « voir » et « réfléchir » comme des étapes séparées. Au lieu de cela, la meilleure supposition actuelle de l'IA sur la règle devrait l'aider à décider ce qu'elle doit observer ensuite. C'est comme un détective qui, au lieu de regarder tout de façon aléatoire, utilise sa théorie actuelle pour décider exactement quel indice examiner ensuite.
En bref, ZendoWorld nous montre que si l'IA devient très douée pour reconnaître des motifs, elle a encore du mal à être un scientifique curieux. Elle peut vous dire ce qu'elle voit, mais elle n'a pas encore appris à poser les bonnes questions pour comprendre pourquoi elle voit ce qu'elle voit. Et tant qu'elle n'aura pas appris à construire de meilleures expériences, elle continuera à deviner la règle secrète en répétant simplement les mêmes vieilles scènes encore et encore.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.