Can Environment-Agnostic Agents Solve ARC-AGI-3 from Warped and Noisy Images?
Cet article démontre que si les agents agnostiques de l'environnement peinent à résoudre les tâches ARC-AGI-3 à partir d'images fortement déformées et bruitées, le modèle GPT-6-astra atteint une performance proche du plafond dans ces conditions extrêmes, surpassant de manière significative GPT-5.6-sol en combinant efficacement le traitement d'image et la prise de décision en situation d'incertitude.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un programme informatique qui doit apprendre à jouer à un jeu non pas en lisant des règles ou en voyant une grille de nombres propre, mais en regardant une image du plateau de jeu. C'est le défi de la création d'un agent agnostique à l'environnement : un esprit logiciel unique capable d'entrer dans différents mondes numériques, de comprendre comment ils fonctionnent simplement en les regardant, et de prendre des mesures pour gagner, le tout sans être reprogrammé pour chaque nouveau jeu. La difficulté décuple lorsque l'image qu'il voit n'est pas nette. Et si l'image était floue avec du bruit statique, ou si le plateau lui-même paraissait tordu, étiré ou déformé comme s'il était vu à travers un miroir déformant ? Dans le monde réel, nos yeux et nos cerveaux sont remarquablement doués pour corriger ces distorsions, mais pour une machine, voir une cible déformée et déterminer ensuite exactement où cliquer sur le plateau d'origine, plat, est un test profond d'intelligence. Cette question est au cœur d'une nouvelle étude explorant si l'intelligence artificielle peut apprendre à voir clairement à travers un voile de chaos visuel.
Les chercheurs de SingularityNET ont entrepris de tester cela en soumettant un type spécifique d'agent artificiel à une série de puzzles logiques connus sous le nom d'ARC-AGI-3. Ces puzzles sont conçus pour tester le raisonnement, exigeant que le résolveur découvre des règles et des motifs cachés. Dans cette expérience, l'agent n'a jamais reçu de liste de nombres propre ou de description textuelle du plateau. Au lieu de cela, il n'a reçu que des images. Pour rendre la tâche brutalement difficile, les chercheurs ont délibérément corrompu ces images. Ils ont ajouté du bruit statique aléatoire, semblable au grain que l'on voit sur un vieil écran de télévision, et ils ont appliqué des déformations géométriques qui ont courbé les lignes droites du plateau ou modifié la perspective entière. Crucialement, la distorsion changeait à chaque image que l'agent voyait, ce qui signifie que le plateau pouvait paraître différent d'un instant à l'autre, même si l'état du jeu n'avait pas changé. L'agent devait regarder une image tordue et bruitée, comprendre ce qui se passait, puis soumettre une coordonnée précise sur le plateau d'origine, non déformé, pour effectuer un mouvement. C'était comme essayer de toucher une cible sur un mur en la regardant à travers une fenêtre tremblante et sale qui changeait de forme à chaque instant.
L'étude a comparé deux versions différentes de l'intelligence artificielle, une plus ancienne et une plus récente, pour voir comment elles géraient ce chaos visuel. L'ancienne version, face aux images tordues, a énormément peiné. Ses performances ont chuté de manière significative, surtout lorsque les images étaient courbées de façon complexe. Les chercheurs ont constaté que la courbure de l'image était bien plus déroutante pour la machine que le simple bruit statique. Pour aider l'ancien agent, les scientifiques ont introduit un outil simple : une fonctionnalité de « retour de curseur » (cursor feedback). Cela permettait à l'agent de proposer un emplacement sur le plateau et de voir une image de l'endroit où ce point apparaîtrait sur l'image déformée, lui permettant essentiellement de vérifier son hypothèse avant de s'engager. Cela a aidé l'ancien agent à récupérer une partie de ses capacités perdues, particulièrement dans les jeux nécessitant de cliquer, mais cela n'a pas pu surmonter les distorsions les plus sévères. Même avec cette aide, l'ancien agent n'a pas réussi à résoudre la plupart des puzzles les plus difficiles lorsque les images étaient à la fois extrêmement bruitées et fortement déformées.
L'intelligence artificielle plus récente, cependant, a fait preuve d'une résilience stupéfiante. Face aux mêmes distorsions sévères qui ont presque paralysé le modèle plus ancien, cet agent a résolu presque tous les puzzles, atteignant un taux de réussite de plus de quatre-vingt-quinze pour cent, même sans l'outil de retour de curseur. Il a réussi à naviguer à travers les images tordues et bruitées et à identifier correctement les coordonnées sur le plateau d'origine. Les chercheurs ont poussé cet agent encore plus loin lors de tests de suivi, augmentant le bruit à des niveaux où les pixels individuels étaient presque indiscernables et ajoutant des rotations aléatoires au plateau. Même sous ces conditions extrêmes, l'agent ne s'est pas effondré. Bien que son taux de réussite global ait chuté, il a tout de même réussi à résoudre une partie significative des jeux. Dans un jeu spécifique, il a obtenu un score quasi parfait malgré des images si bruitées et déformées qu'elles paraissaient presque méconnaissables pour un observateur humain.
En creusant pour comprendre comment cet agent a réussi, les chercheurs ont examiné les fichiers qu'il a créés pendant son jeu. Ils ont découvert que l'agent avait écrit ses propres scripts informatiques pour traiter les images. Il a utilisé ces outils pour nettoyer le bruit et redresser les lignes courbes, reconstruisant ainsi une vue claire du plateau à partir de l'entrée chaotique, avant de prendre ses décisions. Cela suggère que l'agent n'a pas seulement « deviné » à travers la confusion ; il a activement construit une image plus claire de la réalité en utilisant des outils qu'il a développés à la volée. L'étude conclut que, si les distorsions visuelles sévères peuvent briser des modèles plus simples, des agents plus avancés peuvent apprendre à compenser en construisant des modèles internes du jeu et en utilisant des outils de traitement d'image pour corriger leur vision. Ces résultats suggèrent que la voie vers une intelligence artificielle robuste réside dans la capacité non pas seulement à voir le monde tel qu'il est présenté, mais à travailler activement pour comprendre le monde derrière la distorsion.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.