World models of environment, agent and joint agent-environment systems
Cet article propose un cadre utilisant la mécanique computationnelle pour distinguer et définir des modèles prédictifs canoniques pour l'environnement, l'agent et leur interaction conjointe, démontrant comment le couplage en boucle fermée et la restriction de support peuvent fondamentalement altérer la structure et la complexité de ces modèles du monde.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
À l'ère moderne de l'intelligence artificielle, un défi central consiste à apprendre aux machines à comprendre le monde qui les entoure. Pour prendre des décisions, un agent intelligent — qu'il s'agisse d'un robot, d'un programme logiciel ou d'un cerveau numérique — a besoin d'un « modèle du monde ». Il ne s'agit pas d'un globe physique, mais d'une carte interne ou d'un ensemble de règles qui lui permettent de prédire ce qui va se passer ensuite. Si un robot sait que presser un bouton ouvre généralement une porte, il possède un modèle simple de cette interaction. Depuis des décennies, les chercheurs se concentrent sur la manière dont ces modèles prédisent l'avenir en fonction de ce que l'agent fait. Ils demandent : « Si je prends cette action, que vais-je voir ? » Cette approche a été incroyablement fructueuse, permettant aux machines d'apprendre des tâches complexes en simulant des résultats avant d'agir. Cependant, cette vision traditionnelle suppose que le modèle est construit uniquement pour comprendre l'environnement comme une scène passive attendant les mouvements de l'agent. Elle traite le comportement de l'agent comme une entrée fixe plutôt que comme une partie dynamique de l'histoire.
Une équipe de chercheurs a maintenant proposé une façon plus nuancée d'envisager ces modèles. Ils soutiennent que pour véritablement comprendre comment une intelligence artificielle pense, nous devons distinguer non seulement ce qu'elle prédit, mais aussi quel canal d'information elle modélise. Dans toute interaction entre un agent et son environnement, il existe trois manières distinctes de percevoir le flux de cause à effet. Premièrement, il y a la vue de l'environnement, qui prédit ce qui sera vu étant donné une action spécifique. Deuxièmement, il y a la vue de l'agent lui-même, qui prédit quelle action il entreprendra ensuite étant donné ce qu'il voit. Troisièmement, il y a la vue de l'ensemble du système travaillant de concert, prédisant la séquence réelle d'actions et d'observations qui se déroule lorsque les deux sont verrouillés dans une boucle. Les chercheurs ont utilisé un cadre mathématique connu sous le nom de mécanique computationnelle pour définir les modèles les plus efficaces et minimaux pour chacune de ces trois perspectives. Leurs travaux révèlent que ces modèles sont fondamentalement des structures différentes, et non de simples variations d'une même chose.
La découverte la plus surprenante de cette recherche concerne ce qui se passe lorsqu'un agent fonctionne réellement en boucle fermée avec son environnement. En théorie, un agent pourrait imaginer chaque action possible qu'il pourrait jamais entreprendre, même celles qu'il ne choisirait jamais d'effectuer. Un modèle construit sur cette vue « non restreinte » doit rendre compte de toutes les possibilités contrefactuelles. Les chercheurs ont découvert que pour de nombreux systèmes, un tel modèle non restreint est incroyablement complexe, nécessitant parfois un nombre infini d'états internes pour suivre toutes les possibilités. Cependant, lorsqu'ils ont examiné le modèle qui ne considère que les actions que l'agent effectue réellement — les actions « supportées » — le tableau a radicalement changé. Ils ont prouvé que le modèle du comportement réel de l'agent est toujours déterminé par le modèle du système conjoint. En d'autres termes, les possibilités complexes et infinies de l'environnement s'effondrent en une structure beaucoup plus simple et finie lorsqu'elles sont vues à travers le prisme des choix réels de l'agent.
Pour illustrer cela, les chercheurs ont construit un exemple spécifique impliquant un environnement binaire simple et un contrôleur doté d'une mémoire limitée. Dans ce scénario, l'environnement possède un état caché qui peut être soit zéro, soit un. Certaines actions réinitialisent cet état de manière aléatoire, tandis que d'autres le maintiennent tel quel. Si vous essayez de construire un modèle qui prédit le comportement de l'environnement pour n'importe quelle séquence d'actions possible, le modèle devient infiniment grand. C'est parce qu'un agent pourrait théoriquement choisir de maintenir l'état fixe pendant une période arbitrairement longue, créant un nombre infini d'états de croyance uniques. Mais lorsque les chercheurs ont introduit un contrôleur spécifique qui n'effectue qu'un ensemble limité d'actions — réinitialisant l'état occasionnellement et le maintenant pour un nombre fixe et court d'étapes avant de réinitialiser à nouveau — la complexité a disparu. Le modèle de l'environnement, restreint aux seules actions que le contrôleur effectue réellement, est devenu fini et gérable. Les possibilités « infinies » n'ont simplement jamais été réalisées dans l'interaction réelle.
Cette distinction est cruciale pour comprendre ce qu'une IA apprend réellement. Les chercheurs ont montré que l'état interne qu'une IA utilise pour prendre des décisions n'est pas nécessairement une carte de l'univers entier possible. Au lieu de cela, c'est souvent une carte des interactions spécifiques qu'elle a expérimentées. Le modèle de l'environnement, lorsqu'il est restreint au comportement réel de l'agent, est une version simplifiée du processus conjoint complet. Les chercheurs ont démontré que les états de ce modèle simplifié sont directement dérivés des états du système conjoint. Cela signifie que la complexité du modèle du monde d'un agent n'est pas une propriété inhérente de l'environnement seul, mais le résultat du couplage spécifique entre l'agent et le monde. Si l'agent est limité dans ce qu'il peut faire, son modèle du monde est proportionnellement limité et plus simple.
Les implications de ce travail s'étendent à la manière dont nous interprétons et faisons confiance à l'intelligence artificielle. Si nous voulons savoir ce qu'une IA croit à propos de son monde, nous ne pouvons pas simplement regarder ses prédictions dans le vide. Nous devons nous demander : prédit-elle l'environnement sous toutes les actions possibles, ou prédit-elle l'environnement en se basant sur la politique spécifique qu'elle suit ? Les chercheurs soutiennent que ce sont deux questions différentes qui nécessitent deux modèles différents. Une IA peut avoir une représentation interne très simple du monde parce qu'elle ne rencontre qu'une petite tranche de la réalité. Cela ne signifie pas que l'IA est « stupide » ou que le monde est simple ; cela signifie que le modèle de l'IA est adapté à son rôle spécifique dans le système. En séparant le modèle de l'environnement, le modèle de l'agent et le modèle du processus conjoint, les chercheurs fournissent un langage plus clair pour décrire ce que ces systèmes font réellement.
Cette approche clarifie également la différence entre la planification et l'apprentissage. Lorsqu'un agent apprend à partir de données, il apprend souvent à partir d'un ensemble spécifique d'interactions, et non de toutes les interactions possibles. Le cadre des chercheurs nous permet de voir que le modèle appris à partir de ces données est un modèle « restreint au support ». Il est valide et précis pour les situations auxquelles l'agent sera réellement confronté, même s'il échoue à décrire l'ensemble du paysage théorique de l'environnement. Cela aide à expliquer pourquoi certains systèmes d'IA fonctionnent bien en pratique malgré des modèles qui semblent incomplets ou simplifiés d'un point de vue théorique. Ils n'essaient pas de modéliser l'impossible ; ils modélisent le réel.
L'étude conclut que la structure d'un modèle du monde n'est pas fixe mais est façonnée par l'interaction elle-même. La manière dont un agent et un environnement sont couplés détermine la complexité du modèle requis pour prédire leur futur. Cela remet en question l'idée qu'il existe un modèle unique et parfait du monde qu'un agent devrait s'efforcer d'apprendre. Au lieu de cela, le « meilleur » modèle dépend de la question posée. Si la question est « que se passe-t-il si je fais X ? », la réponse peut nécessiter un modèle complexe. Mais si la question est « que se passe-t-il ensuite étant donné que je fais Y ? », la réponse peut se trouver dans une structure beaucoup plus simple. En définissant ces modèles avec précision, les chercheurs ont fourni un outil pour mieux comprendre les mécanismes de l'intelligence, montrant que la complexité de l'esprit d'une machine est souvent un reflet des contraintes de son corps et de son monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.