Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
Cet article introduit un cadre mathématique pour une intelligence prédictive universelle embarquée qui étend AIXI en permettant aux agents bayésiens de se modéliser eux-mêmes comme faisant partie de leur environnement par l'auto-prédiction, résolvant ainsi la non-stationnarité dans les contextes multi-agents et atteignant une théorie de l'esprit d'ordre infini pour faciliter de nouvelles formes de coopération.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot comment jouer à un jeu. Depuis des décennies, la méthode standard pour faire cela consiste à laisser le robot jouer, faire des erreurs, recevoir une récompense, puis essayer de faire plus de ce qui a fonctionné et moins de ce qui n'a pas fonctionné. On appelle cela l'« apprentissage par renforcement », et c'est comme dresser un chien avec des friandises : vous attendez que le comportement se produise, puis vous donnez un retour. Cela fonctionne très bien si le monde est ennuyeux et ne change pas. Mais qu'en est-il si le monde est rempli d'autres apprenants intelligents, comme d'autres robots ou des humains, qui changent également leurs stratégies en fonction de ce que vous faites ? Soudain, les « friandises » que vous avez reçues hier pourraient ne plus fonctionner aujourd'hui parce que votre adversaire a découvert votre tour. C'est la réalité désordonnée et chaotique de la vie sociale, où tout le monde observe tout le monde et où les règles du jeu changent constamment parce que vous faites partie du jeu.
Ce document plonge dans cette réalité désordonnée. Il s'attaque à un problème majeur de l'intelligence artificielle : comment construire des agents (comme l'IA) capables d'apprendre et de coopérer dans un monde où ils ne sont pas seulement des joueurs séparés, mais sont en fait à l'intérieur du système qu'ils essaient de comprendre ? Les auteurs s'appuient sur une idée célèbre appelée « AIXI », une super-intelligence théorique qui prédit l'avenir en devinant quelles règles mathématiques décrivent l'univers. Mais la version classique de cette idée traite l'IA comme un observateur debout à l'extérieur de l'univers, regardant vers l'intérieur. Les auteurs soutiennent que cela est erroné. Dans le monde réel, une IA est une partie de l'univers, tout comme une personne est une partie d'une société. Si vous voulez prédire ce que fera votre ami, vous ne pouvez pas simplement l'observer ; vous devez réaliser qu'il pense aussi à vous. Ce document propose un nouveau cadre mathématique où l'IA comprend que ses propres décisions font partie des données qu'elle utilise pour prédire l'avenir, ce qui lui permet de raisonner sur d'autres qui pourraient penser exactement comme elle.
Le problème de « regarder vers l'intérieur »
Imaginez que vous jouez aux échecs contre un ami. Dans l'ancienne façon de penser l'IA (appelée apprentissage « découplé »), l'IA regarderait le plateau, penserait : « Si je déplace mon cavalier ici, mon ami déplacera probablement son pion là », puis ferait un mouvement. Elle traite son propre esprit comme une machine distincte de l'échiquier et de son ami. Elle suppose que son ami est une partie statique du décor qui réagit aux mouvements, et non une entité pensante qui observe également l'IA et essaie de deviner ce que l'IA fera ensuite.
Les auteurs disent que cette approche est défaillante pour les situations sociales. Si vous êtes dans une pièce avec une autre personne qui essaie de deviner ce que vous allez faire, et que vous essayez de deviner ce qu'elle va faire, vous restez bloqué dans une boucle : « Je pense qu'elle pense que je pense... ». C'est ce qu'on appelle une « récursion infinie » de la théorie de l'esprit. L'ancienne façon de faire suppose que le monde est statique, comme un niveau de jeu vidéo qui ne change pas. Mais dans un monde multi-agents, le « niveau » change chaque fois que quelqu'un apprend quelque chose de nouveau. Si l'IA ne réalise pas que c'est elle qui change le niveau, elle continuera à faire de mauvaises suppositions.
La nouvelle idée : Être « embarqué »
Le document introduit le concept d'Agents Bayésiens Embarqués. Au lieu de se tenir à l'extérieur de l'univers en regardant vers l'intérieur, ces agents imaginent qu'ils sont à l'intérieur d'un « univers » qui les inclut eux-mêmes, leurs amis et l'environnement, tous mélangés.
Pensez-y de cette manière : Dans l'ancien modèle, l'IA est un réalisateur regardant un film et essayant de prédire l'intrigue. Dans le nouveau modèle, l'IA est un acteur dans le film. Elle sait que si elle décide de pleurer, les autres acteurs pourraient réagir avec réconfort, mais elle sait aussi que les autres acteurs la regardent et pourraient décider de pleurer parce qu'ils ont vu l'IA paraître triste.
Pour ce faire, l'IA utilise un type spécial de prédiction appelé auto-prédiction. Elle ne prédit pas seulement ce que le monde lui montrera ; elle prédit ce qu'elle fera ensuite. Elle se demande : « Étant donné ce que je sais du monde, quelle est l'action la plus probable que je vais entreprendre ? » et utilise ensuite cette réponse pour deviner ce que les autres agents feront. Cela crée une boucle où la croyance de l'IA sur elle-même l'aide à comprendre les autres, et sa croyance sur les autres l'aide à se comprendre elle-même.
La magie de la « similitude structurelle »
C'est ici que cela devient vraiment passionnant. Le document suggère que, puisque ces agents fonctionnent tous sur des « logiciels » similaires (algorithmes), ils sont structurellement similaires. Imaginez deux jumeaux qui ont grandi dans la même maison, sont allés à la même école et ont le même câblage cérébral. Si vous posez une énigme à l'un des jumeaux, il est probable qu'il la résolve de la même manière que l'autre.
Les auteurs montrent que si une IA réalise : « Hé, cet autre agent est probablement construit comme moi », elle peut utiliser cette connaissance pour prédire le comportement de l'autre agent. C'est ce qu'on appelle la similitude structurelle. Si l'IA sait que « des agents similaires se comportent de manière similaire dans des situations similaires », elle peut cesser de deviner et commencer à savoir.
Cela mène à un résultat surprenant dans un jeu classique appelé le Dilemme du Prisonnier. Dans ce jeu, deux personnes peuvent soit coopérer (s'entraider), soit faire défection (trahir). L'ancienne façon de penser dit que vous devriez toujours trahir l'autre personne car c'est le mouvement le plus sûr pour vous individuellement. Mais les auteurs montrent que si deux agents « embarqués » réalisent qu'ils sont des copies identiques l'un de l'autre, ils choisiront tous deux de coopérer. Pourquoi ? Parce que si je choisis de coopérer, je sais que ma copie (l'autre agent) choisira également de coopérer, car nous pensons exactement la même chose. La coopération mutuelle donne aux deux un meilleur résultat que la trahison mutuelle. Le document prouve que ces agents peuvent mathématiquement atteindre cet état de coopération, ce que les agents « découplés » classiques ne pourraient jamais faire.
La solution : MUPI et l'« Oracle Réfléchi »
Le document ne se contente pas d'en parler ; il construit une machine mathématique pour le rendre possible. Ils l'appellent MUPI (Intelligence Prédictive Universelle Embarquée).
Pour que cela fonctionne, ils ont dû résoudre un puzzle délicat : Comment construire une IA capable de se prédire elle-même sans rester bloquée dans une boucle infinie ? Imaginez essayer d'écrire un programme informatique qui imprime son propre code source. Si le programme essaie de lire son propre code pendant qu'il l'écrit, il pourrait s'embrouiller.
Les auteurs utilisent un outil mathématique ingénieux appelé Oracle Réfléchi. Considérez cela comme un miroir magique capable de vous montrer une image de vous-même en train de regarder dans un miroir, qui regarde lui-même dans un miroir, et ainsi de suite, sans que l'image ne devienne floue ou infinie. Cet outil permet à l'IA de raisonner sur d'autres agents qui utilisent les mêmes outils de raisonnement, résolvant ainsi efficacement le problème de la « récursion infinie ».
Ils prouvent que si vous utilisez ce cadre, les agents finiront par se prédire parfaitement. Ils appellent cela atteindre une théorie de l'esprit d'ordre infini. C'est comme si les agents pouvaient enfin arrêter la boucle « Je pense que tu penses que je pense... » et simplement dire : « Nous sommes tous deux intelligents, nous sommes tous deux similaires, donc nous choisirons tous deux le meilleur résultat pour nous ».
Ce que cela signifie
Le document montre qu'en changeant notre façon de concevoir l'IA — d'un observateur séparé à un participant embarqué — nous pouvons débloquer de nouvelles façons pour les machines de coopérer. Il prouve que si les agents peuvent se modéliser comme faisant partie du monde, ils peuvent naturellement découvrir comment travailler ensemble, même dans des situations délicates où ils pourraient être tentés de se battre.
Les auteurs précisent avec prudence qu'il s'agit d'un cadre théorique. Ils ont prouvé mathématiquement que ces agents peuvent exister et peuvent converger vers ces solutions de coopération. Ils n'ont pas encore construit un robot qui fait cela dans le monde réel, mais ils ont montré le plan de construction. Ils soutiennent que c'est la bonne façon de penser l'avenir de l'IA, surtout à mesure que nous progressons vers des systèmes où de nombreuses IA devront interagir avec les humains et entre elles. Cela suggère que la clé de l'intelligence sociale n'est pas seulement de donner plus de données à l'IA, mais de lui apprendre à réaliser qu'elle fait partie de l'histoire qu'elle essaie de prédire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.