Imaginez un ordinateur apprenant à jouer à un jeu vidéo non pas en se faisant dicter les règles, mais en essayant des choses, en faisant des erreurs et en comprenant peu à peu quels mouvements mènent à des points et lesquels mènent à l'échec. C'est le cœur d'un domaine appelé l'apprentissage par renforcement profond, où les agents d'intelligence artificielle apprennent par essais et erreurs. La méthode la plus courante utilisée par ces agents consiste à construire une carte mentale de la « valeur » — une estimation de la qualité d'une situation spécifique et de la récompense qu'elle pourrait apporter dans le futur. L'ordinateur met à jour cette carte encore et encore, utilisant ses estimations actuelles pour prédire l'étape suivante, un processus connu sous le nom de « bootstrapping » (amorçage). Bien que cette méthode ait permis aux machines de maîtriser des jeux complexes, elle présente une faille notoire : le processus d'apprentissage est souvent instable. Les estimations de l'agent peuvent s'emballer, le poussant à oublier ce qu'il a appris ou à prendre des décisions erratiques, tout comme un élève qui s'enthousiasme tellement pour une nouvelle idée qu'il cesse d'écouter le professeur.

Pendant des années, les scientifiques ont tenté de corriger cette instabilité en pointant du doigt des coupables spécifiques, comme le fait que l'ordinateur soit trop optimiste quant à ses chances de gagner. Cependant, une nouvelle étude suggère que le problème n'est pas seulement un mauvais acteur isolé, mais une boucle complexe et auto-renforcée impliquant trois parties différentes du système d'apprentissage travaillant les unes contre les autres. Les chercheurs, dirigés par une équipe de l'Université de Pékin, ont découvert que l'instabilité provient de la manière dont l'ordinateur construit ses prédictions futures, de la façon dont il interprète les données bruitées lors de la prise de décision, et de la manière dont sa structure de mémoire interne change au fil du temps. En comprenant ces trois forces interactives, ils ont développé une nouvelle méthode pour stabiliser le processus d'apprentissage, permettant à l'IA d'apprendre plus rapidement et de manière plus fiable dans des environnements où les données sont rares.

Les chercheurs ont commencé par examiner de près la façon dont l'ordinateur construit ses prédictions. Dans une configuration standard, l'IA observe une situation, choisit le meilleur mouvement qu'elle pense pouvoir effectuer, et utilise la récompense de ce mouvement pour mettre à jour sa carte. L'équipe a découvert que lorsqu' l'IA reçoit une récompense positive, une étrange boucle de rétroaction peut se produire. Parce que la représentation interne du monde par l'ordinateur est partagée entre différentes actions, une récompense pour un mouvement spécifique peut accidentellement gonfler la valeur de ce même mouvement dans la situation suivante. Lorsque l'ordinateur regarde ensuite vers l'avenir pour décider de ce qu'il doit faire, il voit cette valeur gonflée et choisit à nouveau ce même mouvement. Cela crée un cycle où l'ordinateur choisit sans cesse la même action, convaincu qu'elle est le meilleur choix, même si elle ne l'est pas. Les chercheurs appellent cela le « piège de l'auto-renforcement », un mécanisme par lequel l'IA reste coincée dans une boucle de sa propre création, amplifiant ses propres biais jusqu'à ce que le processus d'apprentissage s'effondre.

La deuxième source de problèmes réside dans la façon dont l'ordinateur prend des décisions lorsque ses données sont imparfaites. L'apprentissage est un processus bruité ; les estimations de valeur de l'ordinateur ne sont jamais parfaitement précises. Lorsque la différence entre le meilleur mouvement et le second meilleur est minime, un infime peu de bruit peut pousser l'ordinateur à changer de choix. Puisque les choix de l'ordinateur déterminent les données qu'il collecte ensuite, une seule mauvaise décision basée sur le bruit peut l'entraîner sur une voie d'expériences médiocres. Cela crée une dérive dans les données que l'ordinateur perçoit, rendant plus difficile l'apprentissage de la véritable valeur des actions. Les chercheurs ont réalisé que cette sensibilité au bruit signifie que l'ordinateur a besoin d'un moyen d'être plus confiant dans ses estimations, afin de garantir que de petites fluctuations dans les données ne le fassent pas osciller violemment entre différentes stratégies.

Le troisième problème est plus subtil et se produit profondément à l'intérieur du « cerveau » de l'ordinateur, qui est composé de couches de connexions mathématiques appelées paramètres. À mesure que l'ordinateur s'entraîne, surtout lorsqu'il est contraint de réutiliser plusieurs fois les mêmes anciennes données pour apprendre efficacement, ces connexions commencent à changer de manière déséquilibrée. Un petit nombre de connexions deviennent extrêmement grandes et dominantes, tandis que le reste du réseau reste relativement petit et inactif. Les chercheurs ont introduit une façon de mesurer ce déséquilibre, qu'ils appellent le « ratio de pointe » (spike ratio), et ont constaté qu'à mesure que l'ordinateur réutilise les données de manière plus agressive, ces pics deviennent plus prononcés. Ce déséquilibre est dangereux car il rend le réseau rigide ; il perd sa capacité à s'adapter à de nouvelles situations car sa structure interne est devenue trop spécialisée pour les anciennes données qu'il a vues trop souvent.

Pour résoudre ces problèmes, l'équipe a conçu un nouveau cadre d'apprentissage qui agit comme un ensemble de freins et de stabilisateurs pour l'IA. Premièrement, pour briser le piège de l'auto-renforcement, ils ont modifié la façon dont l'ordinateur sélectionne son prochain mouvement. Au lieu de laisser la même partie du réseau décider du mouvement et évaluer sa valeur, ils ont divisé ces tâches entre différentes versions du réseau. De plus, ils ont ajouté une règle qui empêche l'ordinateur de choisir immédiatement l'action qui vient de lui donner une récompense, le forçant à explorer d'autres possibilités et brisant ainsi le cycle d'amplification.

Deuxièmement, pour gérer le bruit dans la prise de décision, l'équipe a utilisé une technique d'apprentissage d'ensemble. Au lieu de s'appuyer sur un seul cerveau informatique pour faire une supposition, ils ont entraîné un groupe de réseaux légèrement différents et leur ont demandé de voter sur la valeur de chaque action. En faisant la moyenne des opinions de nombreux réseaux différents, le bruit aléatoire de n'importe lequel d'entre eux est annulé, ce qui conduit à une décision beaucoup plus stable et fiable. Cette approche utilise également une méthode de régression par quantiles, qui permet à l'ordinateur de comprendre toute la gamme de résultats possibles plutôt qu'un simple chiffre moyen, réduisant ainsi davantage le risque d'être induit en erreur par des valeurs aberrantes.

Enfin, pour empêcher le réseau de devenir rigide, les chercheurs ont ajouté un système de surveillance qui surveille le « ratio de pointe » des connexions. S'ils détectent qu'un petit groupe de connexions devient trop important et domine le réseau, ils réinitialisent doucement ces connexions spécifiques à un état neutre. Cela agit comme un rafraîchissement périodique, éliminant les branches trop denses de la mémoire du réseau afin qu'il puisse rester flexible et prêt à apprendre de nouveaux schémas. Cela garantit que même lorsque l'ordinateur est contraint de réutiliser massivement les données, il ne perd pas sa capacité d'adaptation.

L'équipe a testé cette nouvelle approche dans deux environnements exigeants. Le premier était un ensemble de jeux vidéo classiques où l'ordinateur n'était autorisé à effectuer que 100 000 étapes, une quantité de données très limitée par rapport à ce que les autres méthodes exigent habituellement. Dans ces tests, leur méthode a surpassé de nombreuses techniques existantes, atteignant des scores plus élevés et un niveau de performance humaine dans plus de jeux que n'importe quelle autre méthode testée. Le second test impliquait une suite de jeux générés de manière procédurale, où les niveaux sont créés aléatoirement et changent à chaque fois. Ici, l'objectif était de voir si l'ordinateur pouvait généraliser ce qu'il a appris à des niveaux complètement nouveaux qu'il n'avait jamais vus auparavant. La nouvelle méthode a montré une capacité supérieure à s'adapter à ces nouveaux défis, suggérant que la stabilité qu'elle apporte aide l'ordinateur à construire une compréhension plus robuste du monde.

Les chercheurs ont également mené des expériences spécifiques pour prouver que leurs idées fonctionnaient réellement. Ils ont montré que lorsqu'ils supprimaient la règle empêchant l'ordinateur de resélectionner la même action récompensée, l'apprentissage devenait instable dans les jeux avec des récompenses fréquentes. Ils ont démontré que l'utilisation d'un groupe plus large de réseaux améliorait systématiquement les performances, confirmant que la réduction du bruit par le vote est cruciale. Ils ont également suivi le « ratio de pointe » pendant l'entraînement et ont montré que, sans leur mécanisme de réinitialisation, l'équilibre interne du réseau se détériorait, surtout lorsque les données étaient réutilisées intensément. Ces résultats confirment que l'instabilité dans l'apprentissage profond n'est pas seulement un problème unique à résoudre avec une astuce isolée, mais un problème systémique nécessitant une approche coordonnée de la manière dont les prédictions sont faites, dont les décisions sont pesées et dont la structure du réseau est maintenue.

Ce travail offre une vision plus claire de la raison pour laquelle les agents d'apprentissage profond échouent parfois et fournit une boîte à outils pratique pour les maintenir sur la bonne voie. En reconnaissant que l'instabilité provient de l'interaction entre le biais de prédiction, le bruit de décision et la rigidité structurelle, les chercheurs sont allés au-delà des correctifs simples pour proposer une solution plus holistique. Leur méthode ne rend pas seulement l'IA plus intelligente ; elle rend le processus d'apprentissage lui-même plus fiable, garantissant que l'agent peut continuer à apprendre efficacement même lorsque les données sont rares ou que l'environnement est chaotique. Alors que l'intelligence artificielle continue de passer des jeux à la résolution de problèmes du monde réel dans la robotique et au-delà, la capacité à stabiliser ces dynamiques d'apprentissage sera essentielle pour construire des systèmes qui soient non seulement puissants, mais aussi dignes de confiance et cohérents.