Decoupling Policy Extraction for Offline Reinforcement Learning

Imaginez un étudiant essayant d'apprendre à conduire une voiture, mais au lieu de s'asseoir derrière le volant et de ressentir la route, il est forcé d'étudier uniquement une vidéo statique d'un conducteur parfait. Il ne peut pas commettre d'erreurs, il ne peut pas essayer de nouveaux virages, et il ne peut pas recevoir de commentaires du monde réel. C'est le défi de l'apprentissage par renforcement hors ligne (offline reinforcement learning), un domaine où l'intelligence artificielle apprend à prendre des décisions en utilisant uniquement une collection fixe de données passées. Dans ce cadre, l'ordinateur doit trouver comment agir mieux que les exemples qu'il a vus, sans jamais pouvoir tester ces nouvelles idées dans la réalité. La méthode traditionnelle pour enseigner à ces systèmes implique deux parties travaillant dans une boucle serrée : une partie apprend quelles actions sont bonnes, et l'autre apprend comment les exécuter. La première partie guide constamment la seconde, lui disant d'essayer des actions qui semblent précieuses. Cependant, parce que les données sont figées dans le temps, cette guidance peut devenir dangereuse. Si la partie « ce qui est bon » commet une erreur et surestime un mouvement risqué, la partie « comment exécuter » essaiera de le faire, renforçant l'erreur et s'éloignant davantage d'un comportement sûr et éprouvé.

Une équipe de chercheurs de Simplexity Robotics et de l'Institut Polytechnique de Rensselaer a proposé une autre façon de résoudre ce problème, suggérant que ces deux parties devraient cesser de se parler pendant la phase d'apprentissage. Dans leur nouvelle approche, ils séparent complètement la tâche d'apprentissage à partir des données de la tâche de choix de la meilleure action. D'abord, ils entraînent un modèle uniquement pour imiter le comportement présent dans l'ensemble de données, agissant comme un copiste parfait qui n'essaie jamais de s'améliorer ou de deviner de nouvelles stratégies. Ce modèle génère une liste de plusieurs actions possibles qui sont connues pour être sûres et soutenues par les données. Ensuite, un système distinct, entraîné indépendamment pour juger de la valeur, examine cette liste et choisit l'option unique la plus performante à exécuter. En brisant la boucle de rétroaction qui connecte habituellement les deux, les chercheurs ont découvert qu'ils pouvaient éviter le piège de l'amplification des erreurs. Leurs expériences à travers trente tâches complexes, allant de la navigation dans des labyrinthes virtuels à la manipulation de bras robotiques, ont montré que cette méthode séparée surpassait systématiquement les approches traditionnelles étroitement couplées. Dans certains cas, le taux de réussite est passé de moins de la moitié à près de soixante-dix pour cent, prouvant que parfois, la meilleure façon de progresser est d'arrêter d'essayer d'améliorer l'apprenant pendant qu'il étudie encore.

Le cœur du problème que les chercheurs ont identifié réside dans la manière dont les systèmes d'intelligence artificielle standards apprennent à partir de données fixes. Dans une configuration typique, le système possède un « critique » qui estime la valeur des actions et un « acteur » qui apprend à les exécuter. Le critique dit à l'acteur quels mouvements sont bons, et l'acteur essaie de les faire. Dans un scénario réel où le robot peut continuer à interagir avec l'environnement, cela fonctionne bien car si le critique fait une erreur, les nouvelles tentatives de l'acteur génèrent de nouvelles données qui corrigent l'erreur. Mais en apprentissage hors ligne, l'ensemble de données est verrouillé. Si le critique croit à tort qu'une action dangereuse est précieuse, l'acteur essaiera de la faire, et comme aucune nouvelle donnée n'arrive pour corriger le critique, l'erreur s'aggrave. L'acteur dérive vers des régions de l'espace d'action qui n'ont jamais été couvertes par les données, un phénomène que les chercheurs appellent une boucle d'amplification hors distribution (out-of-distribution amplification loop). Pour prévenir cela, les méthodes existantes tentent souvent de forcer l'acteur à rester proche des données originales, mais cela crée un compromis difficile : si vous contraignez trop l'acteur, il ne peut pas trouver les meilleurs mouvements, même au sein des données sûres ; si vous le laissez aller trop loin, il tombe dans la boucle d'erreur.

Pour résoudre cela, les chercheurs ont déconnecté le processus. Ils ont entraîné l'acteur pour faire une seule chose : modéliser la distribution des actions présentes dans l'ensemble de données. Ils n'ont pas laissé le critique influencer l'entraînement de l'acteur du tout. Une fois ce modèle « proposant » entraîné, il a été gelé, ce qui signifie qu'il ne changerait plus jamais. Au moment où le robot devait prendre une décision, le proposant générait un petit ensemble d'actions candidates, toutes ancrées dans les données sûres et observées. Un critique distinct, qui avait été entraîné indépendamment pour juger de la valeur, examinait ensuite cette liste spécifique et choisissait l'option ayant le score le plus élevé. Cela a déplacé le travail d'amélioration de la phase d'entraînement vers le moment de la décision. Au lieu d'essayer de modifier le cerveau de l'acteur pour qu'il soit meilleur, le système générait simplement quelques options sûres et laissait un juge choisir le vainqueur. Cette approche signifiait que le critique n'avait plus à se soucier de voir l'acteur dériver vers un territoire dangereux, car l'acteur n'était jamais autorisé à dériver en premier lieu. Le critique devait seulement classer les options sûres fournies par le proposant gelé.

Les résultats de cette expérience ont été frappants. Les chercheurs ont testé leur méthode sur trente tâches impliquant des comportements orientés vers un but, comme amener une fourmi robotique à naviguer dans un grand labyrinthe ou un robot humanoïde à se déplacer dans un environnement complexe. Ils ont comparé leur méthode déconnectée aux techniques standards qui maintiennent l'acteur et le critique liés. Dans une tâche de navigation appelée AntMaze-Large, la méthode traditionnelle utilisant un type spécifique d'apprentissage de valeur a atteint un taux de réussite d'environ trente et un pour cent. Lorsque les chercheurs ont appliqué leur approche déconnectée avec le même apprenant de valeur, le taux de réussite est monté à quarante-neuf pour cent. Dans une tâche de manipulation impliquant un cube, l'amélioration fut encore plus spectaculaire, la méthode déconnectée atteignant un taux de réussite de soixante-dix-neuf pour cent contre vingt et un pour cent pour l'approche traditionnelle. Peut-être plus surprenant encore, les chercheurs ont découvert qu'un système d'apprentissage de valeur très simple et basique, qui peine habituellement dans les contextes hors ligne, devenait hautement efficace lorsqu'il était couplé à ce processus de sélection déconnecté. Dans une tâche de résolution d'énigme, un simple apprenant de valeur combiné à leur méthode a atteint un taux de réussite de cent pour cent, surpassant largement les systèmes standards plus complexes.

L'étude a également révélé pourquoi cette séparation fonctionne si bien en examinant ce qui se passe lorsque le système est autorisé à examiner plus d'options. Les chercheurs ont constaté que le fait pour le proposant de générer quelques candidats, plutôt qu'un seul, permettait au système d'explorer plus minutieusement la région sûre des données. Cependant, il y avait une limite. Si le système générait trop de candidats, la probabilité d'inclure une action risquée et hors distribution augmentait, et le système de jugement de la valeur pourrait la choisir par erreur. L'équilibre optimal a été trouvé en ajustant le nombre de candidats, un paramètre unique qui pouvait être réglé sans réentraîner l'ensemble du système. Cette flexibilité est un avantage significatif par rapport aux méthodes traditionnelles, qui nécessitent souvent un réentraînement coûteux pour fixer l'équilibre entre sécurité et performance. Les chercheurs ont noté que cette approche est particulièrement prometteuse pour les systèmes robotiques à grande échelle, où le réentraînement d'un modèle massif est coûteux en termes de calcul. En gardant le modèle principal gelé et en utilisant seulement un système de valeur léger pour faire le choix final, la méthode offre un chemin informatiquement efficace vers une meilleure performance.

Les chercheurs reconnaissent que cette méthode a une limite : le système ne peut choisir que parmi les actions que le proposant gelé peut générer. Si la meilleure action possible n'a jamais été vue dans les données originales, le système ne peut pas l'inventer. Cependant, dans les limites de ce qui est possible, l'approche déconnectée a systématiquement trouvé de meilleures solutions que les méthodes couplées traditionnelles. Ce travail suggère que la croyance de longue date selon laquelle l'apprentissage et l'amélioration doivent se produire simultanément dans une seule boucle n'est pas nécessaire, ou même souhaitable, lorsqu'on apprend à partir de données statiques. En séparant la génération d'options sûres de la sélection de la meilleure d'entre elles, les chercheurs ont fourni un chemin plus clair et plus stable pour que l'intelligence artificielle apprenne du passé sans être piégée par ses propres erreurs. Les conclusions indiquent que pour l'apprentissage hors ligne, la stratégie la plus efficace consiste peut-être à arrêter d'essayer d'enseigner à l'acteur à être ingénieux pendant l'entraînement, et plutôt de le laisser simplement se souvenir du passé, laissant le travail d'amélioration à un œil critique distinct au moment de l'action.