DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

Les robots capables de manipuler des objets avec une dextérité humaine ont longtemps été un objectif de l'intelligence artificielle, mais leur enseigner à le faire est un équilibre délicat. Pendant des années, la méthode la plus efficace a été l'« imitation de comportement » (behavior cloning), où un robot apprend en regardant des vidéos d'humains accomplissant des tâches, puis en imitant ces mouvements. Cette approche a donné naissance à une nouvelle classe puissante de contrôleurs de robots basée sur une technologie appelée diffusion. Tout comme un sculpteur pourrait commencer par un bloc de pierre brut et progressivement en retirer de la matière pour révéler une statue, ces modèles de diffusion partent d'un bruit aléatoire et le raffinent lentement en une séquence d'actions précises. Bien que cette méthode soit excellente pour capturer la variété et la nuance des démonstrations humaines, elle présente une limite fondamentale : le robot est strictement lié à la qualité et à la variété des données qui lui ont été présentées. Si les vidéos d'entraînement n'ont jamais montré un robot résolvant un problème d'une manière nouvelle, le robot échouera probablement face à ce problème dans le monde réel. Pour surmonter cela, les chercheurs ont commencé à combiner ces modèles de diffusion avec l'apprentissage par renforcement, une technique où un agent apprend par essais et erreurs, recevant des récompenses pour les bons résultats et des pénalités pour les erreurs. Le défi, cependant, est que les modèles de diffusion ne prennent pas une décision unique d'un coup ; ils génèrent une action à travers un long processus de raffinement étape par étape. Déterminer exactement quelle étape dans cette longue chaîne était responsable du succès ou de l'échec s'est avéré être un casse-tête difficile pour les méthodes existantes.

Une équipe de chercheurs de l'Université de Toronto et de l'Institut Vector a proposé une nouvelle solution à ce problème appelée Denoising Intermediate Advantage, ou DIA. Leur travail traite d'un défaut spécifique dans la manière dont les systèmes actuels attribuent le mérite au processus d'apprentissage d'un robot. Dans les approches standards, lorsqu'un robot termine avec succès une tâche après une longue séquence de raffinements, le système attribue la même quantité de crédit à chaque étape de cette séquence. C'est comme si une équipe de peintres travaillait ensemble pour achever une fresque, et que le gestionnaire félicitait chaque coup de pinceau de la même manière, qu'il s'agisse d'un détail mineur ou de la ligne cruciale qui définit l'image entière. Les chercheurs soutiennent que cela est inefficace car les étapes intermédiaires du processus de génération contiennent des informations précieuses sur la direction que prend le robot. En traitant l'ensemble de la chaîne de raffinement comme un bloc unique, les méthodes précédentes manquaient l'opportunité d'apprendre des décisions spécifiques prises à chaque étape du processus.

Pour corriger cela, la méthode DIA introduit un moyen d'évaluer la progression du robot à chaque étape du processus de raffinement, et non pas seulement à la fin. Le système apprend à prédire la valeur de l'action en cours de formation à mesure qu'elle prend forme, étape par étape. Cela permet au robot de comprendre que certaines décisions intermédiaires sont plus critiques pour le résultat final que d'autres. Au lieu d'attendre la toute fin pour voir si la tâche est accomplie, le système fournit un retour d'information tout au long du processus de génération, guidant le robot pour qu'il fasse de meilleurs choix plus tôt. Cela crée un signal d'apprentissage plus nuancé qui aide le robot à distinguer un succès chanceux d'une stratégie bien exécutée. Les chercheurs ont testé cette approche sur quatre ensembles différents de tâches robotiques, allant de la manipulation simple d'objets à des tâches d'assemblage complexes à plusieurs étapes qui nécessitent que le robot déplace ses bras de manière coordonnée sur une longue période.

Les résultats de ces tests ont été cohérents et significatifs. Sur un ensemble de références standard connu sous le nom de Robomimic, qui comprend des tâches telles que soulever des objets, déplacer des boîtes de conserve et dessiner des carrés, la méthode DIA a systématiquement surpassé les techniques existantes. Dans la tâche la plus difficile, un défi de transport bimanuel où un robot doit déplacer un objet à l'aide de deux bras, la nouvelle méthode a obtenu un score de récompense 23 % supérieur à la meilleure approche précédente, tout en maintenant le même taux de réussite élevé. Cette amélioration ne consistait pas seulement à accomplir la tâche plus souvent ; il s'agissait de mieux la réaliser. Les robots entraînés avec DIA ont atteint l'état de succès plus rapidement, prenant moins d'étapes pour terminer la tâche. Dans un test spécifique, le temps nécessaire pour que le robot réussisse a été réduit de 21 %. Cela suggère que le robot ne faisait pas que tomber par hasard sur une solution, mais apprenait un chemin plus efficace vers l'objectif.

La puissance de cette méthode est devenue encore plus évidente lorsque les chercheurs l'ont testée sur des tâches où les données d'entraînement étaient incomplètes ou ne contenaient pas la solution complète. Dans une simulation de cuisine où un robot devait effectuer une séquence de sous-tâches comme allumer une cuisinière ou ouvrir un placard, les données d'entraînement standard ne montraient souvent que des parties de la séquence complète. Les méthodes précédentes peinaient ici, se retrouvant souvent bloquées dans des boucles ou répétant des actions non pertinentes parce qu'elles étaient trop dépendantes des modèles exacts vus dans les vidéos d'entraînement. La méthode DIA, cependant, a été capable de recombiner les démonstrations partielles qu'elle avait vues pour créer des séquences d'actions entièrement nouvelles et réussies. Dans la version la plus difficile de ce test, où aucune démonstration unique ne montrait la tâche complète, les méthodes de base ont totalement échoué, atteignant un taux de réussite de zéro pour cent. La méthode DIA, en revanche, a réussi 69 % du temps. Elle a réussi à assembler les étapes nécessaires pour compléter la tâche, apprenant efficacement une stratégie qui n'était pas explicitement présente dans l'un des exemples d'entraînement originaux.

Ces découvertes suggèrent qu'en prêtant attention aux étapes intermédiaires de la prise de décision, les robots peuvent s'affranchir des limites de leurs données d'entraînement. La méthode leur permet d'explorer de nouvelles stratégies et de découvrir des moyens plus efficaces de résoudre des problèmes, plutôt que de simplement copier ce qu'ils ont vu auparavant. Bien que les expériences aient été menées en simulation, les résultats pointent vers un avenir où les robots pourront s'adapter plus de manière flexible aux environnements complexes du monde réel. Les chercheurs notent que la prochaine étape sera de tester ces idées sur des robots physiques, une transition qui nécessitera de surmonter les défis pratiques de la collecte de données dans le monde réel. Pour l'instant, ce travail démontre qu'accorder du crédit aux bons moments du processus de pensée d'un robot peut mener à des machines nettement plus intelligentes et plus capables.