Fully Offline Reinforcement Learning
Cet article introduit SOReL et TOReL, un cadre bayésien entièrement hors ligne qui permet un réglage des hyperparamètres et une estimation de la performance fiables pour l'apprentissage par renforcement à la fois basé sur un modèle et sans modèle, sans aucune interaction en ligne, tout en fournissant des garanties théoriques de convergence minimax-optimale.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot comment jouer à un jeu vidéo. Habituellement, le robot apprend en jouant des milliers de fois, en se cognant contre des murs, en tombant dans des précipices et en comprenant peu à peu ce qui fonctionne. C'est ce qu'on appelle l'« Apprentissage par Renforcement » (Reinforcement Learning). Mais que se passe-t-il si vous ne pouvez pas laisser le robot s'écraser ? Et si c'était une voiture autonome, un drone médical ou un contrôleur de centrale nucléaire ? Vous ne pouvez pas vous permettre la phase d'« essais et erreurs » dans le monde réel. Vous avez besoin que le robot apprenne entièrement à partir d'une bibliothèque d'anciens enregistrements de parties — peut-être enregistrées par un joueur humain qui n'était qu'un « moyen » niveau, pas un professionnel. C'est ce qu'on appelle l'« Apprentissage par Renforcement Hors Ligne » (Offline Reinforcement Learning).
Le gros problème de cette approche par bibliothèque est que le robot n'a aucun moyen de vérifier s'il apprend réellement quelque chose de bon avant de le laisser enfin jouer au vrai jeu. Si vous choisissez les mauvais réglages (appelés « hyperparamètres ») pour le cerveau du robot, il pourrait paraître parfait dans la bibliothèque mais échouer lamentablement dans la réalité. Actuellement, les scientifiques doivent souvent introduire furtivement le robot dans le monde réel pour tester ces réglages, ce qui va à l'encontre de l'objectif même de le garder en sécurité et hors ligne. Ils ont besoin d'un moyen de savoir, rien qu'en regardant les anciens enregistrements, exactement à quel point le robot sera performant avant même qu'il ne fasse un seul pas réel.
Ce document présente une nouvelle façon de résoudre ce casse-tête. Les auteurs, une équipe de l'Université d'Oxford, proposent deux nouvelles méthodes appelées SOReL et TOReL. Considérez SOReL comme une « boule de cristal » pour l'entraînement des robots. Au lieu de simplement mémoriser les anciens enregistrements, le robot construit une bibliothèque de mondes possibles de type « et si... ». Il imagine des milliers de versions légèrement différentes du jeu basées sur les données dont il dispose. Certaines versions pourraient être faciles, d'autres difficiles, certaines avec des sols glissants, d'autres avec des murs rebondissants. En jouant à travers tous ces mondes imaginaires dans sa tête, le robot peut prédire non seulement ce qu'il fera, mais aussi à quel point il est sûr de sa prédiction. Si le robot est confus (parce que les anciennes données étaient rares), la boule de cristal brille en rouge, avertissant l'humain : « Ne me déployez pas encore, je devine ! ». Si le robot est confiant, la boule brille en vert.
La seconde méthode, TOReL, est comme une télécommande universelle qui fonctionne pour tout type de cerveau de robot, pas seulement pour les cerveaux sophistiqués de type « boule de cristal ». Elle utilise la même logique pour ajuster les réglages d'autres méthodes populaires d'apprentissage de robots, garantissant qu'ils sont parfaitement calibrés avant même qu'ils ne touchent le monde réel.
L'équipe a prouvé mathématiquement que leur approche de « boule de cristal » est théoriquement solide, ce qui signifie qu'elle suit les meilleures règles possibles pour apprendre à partir de données limitées. Dans leurs tests, ils ont entraîné des robots sur des environnements de jeux vidéo standards (comme ceux utilisés dans les simulations physiques). Ils ont découvert que SOReL pouvait prédire le score réel du robot avec une précision bien plus élevée que les méthodes précédentes. Par exemple, lorsqu'ils prédisaient le score d'un robot apprenant à courir, leur méthode n'était erronée que de 70 points en moyenne, alors que l'ancienne meilleure méthode l'était de 550 points. De plus, TOReL a réussi à trouver les réglages parfaits pour d'autres robots entièrement hors ligne, économisant ainsi la masse de temps et de puissance de calcul habituellement requise pour tester les réglages dans le monde réel.
En résumé, ce document ne se contente pas d'apprendre aux robots comment apprendre à partir de vieilles vidéos ; il leur donne un moyen fiable de nous dire : « Je suis prêt à partir » ou « J'ai besoin de plus d'entraînement », sans jamais avoir à faire un pas risqué dans le monde réel. Il transforme l'incertitude effrayante du « cela fonctionnera-t-il ? » en un signal mesurable et digne de confiance, rendant le déploiement d'agents intelligents dans le monde réel beaucoup plus sûr et moins coûteux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.