🤖 machine learning

Active Offline-to-Online Reinforcement Learning

Cet article introduit un nouveau cadre de sélection de politiques actives pour l'apprentissage par renforcement de l'hors-ligne à l'en ligne qui optimise les budgets d'interaction limités en équilibrant dynamiquement le compromis entre l'évaluation des politiques candidates et l'ajustement fin des plus prometteuses en utilisant des bornes supérieures de confiance dérivées de prévisions de performance localement linéaires.

Auteurs originaux : Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un entraîneur robotique essayant d'apprendre à une escouade de sportifs débutants à courir un marathon. Vous possédez une immense bibliothèque de vieilles vidéos de courses (le jeu de données hors ligne) montant comment d'autres coureurs se sont déplacés par le passé. Vous avez également une règle très stricte : vous ne pouvez laisser vos débutants courir sur la piste réelle que pendant un temps très court et limité (le budget d'interaction en ligne) car la piste est dangereuse, coûteuse ou la météo est terrible.

Le gros problème ? Ce n'est pas parce qu'un coureur avait l'air bon sur les vieilles vidéos qu'il sera bon sur la piste réelle. En fait, certains pourraient trébucher et tomber immédiatement. C'est le monde de l'Apprentissage par Renforcement de l'Hors Ligne vers l'En Ligne (O2O-RL).

L'ancienne méthode : Choisir un vainqueur trop tôt

Traditionnellement, les entraîneurs regardaient les vidéos, choisissaient le seul « meilleur » débutant basé sur une supposition, et passaient alors tout leur temps de piste limité à entraîner cette seule personne. Si cette supposition était erronée, ou si ce débutant avait simplement besoin d'un peu plus de temps pour s'échauffer avant de montrer son véritable potentiel, l'entraîneur gaspillait tout son budget.

D'autres entraîneurs ont commis une erreur différente : ils répartissaient le temps de piste minuscule de manière égale entre tous les participants. Cela signifiait qu'aucun coureur n'avait assez de temps pour vraiment devenir bon, même si l'un d'eux était un champion né.

La nouvelle idée : L'entraîneur au « Changement Intelligent »

Les auteurs de cet article, Alper Kamil Bozkurt, Shangtong Zhang et Yuichi Motai, suggèrent une méthode plus intelligente. Ils appellent cela l'Apprentissage par Renforcement Actif de l'Hors Ligne vers l'En Ligne.

Au lieu de choisir un seul vainqueur ou de répartir le temps de manière égale, ils traitent l'entraînement comme un jeu de chaises musicales avec une boule de cristal.

L'escouade : D'abord, ils entraînent un groupe vaste et diversifié de candidats (16 « débutants » différents par environnement) en utilisant les vieilles vidéos. Chacun utilise des règles d'entraînement (algorithmes et paramètres) légèrement différentes.
La boule de cristal : Pendant qu'ils laissent les débutants courir sur la piste réelle, ils ne se contentent pas de regarder ; ils utilisent un modèle de régression linéaire locale. Voyez cela comme une boule de cristal qui observe les dernières étapes franchies par un coureur et trace une ligne droite pour deviner où il sera dans le futur. Elle dessine également une « zone de flou » (un intervalle de confiance) autour de cette prédiction pour montrer à quel point elle est incertaine.
Le changement : L'entraîneur ne reste pas figé sur un seul coureur. Il demande constamment : « Qui a le score de potentiel le plus élevé en ce moment, en tenant compte à la fois de sa vitesse actuelle et de sa capacité potentielle d'amélioration ? »
- Si un coureur progresse rapidement, l'entraîneur continue de l'entraîner.
- Si un coureur stagne ou commence à ralentir, l'entraîneur change immédiatement pour un autre débutant qui semble avoir un meilleur avenir.
- Ils utilisent une astuce mathématique appelée Bornes Supérieures de Confiance (UCB). C'est comme donner un bonus de score aux coureurs qui sont risqués mais qui pourraient être des superstars, garantissant que l'entraîneur ne renonce pas trop tôt à cause d'une mauvaise journée.

Ce que les expériences ont montré

L'équipe a testé cette méthode de « Changement Intelligent » dans une simulation du monde réel (en utilisant des environnements comme Swimmer, Hopper, Ant et Maze). Ils n'ont pas construit de robot physique ; ils ont effectué ces tests sur un ordinateur avec 16 cœurs de processeur.

Voici ce qu'ils ont découvert :

Cela fonctionne mieux : Dans presque tous les tests, leur méthode de « Changement Intelligent » a battu les anciennes méthodes. Par exemple, dans les tâches Maze, leur méthode a atteint un score de 97,3 % (sur une échelle où 100 % est le meilleur possible possible), tandis que l'ancienne méthode de « choix unique » n'a obtenu que 67,0 %.
Cela gère l'« échauffement » : Certains robots (comme le Hopper ou l'Ant) ont besoin de beaucoup de temps pour démarrer avant de courir vite. L'ancienne méthode de « répartition du temps » a échoué ici car elle ne donnait à aucun robot le temps nécessaire pour s'échauffer. La méthode du « Changement Intelligent » a attendu, a vu qui était en train de s'échauffer, puis a concentré tout le temps sur ce robot.
Ce n'est pas parfait : La méthode a eu des difficultés dans les environnements Swimmer et Ant lorsque le budget était très serré. Parfois, la « boule de cristal » ne pouvait pas dire si un coureur avait juste un mauvais départ ou s'il était réellement mauvais, ce qui amenait l'entraîneur à perdre du temps à essayer de corriger un coureur qui ne pouvait pas être sauvé.

Ce à quoi ils ont dit « Non »

Les auteurs ont été très clairs sur ce que leur méthode n'est pas :

Ils n'ont pas inventé une nouvelle façon d'entraîner les robots à partir de zéro. Ils ont utilisé des algorithmes d'entraînement existants (comme CalQL, ReBRAC, IQL et AWAC) et ont simplement ajouté leur couche de « Changement Intelligent » par-dessus.
Ils n'ont pas affirmé que choisir le meilleur coureur dès le départ (sans changer de stratégie) est une bonne idée. Leurs données ont montré que le « meilleur » coureur apparent des vidéos performait souvent moins bien qu'un choix aléatoire une fois arrivé sur la piste réelle.
Ils n'ont pas dit que cela résout le problème du « décalage de distribution » (où le robot agit différemment des données sur lesquelles il a été entraîné) par lui-même. Ils ont simplement montré qu'un changement actif de stratégie aide à gérer le risque.

À quel point sont-ils sûrs d'eux ?

Les auteurs sont confiants dans leurs résultats au sein des simulations qu'ils ont menées. Ils ont testé cela à travers de nombreuses tâches robotiques différentes (navigation, équilibre, marche) et ont répété les expériences avec quatre graines aléatoires (seeds) différentes pour s'assurer que les résultats n'étaient pas dus à la chance.

Cependant, ils précisent avec prudence qu'il s'agit d'une simulation. Ils n'ont pas testé cela sur un vrai robot physique dans un environnement réel ou dangereux. Ils suggèrent que bien que leur méthode soit un grand pas en avant pour rendre l'apprentissage hors ligne pratique, il reste du travail à faire pour la rendre assez robuste pour le monde réel, complexe et imprévisible.

En bref : si vous avez un budget limité pour entraîner un robot, ne misez pas tout sur une seule supposition, et ne répartissez pas votre argent de manière trop diffuse. Au lieu de cela, gardez vos options ouvertes, surveillez qui progresse, et soyez prêt à changer votre pari pour celui qui a le meilleur potentiel futur.

Résumé Technique : Apprentissage par Renforcement Actif de l'Offline-vers-l'Online

Énoncé du Problème
L'apprentissage par renforcement hors ligne (Offline RL) permet d'entraîner des politiques à partir de jeux de données statiques, évitant ainsi les coûts et les risques d'une exploration initiale en ligne. Cependant, les politiques pré-entraînées hors ligne souffrent souvent de décalage de distribution (distributional shift), ce qui conduit à des performances imprévisibles ou médiocres dans les environnements réels. Le paradigme Offline-to-Online (O2O-RL) traite cela en utilisant un budget limité d'interactions en ligne pour affiner les politiques pré-entraînées.

Les approches O2O-RL existantes se concentrent généralement sur l'amélioration de l'étape de pré-entraînement hors ligne ou supposent qu'une seule politique est sélectionnée pour l'affinage (fine-tuning). Une lacune critique existe dans la sélection active de politiques sous un budget d'interaction limité. Les pipelines standards s'engagent souvent sur une seule politique pour l'affinage ou divisent le budget équitablement entre tous les candidats. Cela est risqué car :

Les politiques pré-entraînées peuvent être arbitrairement mauvaises dans les environnements réels.
La performance de l'affinage est hautement sensible au choix de l'algorithme, aux hyperparamètres et aux graines aléatoires (random seeds).
Les trajectoires d'affinage sont non monotones ; elles peuvent stagner, régresser ou présenter une variance élevée, ce qui rend difficile l'identification de la politique qui réussira finalement sans gaspiller l'intégralité du budget sur un candidat sous-optimal.

Le défi central est le compromis entre l'allocation des interactions en ligne pour évaluer plusieurs candidats afin d'identifier ceux qui sont performants, et l'affiner une politique spécifique pour améliorer sa performance.

Méthodologie
Les auteurs proposent un cadre d'O2O-RL actif qui réalise conjointement la sélection de la politique et l'affinage. L'approche opère en deux étapes :

Étape Hors Ligne (Offline) : Un ensemble diversifié de $K$ politiques candidates est entraîné en utilisant divers algorithmes de RL hors ligne (ex: AWAC, IQL, CalQL, ReBRAC) et des configurations d'hyperparamètres (ex: taux d'apprentissage, tailles de lots) sur le jeu de données statique.
Étape En Ligne (Sélection Active & Affinage) :
- Prévision Linéaire Locale : Pour chaque lignée de politique candidate, le système maintient un historique des estimations de valeur obtenues via l'évaluation en ligne. Il ajuste un modèle de régression linéaire locale aux $w$ estimations de valeur les plus récentes pour prévoir les tendances de performance futures. Ce modèle capture les tendances de court terme (ascendantes ou descendantes) et estime l'incertitude variable (variance résiduelle).
- Sélection par Borne Supérieure de Confiance (UCB) : Le système calcule une Borne Supérieure de Confiance (UCB) pour la performance future de chaque politique. L'UCB est dérivée de la valeur prévue plus un intervalle de prédiction mis à l'échelle.
- Exploration Adaptative : Au lieu d'utiliser un paramètre d'exploration fixe, la méthode ajuste dynamiquement le degré d'exploration en fonction de la meilleure valeur observée actuellement ( $v^*_j$ ). Elle sélectionne la politique qui nécessite le minimum d'« échelle » pour atteindre la meilleure valeur actuelle, équilibrant ainsi le besoin d'explorer des politiques incertaines mais prometteuses avec l'exploitation des performeurs connus.
- Boucle Itérative : À chaque itération, la politique ayant l'UCB la plus élevée est sélectionnée, affinée pour une étape, puis évaluée en ligne. L'estimation de la valeur est ajoutée à la lignée, le modèle linéaire local est mis à jour, et les UCB sont recalculées. Si l'UCB d'une politique différente dépasse la meilleure valeur actuelle, le système bascule vers cette politique.

Contributions Clés

Nouvelle Formulation de Problème : À la connaissance des auteurs, il s'agit du premier travail traitant de la sélection active de politiques pour l'affinage sous un budget d'interaction limité dans les contextes O2O-RL. Il modélise explicitement le compromis entre évaluation et affinage.
Algorithme de Sélection Active : Le papier propose une méthode qui utilise la régression linéaire locale pour prévoir la performance future et emploie un critère UCB pour sélectionner activement quelle politique affiner. Cela évite l'engagement prématuré sur des politiques sous-optimales.
Validation Empirique : L'approche est évaluée à travers une suite diversifiée de bancs d'essai de robotique simulée, incluant la navigation (Point Maze), le contrôle classique (Inverted Pendulum, Swimmer, Reacher, Pusher) et la locomotion bipède/quadrupède (Hopper, HalfCheetah, Walker2d, Ant).

Résultats
Les expériences ont été menées avec un budget d'interaction en ligne de 1 000K transitions (et un budget plus petit de 750K dans les études d'ablation). La méthode ACTIVE proposée a été comparée à plusieurs bases de référence :

RANDOM : Sélection d'une politique au hasard sans affinage.
BEST : Sélection de la meilleure politique estimée hors ligne sans affinage.
FTS (Fine-Tuning Single) : Affinage d'une seule politique sélectionnée aléatoirement avec l'intégralité du budget.
FTA (Fine-Tuning All) : Division du budget équitablement entre tous les candidats.

Constatations :

Surperformance Constante : L'approche ACTIVE a systématiquement surpassé toutes les bases de référence dans la plupart des environnements, atteignant un rendement normalisé moyen global de 82,3 %, contre 64,3 % pour FTS et 63,1 % pour FTA.
Adaptabilité : Dans les environnements où les politiques s'améliorent lentement ou nécessitent de longues périodes de chauffe (ex: locomotion bipède/quadrupède), ACTIVE a réussi à identifier les lignées prometteuses et à allouer la majorité du budget à celles-ci, surpassant FTA qui gaspille des ressources sur des candidats faibles. Inversement, dans les environnements où les politiques peuvent régresser ou stagner, ACTIVE s'est détourné des lignées défaillantes, surpassant FTS qui resterait bloqué dans des optima locaux.
Limites : La méthode a eu des difficultés dans des environnements spécifiques comme Swimmer et Ant, où les lignées de politiques montraient peu d'indices d'amélioration pendant de longues périodes. Dans ces cas, le système a parfois épuisé le budget en tentant d'identifier une lignée s'améliorant qui ne s'est jamais concrétisée.
Sensibilité : Une étude d'ablation sur la taille de la fenêtre ( $w$ ) du modèle linéaire local a montré que si $w=3$ est généralement efficace, des fenêtres plus larges peuvent améliorer les performances dans des environnements de haute dimension et bruités (comme Ant) en produisant des prévisions moins bruitées, bien qu'elles puissent réduire la sensibilité aux changements rapides.

Signification et Revendications
Le papier affirme que son cadre fait progresser le RL hors ligne vers un déploiement pratique dans des systèmes réels où l'interaction en ligne est coûteuse ou risquée. En démontant que la sélection active et l'allocation dynamique du budget sont plus efficaces que de s'engager sur une seule politique ou de diviser les ressources de manière égale, ce travail fournit un mécanisme robuste pour gérer la volatilité de l'affinage des politiques pré-entraînées.

Les auteurs notent modestement que, bien que leur approche surpasse les bases de référence solides, il reste de la place pour l'amélioration. Ils suggèrent des directions futures telles que l'utilisation de rollouts d'exploration pour surveiller les progrès, l'incorporation de similitudes de politiques, et le développement de méthodes d'OPE spécifiquement adaptées à l'O2O-RL pour mieux éliminer les mauvais candidats précocement. Ce travail étend leur précédent article de conférence en fournissant une analyse plus complète, des expériences élargies sur plus de tâches et des études d'ablation détaillées.