Résumé technique : L'apprentissage par renforcement déployé doit être continu

Énoncé du problème

Le document identifie un désalignement fondamental entre la nature théorique du déploiement de l'apprentissage par renforcement (RL) dans le monde réel et le paradigme d'ingénierie prédominant, qualifié de « entraîner-puis-fixer » (train-then-fix). Dans ce paradigme standard, les agents sont entraînés hors ligne (via la simulation, l'auto-jeu ou des démonstrations), puis figés lors du déploiement. L'apprentissage cesse jusqu'à ce que la performance se dégrade suffisamment pour déclencher un cycle de réentraînement dirigé par l'humain.

Les auteurs soutiennent que ce paradigme est théoriquement insuffisant pour les contextes de « déploiement mesurable ». Un déploiement mesurable est défini comme un scénario où :

1. L'agent opère dans un régime de « Grand Monde » (Big World) où la complexité de l'environnement dépasse la capacité de représentation de l'agent et les ressources computationnelles disponibles.
2. Un signal de récompense évaluatif reste disponible après le déploiement (par exemple, l'engagement de l'utilisateur, la complétion d'une course, l'acceptation d'une suggestion).

Dans ces conditions, l'approche « entraîner-puis-fixer » laisse des gains de performance inexploités. Le document pose que tout agent recevant un feedback évaluatif dans un environnement non stationnaire où une politique optimale est irreprésentable ou inatteignable fait intrinsèquement face à un problème d'Apprentissage par Renforcement Continuel (CRL - Continual Reinforcement Learning). Le problème central est que le formalisme classique des processus de décision de Markov (MDP), qui suppose la stationnarité et l'existence d'une politique optimale fixe ($\pi^*$), échoue à capturer la nature « sans fin » de l'adaptation dans le monde réel.

Méthodologie et cadre théorique

1. Fondement théorique : Le formalisme du processus d'histoire

Pour définir rigoureusement le problème, le document s'éloigne du tuple MDP standard $\langle S, A, P, R \rangle$. Il adopte plutôt le formalisme du processus d'histoire (Bowling et al., 2023 ; Abel et al., 2023).

• Environnement ($e$) : Défini comme une fonction faisant correspondre des histoires de longueur finie ($H$) et des actions ($A$) à une distribution sur les observations ($O$).
• État de l'agent ($S$) : Représente la compression de son histoire par l'agent, distinct de l'état MDP.
• Règle d'apprentissage ($\sigma$) : Une application des histoires vers une distribution sur les politiques ($\Pi$).
• Définition du CRL : Un problème de RL est une instance de CRL si le « meilleur agent » (celui maximisant une mesure de performance sur les politiques atteignables) ne cesse jamais d'apprendre. Dans le processus d'histoire, parce que l'agent ne peut pas réinitialiser l'environnement ni revisiter exactement les histoires passées, et parce que l'environnement est non stationnaire, la recherche d'une politique optimale ne se termine jamais.

2. Caractérisation de la non-stationnarité

Le document identifie quatre sources spécifiques de non-stationnarité qui nécessitent un apprentissage continu dans un déploiement mesurable :

1. Non-stationnarité induite par l'action : Les propres actions de l'agent modifient la distribution des histoires futures (par exemple, un système de recommandation changeant les préférences des utilisateurs).
2. Changements dans la dynamique de l'environnement : Des facteurs externes tels que les variations saisonnières, le vieillissement du matériel ou les changements de marché qui surviennent en dehors du contrôle de l'agent.
3. Évolution des objectifs : La fonction de récompense elle-même change au fil du temps en raison de l'évolution des priorités des parties prenantes, des mises à jour réglementaires ou des contraintes de sécurité.
4. Nouveauté émergente : L'hypothèse du « Grand Monde » dicte que les agents rencontreront inévitablement des séquences action-observation (y compris des événements de type « cygne noir ») qui se situent en dehors de la distribution de leur phase d'entraînement finie.

3. Analyse des règles d'apprentissage

Les auteurs comparent deux règles d'apprentissage (stratégies de mise à jour des politiques) :

• Règle d'apprentissage A (Entraîner-puis-fixer) : L'agent cherche une politique performante, se stabilise sur une $\pi_{final}$ fixe, et s'arrête. La performance se dégrade avec le temps jusqu'à ce qu'un seuil déclenche un nouveau cycle de recherche, résultant en un motif de performance en « dents de scie ».
• Règle d'apprentissage B (Apprenant continu) : L'agent reconnaît qu'aucune politique atteignable n'est globalement optimale. Il ne termine jamais sa recherche, adaptant continuellement sa politique grâce au signal évaluatif disponible pour suivre des cibles changeantes.

Contributions clés

1. Proposition de changement de paradigme : Le document soutient que le déploiement mesurable n'est pas simplement un problème résolu par des algorithmes d'apprentissage continu, mais est intrinsèquement un problème de CRL. La distinction réside dans le cadre du problème (caractéristiques de l'environnement) plutôt que dans la seule solution algorithmique.
2. Justification formelle : En utilisant le formalisme du processus d'histoire, les auteurs démontrent que l'hypothèse d'une politique optimale fixe est invalide dans le déploiement réel en raison des quatre sources de non-stationnarité identifiées.
3. Études de cas empiriques : Le document analyse trois déploiements réels réussis qui utilisent implicitement ou explicitement l'apprentissage continu :
   • Cursor Tab : Un système de complétion de code utilisant des gradients de politique en ligne. Il fait face à la nouveauté émergente (nouveaux modèles de code) et à la dynamique de l'environnement (évolution des bibliothèques). Sa boucle étroite déploiement-entraînement (1,5 à 2 heures) lui permet de s'adapter à ces changements, entraînant une réduction de 21 % des suggestions et un taux d'acceptation supérieur de 28 %.
   • Lyft : Un algorithme de mise en relation de covoiturage utilisant le RL en ligne. Il fait principalement face à la non-stationnarité induite par l'action (relocalisation des chauffeurs) et à la dynamique de l'environnement (fluctuations de la demande). Le système génère plus de 30 millions de dollars de revenus annuels supplémentaires en s'adaptant en ligne plutôt qu'en s'appuyant sur des modèles fixes.
   • Écart Sim-to-Real : Le document soutient que l'écart entre la simulation et la réalité est une manifestation des quatre sources de non-stationnarité. Même avec la randomisation du domaine, les politiques nécessitent des données en temps réel pour une performance fiable, rendant l'apprentissage post-déploiement essentiel.
4. Recommandations exploitables :
   • Pour les praticiens : Construire des boucles de rétroaction où les données de production deviennent des données d'entraînement ; valider continuellement via une surveillance en ligne (ex: expériences de switchback) ; et introduire délibérément de la non-stationnarité lors du développement pour tester la capacité d'adaptation.
   • Pour les chercheurs : Réévaluer les optimiseurs conventionnels (ex: Adam, RMSProp) dans des contextes continuels ; dériver les propriétés algorithmiques pour les processus d'histoire (au-delà des garanties markoviennes) ; adopter des métriques d'évaluation comme le regret de déviation qui ne supposent pas d'environnements faiblement communicants ; et prendre explicitement en compte les contraintes de ressources finies dans les modèles théoriques.

Résultats et preuves

Le document ne présente pas de nouveaux résultats expérimentaux générés par les auteurs, mais synthétise des preuves issues de la littérature existante et des rapports industriels :

• Cursor Tab : A démontré que les mises à jour on-policy continues mènent à des mesures de performance supérieures par rapport aux versions de modèles statiques.
• Lyft : A montré que les systèmes de mise en relation par RL en ligne surpassent les politiques fixes en termes d'utilisation des chauffeurs et de revenus, validant la capacité à s'adapter à la non-stationnarité induite.
• Preuve théorique : Cite l'environnement du « Pendule Rouillé » (Annexe A) où une politique « entraîner-puis-fixer » échoue à mesure que la friction s'accumule, tandis qu'un apprenant continu maintient sa performance.
• Tendances de la littérature : Souligne une augmentation de l'intérêt académique pour le CRL (Figure 1) et la maturation des fondements théoriques (ex: formalisme du processus d'histoire) qui soutiennent ce changement.

Signification et affirmations

Le document affirme que le paradigme « entraîner-puis-fixer » est un mécanisme de retard pour le problème inévitable de l'apprentissage continu, et non une solution. Sa signification réside dans :

• Recadrage du déploiement : Il affirme que déployer un agent avec un feedback évaluatif dans un monde complexe est, par définition, un problème de CRL. Ignorer ce signal et compter sur l'intervention humaine pour les mises à jour est une stratégie sous-optimale qui sacrifie la performance.
• Sécurité et adaptabilité : Contrairement à l'idée que les politiques fixes sont plus sûres, le document soutient que les politiques fixes se dégradent de manière dangereuse dans des environnements non stationnaires. L'apprentissage continu, lorsqu'il est conçu avec des contraintes de sécurité, est nécessaire pour maintenir l'alignement avec les objectifs et les réglementations évolutives.
• Direction pour la communauté : Il appelle à un déplacement de l'intérêt de la recherche, passant des algorithmes qui convergent vers des artefacts fixes vers des agents capables d'un apprentissage ouvert et soutenu, et exhorte les praticiens à exploiter les signaux de feedback déjà présents dans leurs systèmes.

Le document conclut que la voie vers une meilleure performance dans le RL réel ne passe pas par un meilleur entraînement hors ligne, mais par l'acceptation de la nature continue du déploiement et la conception d'agents qui ne cessent jamais de chercher de meilleures politiques.