How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning

Résumé Technique : Apprentissage par Imitation Robuste et Adaptatif (RAIL)

Énoncé du Problème
L'apprentissage par imitation (IL) en robotique souffre fréquemment du problème de décalage de distribution, où un agent échoue à exécuter des actions appropriées lorsqu'il rencontre, lors de l'inférence en ligne, des états absents de l'ensemble de données d'entraînement hors ligne. Ce problème survient car les démonstrations d'experts ne couvrent généralement qu'un sous-ensemble étroit de l'espace état-action de l'environnement. Les solutions existantes se concentrent souvent exclusivement soit sur la phase d'entraînement hors ligne (via l'augmentation de l'ensemble de données), soit sur la phase d'inférence en ligne (via l'adaptation), mais les deux approches présentent des limites. Les méthodes hors ligne reposant sur des perturbations humaines sont coûteuses, tandis que celles utilisant des modèles du monde sont vulnérables aux erreurs de modélisation. Les méthodes en ligne peinent souvent à distinguer les états nouveaux causés par un décalage de distribution de ceux qui font simplement partie du processus d'inférence normal, entraînant des mises à jour de politique instables ou un échec de l'adaptation.

Méthodologie
Les auteurs proposent RAIL (Robust Offline to Adaptive Online Imitation Learning), un cadre à vie et multi-phasé conçu pour atténuer le décalage de distribution grâce à deux étapes distinctes :

1. Phase d'Entraînement Hors Ligne (Robustesse) :

   • Utilisation des Données : Le cadre exploite non seulement les démonstrations d'experts ($D_E$) mais aussi des démonstrations supplémentaires ($D_S$). $D_S$ comprend des trajectoires provenant de novices, d'experts sous-optimaux ou de données de simulation générées automatiquement. Ces données offrent une couverture état-action plus large.
   • Discriminateur avec Régularisation : Pour utiliser efficacement $D_S$, les auteurs entraînent un discriminateur à distinguer les données d'experts des données supplémentaires. Reconnaissant que les discriminateurs standards souffrent d'instabilité et de biais lorsque les ensembles de données sont déséquilibrés, ils introduisent un nouveau terme de régularisation ($L_{reg}$).
   • Mécanisme : Ce terme guide le discriminateur pour approximer les distributions empiriques état-action des deux ensembles de données en utilisant des modèles de mélanges gaussiens (GMM) et des vraisemblances de politique apprises. Cela stabilise l'apprentissage du discriminateur, en particulier dans les premières étapes, lui permettant d'estimer plus précisément l'optimalité des échantillons d'entraînement.
   • Entraînement de la Politique : La sortie optimisée du discriminateur est utilisée pour calculer des poids pour le Clonage de Comportement Pondéré (BC), permettant à la politique d'apprendre de manière robuste à partir de données de qualité mixte.

2. Phase d'Inférence en Ligne (Adaptation) :

   • Adaptation Auto-supervisée : Le cadre traite les expériences en ligne comme des démonstrations supplémentaires. Il emploie la même procédure d'apprentissage basée sur le discriminateur utilisée dans la phase hors ligne pour calculer des signaux d'apprentissage auto-supervisés.
   • Détection de Décalage de Distribution (UTM) : Pour éviter de dégrader la généralisation en apprenant de manière indiscriminée, le système emploie la Gestion du Temps de Mise à Jour (UTM). Il calcule une métrique de vraisemblance ($\kappa(s)$) pour l'état actuel. L'apprentissage en ligne n'est déclenché que si $\kappa(s)$ tombe en dessous d'un seuil pendant une période soutenue ($N_{ds}$), indiquant un décalage de distribution persistant.
   • Mises à Jour Adaptatives : Lorsqu'un décalage est détecté, le discriminateur et la politique sont mis à jour en utilisant l'expérience en ligne accumulée, pondérée par le degré de décalage de distribution ($\kappa(s)$). Les états éloignés de la distribution hors ligne reçoivent des mises à jour plus conservatrices.

Contributions Clés

1. Cadre RAIL : Un schéma unifié à vie qui traite le décalage de distribution de manière exhaustive en combinant un entraînement hors ligne robuste avec une inférence en ligne adaptative.
2. Discriminateur Régularisé : Un terme de régularisation novateur pour le discriminateur qui stabilise l'entraînement et améliore la précision de l'estimation de l'optimalité pour les échantillons de données d'entrée, en particulier lorsque les données d'experts et supplémentaires sont déséquilibrées.
3. Apprentissage en Ligne Adaptatif : Une méthode qui calcule des signaux auto-supervisés en utilisant le discriminateur et restreint les mises à jour en ligne aux instances où un décalage de distribution est explicitement détecté, garantissant une adaptation stable.

Résultats Expérimentaux
Les auteurs ont évalué RAIL dans des environnements MuJoCo (Hopper, Halfcheetah, Walker2d, Ant) sous différents niveaux de bruit gaussien pour induire un décalage de distribution.

• Performance Hors Ligne : Dans des environnements avec bruit injecté, RAIL a systématiquement surpassé les références (BC Standard, BC Stable et BC basé sur modèle). Les résultats suggèrent que l'expansion de la couverture d'états via de véritables démonstrations supplémentaires est plus efficace pour la robustesse que l'optimisation de politique seule ou les déroulements virtuels basés sur modèle.
• Performance en Ligne : Lors de l'inférence en ligne, RAIL a démontré une adaptation supérieure par rapport à BC, Beyond Imitation (BI) et GAIL. Alors que BC se dégradait en raison d'erreurs cumulatives et que BI peinait avec les signaux d'auto-supervision, RAIL s'est adapté avec succès.
• Efficacité : L'étude d'ablation a montré que la suppression de la technique UTM (RAIL-UTM) a entraîné des performances inférieures et un temps d'entraînement significativement plus élevé, soulignant l'importance des mises à jour sélectives. RAIL a réalisé une réduction d'environ 54 % du temps d'entraînement par rapport à RAIL-UTM tout en maintenant des performances finales plus élevées.
• Stabilité : Le BC pondéré utilisé dans RAIL a fourni un apprentissage de politique plus stable lors de l'adaptation en ligne par rapport aux mises à jour basées sur TRPO utilisées dans GAIL.

Signification et Revendications
L'article revendique que RAIL offre une solution pratique au problème du décalage de distribution en déplaçant l'accent de l'optimisation exclusive des paramètres de politique vers l'expansion de la couverture état-action via des données supplémentaires. En intégrant un discriminateur stabilisé avec un mécanisme d'apprentissage en ligne conditionnel, le cadre permet aux robots de rester robustes face aux états non vus pendant l'entraînement et de s'adapter efficacement lorsque de tels états sont rencontrés dans le monde réel. Les auteurs affirment que cette approche fournit un chemin plus stable et efficace vers l'apprentissage par imitation à vie par rapport aux stratégies existantes purement hors ligne ou purement en ligne.