Résumé Technique : AIDA (Adaptive Imagination for Domain Adaptation)

Énoncé du Problème

L'apprentissage par renforcement profond (RL) a connu un succès significatif en simulation, mais le déploiement de ces politiques dans le monde réel est entravé par le « fossé sim-to-real ». Ce fossé est principalement dû à un décalage de dynamique (dynamics mismatch) et à un décalage de distribution d'états (state-distribution shift). Pour le RL basé sur la vision, le décalage de distribution d'états est particulièrement aigu car les observations de pixels sont de haute dimension et sensibles aux changements d'apparence et de conditions de détection.

Bien que l'adaptation de domaine (DA) offre un remède prometteur en exploitant les données du domaine cible, les méthodes existantes font face à deux limitations critiques en déploiement pratique :

1. Rareté des Données : La plupart des approches de DA antérieures supposent l'accès à des données cibles substantielles. Leurs performances se dégradent considérablement lorsque le budget de données cibles est réduit, un scénario courant où la collecte de données réelles est coûteuse.
2. Surcharge d'Entraînement : De nombreuses méthodes existantes adoptent un cadre d'image-à-image, nécessissant aux agents de RL de s'entraîner directement sur des simulations basées sur des images. Ce processus est coûteux en calcul (ralentissant le RL jusqu'à 20 fois) et conduit souvent à un entraînement instable.

Cet article traite du défi de l'apprentissage par renforcement visuel sous une rareté de données cibles sans nécessiter d'interaction supplémentaire avec l'environnement cible. L'objectif est d'adapter une politique entraînée sur des états de simulateur à basse dimension vers un environnement cible fournissant uniquement des observations d'images de haute dimension, en utilisant un jeu de données pré-collecté minimal.

Méthodologie : AIDA

Les auteurs proposent AIDA (Adaptive Imagination for Domain Adaptation), un cadre opérant en deux étapes :

Étape 1 : Apprentissage du Domaine Source

Une politique basée sur l'état $\pi$ et un modèle de dynamique $f_\omega$ sont entraînés dans le domaine source en utilisant un accès complet à l'environnement (états de basse dimension). Le modèle de dynamique approxime les dynamiques de transition $p(s'|s, a)$, et la politique est optimisée via un RL standard (par exemple, Soft Actor-Critic).

Étape 2 : Adaptation du Domaine Cible

Étant donné un jeu de données restreint de trajectoires d'images cibles $\mathcal{D}_{tgt}$, AIDA adapte la politique entraînée sur la source sans nouvelle interaction avec la cible. L'innovation centrale réside dans l'Imagination Adaptative, qui augmente les données cibles limitées avec des transitions synthétiques fiables.

1. Imagination à Porte de Discriminateur (Discriminator-Gated Imagination)

Pour surmonter la rareté des données, AIDA génère des déroulements synthétiques partant d'états inférés par la cible en utilisant le modèle de dynamique gelé. Cependant, les longs déroulements accumulent des erreurs de prédiction et dérivent de la variété (manifold) cible.

• Discriminateur à Trois Voies : AIDA emploie un discriminateur $D_\psi$ entraîné pour classifier les transitions en trois classes : (i) inférées par la cible, (ii) source, et (iii) imaginées. Cela se distingue des discriminateurs binaires standards ; la classe explicite « imaginée » permet au modèle de reconnaître les déroulements hors support comme peu fiables plutôt que de leur assigner des probabilités intermédiaires ambiguës.
• Troncation Adaptative : Le score de confiance du discriminateur pour la classe « inférée par la cible » sert de signal de fiabilité en ligne. Les déroulements sont adaptativement tronqués au premier pas où le score descend en dessous d'un seuil $\delta$. Cela garantit que seules les transitions fiables et alignées sur la cible contribuent à l'entraînement, évitant le bruit d'une imagination dérivée.

2. Perte de Auto-Cohérence (Self-Consistency Loss)

Sur les transitions fiables résultantes, AIDA introduit une perte de auto-cohérence pour apprendre des représentations d'états sémantiquement significatives.

• Cycle : Le cadre impose un cycle : $État \rightarrow Image \rightarrow État$. Un état imaginé $\tilde{s}$ est décodé en une observation imaginée $\tilde{o}$ via un modèle d'observation $p_\theta$, puis ré-inféré en un état $\bar{s}$ via la fonction de mapping $q_\phi$.
• Objectif : La perte pénalise les écarts entre l'état imaginé original et l'état ré-inféré ($\|\bar{s} - \tilde{s}\|^2$). Cette contrainte encourage l'encodeur à capturer des configurations physiques qui sont visuellement ancrées et cohérentes, fournissant des signaux de supervision denses même dans les régions où aucune donnée cible réelle n'existe.

L'objectif d'entraînement global combine la perte d'alignement de trajectoire (reconstruction + alignement adversaire) avec la perte de auto-cohérence.

Contributions Clés

L'article présente quatre contributions principales :

1. Cadre AIDA : Un nouveau paradigme qui augmente les données cibles rares avec des transitions synthétiques fiables et exploite la auto-cohérence pour apprendre des représentations sémantiquement significatives.
2. Imagination à Porte de Discriminateur : Un mécanisme qui tronque dynamiquement les déroulements d'imagination basés sur le signal d'un discriminateur à trois voies, garantissant que seules les transitions de haute confiance sont utilisées.
3. Auto-Cohérence via Données Augmentées : Un schéma qui impose un cycle état-image-état sur des déroulements multi-étapes conditionnés par la politique, extrayant des signaux d'entraînement supplémentaires des états que l'agent est susceptible de visiter.
4. Évaluation Expérimentale : Des expériences exhaustives démontrant que la troncation adaptative produit des rendements plus élevés que les alternatives à horizon fixe et qu'AIDA surpasse systématiquement les bases de référence dans les régimes de faibles données.

Résultats Expérimentaux

Les auteurs ont évalué AIDA sur cinq tâches MuJoCo (HalfCheetah, Hopper, Swimmer, Walker2d, Inverted-Pendulum) et deux tâches Gymnasium-Robotics (Shadow Dexterous Hand Reach, Fetch Reach). Le budget de données cibles était sévèrement restreint à 50 trajectoires (environ 1/6 des données utilisées dans les travaux antérieurs).

Résultats Clés :

• Performance : AIDA a obtenu l'erreur quadratique moyenne (RMSE) la plus faible sur les sept tâches et le ratio de rendement (Return Ratio) le plus élevé sur six des sept tâches par rapport aux bases de référence (incluant CODAS, GAN_STACK, PAD et le Clonage de Comportement).
• Comparaison avec les Méthodes en Ligne : Notamment, AIDA a surpassé PAD (une méthode d'adaptation en ligne auto-supervisée) sur toutes les tâches, bien que PAD ait un accès continu à l'environnement cible. Cela suggère que la stratégie d'AIDA est plus robuste au grand fossé entre l'état et l'image.
• Surpasser l'Oracle : Sur les tâches Swimmer et Fetch, AIDA a surpassé une base de référence « Oracle (Image) » (SAC entraîné directement sur des images avec une interaction illimitée), soulignant le bénéfice de l'utilisation d'une politique entraînée sur des états de basse dimension stables.
• Études d'Ablation :
  • Fiabilité du Discriminateur : Les visualisations ont confirmé que le discriminateur à trois voies détecte la dérive de manière fiable ; les images décodées avant la troncation étaient physiquement plausibles, tandis que celles après étaient déformées.
  • Adaptatif vs Horizon Fixe : La troncation adaptative a nettement mieux performé que l'imagination à horizon fixe. Les horizons fixes (même courts) incluaient souvent des transitions non fiables, nuisant à la performance.
  • Auto-Cohérence : L'analyse qualitative a montré que les représentations d'états d'AIDA (avec la perte de auto-cohérence) capturent plus fidèlement les configurations physiques (ex: angles de pendule) par rapport aux méthodes sans cette perte.

Signification et Limites

L'article affirme qu'AIDA répond à un régime pratiquement important et encore peu exploré : l'adaptation de domaine avec des données cibles rares. En combinant l'imagination adaptative avec la auto-cohérence, la méthode fournit des signaux de supervision denses qui permettent à l'agent d'apprendre des représentations sémantiquement significatives sans interaction coûteuse avec le monde réel.

Les auteurs reconnaissent modestement deux limites :

1. Écart de Performance : Bien qu'AIDA surpasse les bases de référence, la politique adaptée reste en deçà de la performance de l'expert source, particulièrement sur les tâches critiques pour l'équilibre (ex: Walker2d). Ils suggèrent que des algorithmes d'adaptation en ligne pourraient aider à combler cet écart.
2. Hypothèse de Dynamique : La méthode suppose des dynamiques de transition partagées entre les domaines. La gestion d'un décalage de dynamique important reste une direction pour les travaux futurs.