Résumé Technique : Noise-Guided Transport (NGT)

Énoncé du Problème

L'article traite du défi de l'Apprentissage par Imitation (IL) dans le régime de données limitées, où seul un nombre restreint de démonstrations d'experts est disponible. Dans de tels contextes, le Behavioral Cloning (BC) standard échoue souvent à généraliser en raison des erreurs cumulatives, tandis que les méthodes traditionnelles d'Adversarial Imitation Learning (AIL) (par exemple, GAIL, DAC) peinent souvent avec l'instabilité, nécessitent une régularisation lourde (comme les pénalités de gradient) ou reposent sur un pré-entraînement à grande échelle et des architectures à haute capacité qui sont inefficaces avec des données rares. Les auteurs ciblent spécifiquement les tâches de contrôle continu, incluant la locomotion de type Humanoïde aux dynamiques complexes et de haute dimension, où la rareté des données constitue un goulot d'étranglement critique.

Méthodologie : Noise-Guided Transport (NGT)

Le NGT est une méthode d'apprentissage par imitation hors-politique (off-policy) légère, qui cadre le problème d'apprentissage de la récompense comme un problème de Transport Optimal (OT) résolu via un entraînement adversaire, fondé sur le concept d'apprentissage à partir de priors aléatoires.

Mécanisme Central

1. Apprentissage à partir de Priors Aléatoires : La méthode utilise un réseau de neurones gelé et initialisé aléatoirement ($f^\dagger_\xi$) comme un « prior » qui fournit une cartographie cible déterministe. Un réseau prédicteur entraînable ($f_\xi$) est optimisé pour correspondre aux sorties de ce prior.

2. Apprentissage de Récompense Adversaire : Contrairement aux approches classiques à une seule classe qui n'apprennent qu'à partir des données de l'expert, le NGT traite le comportement de l'agent comme un signal négatif. Il définit une fonction de potentiel $h_\xi(x) = \ell(f_\xi(x), f^\dagger_\xi(x))$, où $\ell$ est une perte de correspondance non négative. L'objectif d'apprentissage de la récompense est formulé comme :
   $$L(\xi) = \mathbb{E}_{x \sim P_{expert}}[h_\xi(x)] - \mathbb{E}_{x \sim P_{agent}}[h_\xi(x)]$$
   Minimiser $L(\xi)$ entraîne $h_\xi$ à attribuer des valeurs faibles aux données de l'expert et des valeurs élevées aux données de l'agent. La récompense finale est dérivée de $r_\xi(x) = \exp(-h_\xi(x))$, assurant la positivité et accentuant le contraste entre les comportements de l'expert et de l'agent.

3. Équivalence de Transport Optimal : Les auteurs démontrent que la minimisation de $L(\xi)$ sur l'espace des potentiels 1-Lipschitz est équivalente à la maximisation de la distance de l'Earth Mover's Distance (EMD) entre les distributions de l'agent et de l'expert. Le potentiel appris $h_\xi$ incarne la dualité de Kantorovich-Rubinstein, créant efficacement un paysage de coût d'OT qui guide l'agent vers l'expert.

Implémentation Pratique et Stabilité

Pour garantir les garanties théoriques de la contrainte 1-Lipschitz requise pour l'équivalence EMD, le NGT emploie des choix architecturaux et d'entraînement spécifiques :

• Normalisation Spectrale (SN) : Appliquée à toutes les couches linéaires des réseaux prédicteur et prior pour contraindre leurs constantes de Lipschitz.
• Initialisation Orthogonale (OI) : Utilisée pour le réseau prior gelé afin de garantir des applications de rang plein et des valeurs singulières unitaires, maintenant la constante de Lipschitz du prior proche de 1 sans nécessiter de SN.
• Fonctions de Perte :
  • Pour les tâches standards, des pertes de régression robustes comme la perte de Huber sont utilisées.
  • Pour les tâches de haute dimension et complexes (ex: Humanoïde), la méthode emploie une perte distributionnelle ($\ell_{HLG}$), spécifiquement une perte d'histogramme de « type Gaussien ». Cela convertit le problème de régression en un problème de classification sur des bacs (bins), exploitant le lissage de labels et la structure ordinale pour améliorer la stabilité et la généralisation. Cela introduit une asymétrie architecturale où le prédicteur produit une distribution sur les bacs pour chaque dimension du prior aléatoire.
• Absence de Pénalité de Gradient : Contrairement aux autres bases d'AIL hors-politique (ex: DAC, SAM), le NGT ne nécessite pas de pénalités de gradient (GP) coûteuses en calcul pour la stabilité, s'appuyant plutôt sur la SN et la conception spécifique du cadre de prior aléatoire.

Contributions Clés

1. Nouvel Objectif de Récompense : La dérivation d'un objectif d'apprentissage de récompense adversaire à partir du problème d'apprentissage à partir de priors aléatoires, qui incorpore naturellement l'estimation de l'incertitude et l'estimation de pseudo-densité.
2. Fondement Théorique : Preuve que l'objectif proposé coïncide avec la formulation duale du Transport Optimal (spécifiquement l'EMD), fournissant des garanties théoriques sur la concentration de la perte empirique vers l'objectif réel.
3. Efficacité d'Échantillonnage : Une méthode qui atteint des performances solides avec un nombre extrêmement limité de données (aussi peu que 20 transitions) sans nécessiter de pré-entraînement ou d'architectures spécialisées à grande échelle.
4. Capacité État-Seul (State-Only) : La capacité d'effectuer l'apprentissage par imitation dans des contextes où les actions de l'expert ne sont pas disponibles (état-seul), un scénario où la plupart des bases échouent.
5. Robustesse Pratique : Démonstration que la normalisation spectrale et l'initialisation orthogonale sont suffisantes pour stabiliser l'entraînement adversaire hors-politique, éliminant ainsi le besoin de pénalités de gradient.

Résultats Expérimentaux

Les auteurs ont évalué le NGT sur la suite de contrôle continu Gymnasium, incluant la tâche exigeante Humanoid-v4, sous des régimes de données limitées (1, 4 et 11 démonstrations d'expert).

• Performance : Le NGT surpasse systématiquement un ensemble diversifié de bases, incluant BC, PWIL, DAC/SAM, W-DAC/SAM, MMD-DAC/SAM, RED et DiffAIL.
• Mise à l'échelle en données limitées : Le NGT a montré une mise à l'échelle cohérente et stable à travers différents nombres de démonstrations et taux de sous-échantillonnage.
• Succès en Haute Dimension : Le NGT était la seule méthode capable d'apprendre avec succès la locomotion de l'Humanoïde avec seulement 20 transitions, même dans le cadre état-seul. Bien que DiffAIL ait montré des promesses sur l'Humanoïde, il a peiné sur d'autres tâches et a engendré une surcharge de calcul plus élevée.
• Stabilité : La méthode a présenté une faible variance à travers les graines aléatoires (random seeds) et n'a pas souffert de l'instabilité d'entraînement ou de l'effondrement de mode souvent observés dans les méthodes d'IL basées sur les GAN.
• Efficacité : Le NGT a maintenu des vitesses d'exécution compétitives (étapes par seconde) comparables aux bases les plus rapides, évitant la dégradation du temps d'exécution observée avec des méthodes comme DiffAIL.

Signification et Revendications

L'article affirme que le NGT offre une alternative légère, efficace en termes d'échantillonnage et théoriquement fondée pour l'apprentissage par imitation dans les environnements de données rares. En exploitant les principes de l'apprentissage à partir de priors aléatoires et du transport optimal, le NGT atteint des performances robustes sans la complexité du pré-entraînement ou l'instabilité de l'entraînement adversaire avec pénalité de gradient.

Les auteurs positionnent ce travail comme une étape vers un regain d'intérêt pour l'apprentissage par imitation dans des domaines appliqués comme la biorobotique et la santé, où l'acquisition de démonstrations d'experts diversifiées et de haute qualité est contrainte par la disponibilité des patients et la variabilité clinique. Ils soulignent que leur méthode permet de progresser dans ces domaines en réduissant les exigences de données pour l'apprentissage de politiques de contrôle complexes. Le travail suggère également que l'objectif proposé pourrait avoir une applicabilité plus large à des tâches générales de modélisation générative.