Résumé Technique : Politiques de Diffusion Paramétrées (PDP)

Énoncé du Problème

Les tâches robotiques en conditions réelles sont souvent sous-spécifiées, où un seul objectif peut être atteint par plusieurs séquences d'actions distinctes (comportements multimodaux). Bien que les Politiques de Diffusion (DP) standards soient apparues comme un paradigme puissant pour modéliser ces distributions multimodales, elles souffrent d'un manque de contrôlabilité. Plus précisément, les évaluations standards se concentrent souvent sur les décalages de distribution du côté de l'observation (par exemple, les changements d'apparence de la caméra), mais les échecs de déploiement découlent fréquemment de décalages de comportement induits par des contraintes. Dans ces scénarios, les changements environnementaux (par exemple, de nouveaux obstacles ou des contraintes de contact) invalident les stratégies précédemment démontrées, forçant le robot à sélectionner un autre mode existant ou à découvrir un nouveau comportement.

Les politiques de diffusion actuelles reposent sur le bruit stochastique pour la diversité. Diriger ces politiques au moment du test en optimisant l'espace de bruit de haute dimension est souvent mal conditionné : de petites perturbations dans le bruit peuvent entraîner des changements de trajectoire importants, imprévisibles ou irréalisables. De plus, les méthodes existantes de pilotage de comportement nécessitent soit de réentraîner les poids de la politique (lent, gourmand en données), soit reposent sur des jetons de compétences discrets qui restreignent le contrôle à un ensemble fini de comportements, empêchant une interpolation fluide.

Méthodologie : Politique de Diffusion Paramétrée (PDP)

Les auteurs proposent la Politique de Diffusion Paramétrée (PDP), un cadre qui transforme la diffusion d'un mécanisme de diversité stochastique en un outil de pilotage de comportement précis et optimisable. La PDP conditionne le débruiteur de diffusion sur une variable latente de comportement $z$ de faible dimension et continue, apprise à partir des démonstrations.

1. Variété de Comportement Alignée sur la Géométrie

L'innovation centrale est la construction d'une variété de comportement où les distances euclidiennes entre les codes latents reflètent la similitude sémantique des trajectoires physiques.

• Encodeur de Trajectoire : Un encodeur de trajectoire $E_\phi$ projette les trajectoires de démonstration $\tau$ vers un code latent $z$.
• Alignement Géométrique : Contrairement aux Auto-encodeurs Variationnels (VAE) standards, la PDP aligne explicitement la géométrie de l'espace latent avec la similitude physique des trajectoires en utilisant le Soft-DTW (Soft Dynamic Time Warping). L'objectif d'entraînement inclut une perte de géométrie $L_{geo}$ qui impose une correspondance linéaire entre la distance latente $\|z_i - z_j\|$ et la distance physique de la trajectoire calculée via Soft-DTW. Cela garantit que de petits changements dans $z$ induisent des changements fluides et prévisibles dans la trajectoire exécutée.
• Objectif Conjoint : L'encodeur-décodeur est entraîné pour minimiser la perte de reconstruction, la divergence KL (pour la régularisation) et la perte d'alignement géométrique.

2. Débruiteur de Diffusion Paramétré

La politique de diffusion $\pi_\theta$ génère des blocs d'actions conditionnés à la fois par le contexte environnemental $c_t$ et le comportement latent $z$.

• Modulation Globale : Au lieu d'une simple concaténation, le latent $z$ est intégré dans le débruiteur via un mécanisme de modulation globale (inspiré de FiLM). Le latent est transformé en paramètres affines ($\gamma, \beta$) spécifiques aux couches qui mettent à l'échelle et décalent les cartes de caractéristiques intermédiaires. Cette intégration profonde permet au latent de faible dimension de diriger efficacement le processus de génération d'actions de haute dimension.
• Entraînement Découplé : L'encodeur est entraîné avec un opérateur de stop-gradient lors de la phase d'optimisation du débruiteur afin d'éviter que la perte de diffusion ne déforme la géométrie soigneusement structurée de la variété latente.

3. Contrôle et Adaptation au Moment du Test

La PDP permet une adaptation rapide et légère en données sans mettre à jour les poids de la politique.

• Ajustement du Latent : Face à de nouvelles contraintes ou un comportement cible $\tilde{\tau}$, le système optimise le code latent $z$ pour minimiser une perte d'ajustement cohérente avec la diffusion. Cela identifie le mode de comportement spécifique qui satisfait le mieux les nouvelles contraintes.
• Démarrage Sémantique à Chaud (Warm-Start) : L'optimisation est initialisée en utilisant la prédiction de l'encodeur sur la nouvelle démonstration ($z_0 = E_\phi(\tilde{\tau})$), plaçant la recherche dans une région bien conditionnée de la variété.
• Adaptation à Longue Horizon : Pour des tâches complexes, la PDP supporte des séquences de latents constantes par morceaux, permettant d'adapter indépendamment les différentes phases d'une tâche.

Contributions Clés

1. Cadre de Diffusion Paramétré : Introduit la PDP, qui remplace le pilotage par le bruit stochastique par un paramètre latent $z$ continu et aligné géométriquement pour un contrôle explicite du comportement.
2. Variété Alignée sur la Géométrie : Démontre que l'alignement des distances latentes avec la similitude physique des trajectoires (via Soft-DTW) permet une interpolation fluide et un pilotage prévisible, résolvant la nature mal conditionnée de l'optimisation dans l'espace du bruit.
3. Intégration Latente Profonde : Propose une architecture de modulation globale qui intègre avec succès des signaux de comportement de faible dimension dans des débruiteurs de diffusion de haute dimension, surpassant la concaténation naïve.
4. Adaptation Efficace au Moment du Test : Montre que l'adaptation du seul latent $z$ (via la descente de gradient) permet une adaptation rapide à de nouvelles contraintes en utilisant une seule démonstration, sans réentraîner la politique.

Résultats Expérimentaux

Les auteurs ont évalué la PDP sur une suite de neuf domaines de manipulation multimodale, tant en simulation (RLBench, Robomicmic, Franka Kitchen, D3IL) que sur un véritable robot Franka Emika Panda.

• Performance Multimodale Originale : La PDP a obtenu des taux de réussite systématiquement élevés sur toutes les tâches, égalant ou dépassant les bases de référence de l'état de l'art (incluant la DP standard, BC-GMM et VQ-BeT). Elle a démontré une stabilité supérieure dans la reconstruction des distributions multimodales par rapport à la DP standard, qui produit souvent des déroulés bruités et incohérents en raison de l'ambiguïté des modes.
• Décalages Induits par les Contraintes : Dans les scénarios où les contraintes environnementales invalidaient la plupart des modes d'entraînement :
  • Ajustement sur Mode Existant : La PDP a obtenu un succès quasi parfait (ex: 100 % sur CloseDrawer), surpassant nettement les bases de référence qui n'ont pas réussi à converger vers le mode unique réalisable.
  • Découverte de Nouveau Comportement : Dans les configurations de type "zéro-mode-réalisable" (où aucun mode d'entraînement ne fonctionne et où un nouveau comportement doit être synthétisé), la PDP était la seule méthode à réussir de manière constante. Les bases de référence, y compris celles qui affinent les poids (BC) ou utilisent la recherche évolutionnaire (Diff-ES), ont échoué à synthétiser des stratégies réalisables absentes des données d'entraînement.
• Robustesse du Robot Réel : Sur la tâche réelle OpenDrawer, la PDP a maintenu un taux de réussite de 100 % sous les décalages de contraintes, alors que le succès de la DP standard est tombé à 20 %. Cela souligne la robustesse de la PDP face au bruit du monde réel et sa capacité à fournir une poignée de contrôle stable.
• Études d'Ablation :
  • Le retrait de l'alignement géométrique ou l'utilisation de latents discrets a provoqué une dégradation sévère des performances, confirmant la nécessité d'une variété continue et métriquement alignée.
  • La modulation globale a nettement surpassé la concaténation, réduisant la perte d'entraînement et améliorant le succès de l'adaptation.
  • Les démarrages sémantiques à chaud étaient critiques ; une initialisation aléatoire n'a pas permis de trouver des stratégies viables même après une optimisation étendue.

Signification et Revendications

L'article affirme que la PDP change fondamentalement le paradigme du contrôle basé sur la diffusion, passant de la "diversité pilotée par le bruit" au "pilotage de comportement paramétré". En structurant l'espace latent pour qu'il reflète la similitude physique des trajectoires, la PDP transforme la diffusion en un outil qui est non seulement expressif, mais aussi contrôlable et optimisable.

Les auteurs soulignent que cette approche répond à une lacune critique de l'apprentissage robotique : la capacité de s'adapter rapidement et de manière fiable aux changements de contraintes sans réentraînement. Ils soutiennent que si les modèles de diffusion sont excellents pour représenter des données multimodales, leur utilité dans le déploiement réel est limitée sans une interface structurée pour la sélection de comportements. La PDP fournit cette interface, permettant aux robots de :

1. Interpoler de manière fluide entre des stratégies connues pour synthétiser de nouveaux comportements réalisables.
2. S'adapter rapidement à de nouvelles contraintes en optimisant un ensemble compact de paramètres (le latent $z$) plutôt que des millions de poids de réseau.
3. Opérer de manière robuste dans des environnements réels où le bruit d'exécution et les décalages de contraintes sont courants.

Ce travail suggère que les variétés de comportement explicitement alignées sur la géométrie sont essentielles pour la prochaine génération de politiques robotiques adaptables, particulièrement dans des scénarios nécessitant la synthèse de comportements non présents explicitement dans l'ensemble de données d'entraînement.