Résumé Technique : Politique de Dérive Implicite (IDP)

Énoncé du Problème

Les politiques d'action génératives basées sur la diffusion ou le "flow matching" excellent dans l'apprentissage par imitation (behavior cloning) en conservant l'évolution des trajectoires intermédiaires, ce qui permet une correction progressive de l'action. Cependant, leur processus d'échantillonnage itératif est prohibitivement coûteux en termes de calcul pour le contrôle robotique à haute fréquence. Les formulations en une seule étape récentes (par exemple, Consistency Policy, One-Step Diffusion) atténuent la latence mais sacrifient le mécanisme de correction intermédiaire.

Un défi critique surgit lorsqu'on tente de récupérer ce mécanisme de correction dans les politiques en une seule étape via la Dérive Explicite (Explicit Drifting). Les modèles de dérive visent généralement à entraîner un générateur pour déplacer une distribution vers les données en utilisant un champ de vecteurs continu. Dans la génération inconditionnelle, ce champ est estimable à partir d'ensembles d'échantillons riches. Cependant, dans le cas de l'apprentissage par imitation conditionnel, les démonstrations ne fournissent souvent qu'une action experte déterministe unique par observation. Comme le montre la Proposition 3.1, tenter d'estimer un champ de dérive dans ce contexte parcimonieux conduit à une dégénérescence mathématique : le champ de dérive conditionnel empirique s'effondre pour devenir la simple différence entre l'action experte et la prédiction ($a^* - a$), rendant le champ explicite équivalent à une perte MSE (Erreur Quadratique Moyenne) isotrope standard. Cela élimine le guidage géométrique local nécessaire pour que les générateurs en une étape adhèrent à des variétés d'actions valides.

Méthodologie : Politique de Dérive Implicite (IDP)

Les auteurs proposent la Politique de Dérive Implicite (IDP), un cadre d'apprentissage par imitation en une seule étape qui intègre les avantages de la correction par dérive lors de l'entraînement sans estimer explicitement un champ de vecteurs. Au lieu de régresser un champ dynamique, l'IDP extrait une géométrie experte conditionnelle statique à partir de la variation locale des actions expertes sous des observations similaires et l'utilise pour définir un objectif de potentiel sensible à la géométrie.

1. Objectif de Correction Implicite

L'IDP formule un vecteur de correction $\Delta_i(a) = M_i(a^*_i - a)$, où $M_i$ est une matrice symétrique semi-définie positive agissant comme des poids adaptatifs à la géométrie. Ce vecteur correspond au gradient négatif d'une fonction de potentiel purement géométrique :
$$E^{geo}_i(a) = \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
L'objectif d'entraînement total combine l'erreur isotrope standard avec cette pénalité adaptative à la géométrie :
$$E_i(a) = \frac{1}{2}\|a - a^*_i\|^2_2 + \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
Cela transforme le problème de la régression d'un champ de vecteurs explicite en la minimisation d'un potentiel qui augmente de manière adaptative les pénalités le long des directions contraintes.

2. Extraction de la Géométrie Experte Conditionnelle

Pour construire la matrice adaptative $M_i$, l'IDP analyse la variation locale des actions expertes sous des observations similaires :

• Sélection de Voisinage : Pour une observation donnée $o_i$, la méthode identifie des observations similaires dans le jeu de données en utilisant des plongements de caractéristiques normalisés (avec arrêt du gradient pour assurer la stabilité).
• Covariance Locale : Elle calcule une matrice de Géométrie Experte Conditionnelle $G_i$ basée sur la covariance pondérée des actions expertes $a^*_j$ issues de ces observations similaires :
  $$G_i = \mathbb{E}_{j \sim \mathcal{D}\setminus\{i\}} [w_{ij}(a^*_j - a^*_i)(a^*_j - a^*_i)^\top]$$
  Une faible variance dans $G_i$ indique des contraintes opérationnelles strictes pour cette condition spécifique.

3. Excès de Géométrie Locale

Pour isoler les contraintes spécifiques à la condition des variations globales inhérentes aux actions, l'IDP compare la variance conditionnelle locale à une variance de référence globale ($v^{ref}$). Elle calcule une échelle de précision normalisée pour les deux et définit l'Excès de Géométrie ($m_{i,d}$) en utilisant un opérateur ReLU :
$$m_{i,d} = \text{ReLU}\left( \frac{s^{cond}_{i,d}}{s^{ref}_d} - 1 \right)$$
Cela garantit que seules les dimensions où l'observation actuelle impose des contraintes plus strictes que le priori global sont pénalisées. La matrice diagonale résultante $M_i = \text{Diag}(m_i)$ sert de poids adaptatif.

4. Évaluation Proximale de l'Expert

Pour s'assurer que le réseau capture la topologie de la variété locale définie par le potentiel, l'IDP introduit une évaluation proximale de l'expert pendant l'entraînement. Au lieu d'évaluer uniquement la prédiction standard $y_i = f_\theta(o_i, a_0, 0)$, le modèle est également évalué en un point de sondage $z_i$ situé près de l'action experte ($z_i = f_\theta(o_i, a^*_i + \epsilon, t^*)$). La perte totale est une somme pondérée du potentiel évalué aux deux points :
$$\mathcal{L} = \mathbb{E}_{i \sim \mathcal{D}} [E_i(y_i) + \lambda_{prox} E_i(z_i)]$$
Cela expose le générateur en une étape à la structure de correction locale près de la cible experte, empêchant le réseau d'apprendre une topologie qui ne s'ajuste qu'à la distribution de bruit initiale.

Contributions Clés

1. Politique de Dérive Implicite (IDP) : Un cadre d'apprentissage par imitation en une seule étape qui intériorise la correction lors de l'entraînement en minimisant un potentiel sensible à la géométrie, évitant l'instabilité de l'estimation de champ de vecteurs explicite dans les contextes conditionnels parsemés.
2. Extraction de la Géométrie Experte Conditionnelle : Une méthode pour dériver des structures de correction d'action locales en comparant la géométrie conditionnelle des observations similaires à une référence globale, isolant ainsi de manière adaptative les contraintes spécifiques à la condition.
3. Évaluation d'Entraînement Proximale de l'Expert : Un mécanisme d'entraînement qui évalue la politique près des actions expertes pour garantir que le générateur capture efficacement la topologie de la variété locale définie par le potentiel géométrique.

Résultats Expérimentaux

Les auteurs ont évalué l'IDP à travers des benchmarks 2D (état/image), des tâches de manipulation de nuages de points 3D et des expériences robotiques réelles.

• Tâches Simulées 2D et 3D : L'IDP a obtenu des taux de réussite compétitifs par rapport aux bases solides en une étape (ex: Consistency Policy, MP1, OFP) et a souvent surpassé les variantes de dérive explicite (Naive Drifting). Dans plusieurs configurations, l'IDP (NFE=1) s'est approchée des performances des politiques génératives multi-étapes (ex: Diffusion Policy à 100 étapes).
• Tâche Réelle "Pick Peach" : Sur une plateforme ALOHA à bras unique avec une distribution bimodale, l'IDP a atteint un taux de réussite de 50 % dans le cadre visuel, tandis que Diffusion Policy, Naive Drifting et MIP ont tous échoué (0 %). Les modèles de base présentaient des déviations par rapport à la variété d'action valide, alors que l'IDP adhérait aux poses de saisie valides avec une réactivité en temps réel.
• Études d'Ablation : Le retrait de l'évaluation proximale de l'expert a provoqué une chute significative des performances (ex: de 81 % à 40 % sur ToolHang-State), confirmant sa nécessité pour intérioriser la structure locale. De même, l'utilisation de voisins uniformes ou mélangés a dégradé les performances, validant l'importance de la géométrie conditionnée par l'observation.

Signification et Revendications

L'article affirme que l'IDP résout avec succès la "perte de correction d'erreur intermédiaire" dans la génération d'actions en une seule étape. En passant de la régression de champs de vecteurs dynamiques à la minimisation d'un potentiel statique sensible à la géométrie dérivé des démonstrations, l'IDP fournit un signal de correction d'action fiable lors de l'entraînement.

Les auteurs soulignent que l'IDP :

• Maintient l'Adhérence aux Variétés Valides : Il impose efficacement des contraintes sur le générateur en une étape, empêvant la divergence hors des espaces d'action valides.
• Surpasse la Dérive Explicite : Il surmonte l'impossibilité mathématique d'estimer des champs de dérive dans l'apprentissage par imitation conditionnel parcimonieux.
• Atteint des Performances Compétitives : Il égale ou dépasse les bases solides en une étape tout en conservant les avantages de faible latence de l'inférence en une seule étape.

Le papier reconnaît modestement certaines limites : les politiques en une seule étape luttent encore pour couvrir les distributions d'actions multimodales, et la méthode repose sur une densité raisonnable d'actions expertes sous des observations similaires pour construire la géométrie locale. Des travaux futurs sont suggérés pour les régimes de données parsemées et multimodaux.