Hyper-DP3: Frequency-Aware Right-Sizing of 3D Diffusion Policies for Visuomotor Control

Résumé Technique : Hyper-DP3 (HDP3)

Énoncé du Problème
Les politiques visuomotrices basées sur la diffusion actuelles pour la manipulation robotique, particulièrement celles s'étendant aux nuages de points 3D (par exemple, DP3), souffrent d'une surconception significative. Ces méthodes héritent généralement d'architectures issues de la génération d'images, utilisant des décodeurs conditionnels lourds (tels que U-Net ou DiT) et nécessitant plusieurs étapes de débruitage (souvent 10 à 100) lors de l'inférence. Les auteurs soutiennent que cette conception est en décalage avec la nature des trajectoires d'actions robotiques. Contrairement aux signaux perceptuels (images) qui contiennent des détails haute fréquence denses, les trajectoires d'actions robotiques sont hautement lisses et temporellement cohérentes. Par conséquent, les approches existantes engendrent une latence de calcul et un surcroît de paramètres inutiles sans bénéfice correspondant sur la performance du contrôle.

Méthodologie
La solution proposée, Hyper-DP3 (HDP3), repense la conception de la politique de diffusion sous l'angle du domaine fréquentiel. La méthodologie se compose de trois composantes clés :

1. Analyse dans le domaine fréquentiel :
   Les auteurs analysent les trajectoires d'actions robotiques à l'aide de la Transformée en Cosinus Discrète (DCT). Ils démontrent que l'énergie de ces trajectoires est massivement concentrée dans les modes de basse fréquence. Plus précisément, dans leurs expériences, les deux premiers modes DCT représentent près de 98,5 % de l'énergie totale, le premier mode seul détenant 93,2 %. Cela indique que les actions robotiques résident sur une variété de faible dimension dans le domaine fréquentiel.

2. Justification théorique pour une inférence en deux étapes :
   S'appuyant sur l'observation de la dominance des basses fréquences, l'article fournit une borne théorique sur l'erreur du débruiteur optimal. L'analyse montre que l'erreur quadratique moyenne (MSE) de l'estimateur optimal est bornée par la dimension de la sous-variété de basse fréquence et l'énergie résiduelle de haute fréquence. Comme l'énergie de haute fréquence est négligeable, l'erreur sature rapidement. Les auteurs en déduisent que pour de telles données, un échantillonneur DDIM (Denoising Diffusion Implicit Models) en deux étapes est suffisant pour amener l'erreur de décodage à un niveau ayant un effet négligeable sur l'exécution en boucle fermée. L'erreur de haute fréquence restante est naturellement filtrée par le contrôleur de bas niveau du robot.

3. Architecture légère (Diffusion Mixer) :
   Motivés par la découverte que le champ de score pour le débruitage d'actions est plus simple que celui des signaux perceptuels de haute dimension, HDP3 remplace les décodeurs U-Net/DiT lourds par un décodeur Diffusion Mixer (DiM).

   • Structure : Le DiM est basé sur l'architecture MLP-Mixer. Il traite les jetons de trajectoire bruités en alternant entre des MLP temporels (agrégeant l'information à travers le temps) et des MLP de canaux (agrégeant à travers les dimensions de caractéristiques).
   • Conditionnement : Il intègre les conditions d'observation (nuages de points 3D et états proprioceptifs du robot) via des couches FiLM (Feature-wise Linear Modulation) avec des connexions résiduelles à porte (gated).
   • Efficacité : Cette conception permet une fusion d'informations efficace avec un nombre de paramètres considérablement réduit, supportant une inférence en deux étapes sans nécessiter de distillation de cohérence ou d'entraînement MeanFlow.

Principales Contributions

• Aperçu du domaine fréquentiel : L'article établit que les trajectoires d'actions robotiques sont fortement dominées par les basses fréquences, révélant un décalage fondamental dans les politiques de diffusion 3D existantes qui reposent sur des décodeurs de type génération d'image et un échantillonnage multi-étapes.
• Analyse théorique : Il fournit une preuve théorique dans le domaine fréquentiel montrant que le débruitage de l'erreur sature rapidement pour les trajectoires lisses, justifiant la suffisance de très peu d'étapes inverses (spécifiquement deux) pour une génération d'action efficace.
• Conception de modèle : Les auteurs proposent HDP3, une politique de diffusion 3D de "taille poche" dotée d'un décodeur DiM léger. Ce modèle supporte une inférence DDIM efficace en deux étapes.
• Validation empirique : La conception est validée sur des données synthétiques, trois bancs d'essai de simulation (RoboTwin2.0, Adroit, MetaWorld) et des tâches en monde réel, démontant qu'une haute performance peut être atteinte avec une fraction des paramètres des méthodes précédentes.

Résultats Expérimentaux

• Performance : Sur RoboTwin2.0, Adroit et MetaWorld, HDP3 atteint des performances de pointe. Par exemple, sur RoboTwin2.0, il atteint un taux de succès moyen de 63,2 % (surpassant le précédent meilleur, DP3, de 8,0 points de pourcentage). Sur Adroit et MetaWorld, il atteint un taux de succès moyen de 78,4 %, dépassant la solide base de référence MP1 (76,7 %).
• Efficacité : HDP3 utilise moins de 1 % des paramètres des politiques de diffusion 3D antérieures (par exemple, 2,52 M de paramètres contre 255,8 M pour DP3).
• Latence : Grâce au modèle compact et à l'inférence en deux étapes, HDP3 atteint une latence d'inférence nettement plus faible (4,50 ms) par rapport aux méthodes précédentes (par exemple, 51,4 ms pour DP3). Bien que certaines méthodes en une étape (Flow Policy, MP1) aient une faible latence, elles conservent des nombres de paramètres massifs (256 M).
• Transfert en monde réel : Dans des expériences en monde réel sur un robot AgileX Piper, HDP3 a surpassé la base de référence DP3 d'une moyenne de 15,3 % en taux de succès, validant sa transférabilité sim-to-real malgré l'architecture simplifiée.

Signification et Revendications
L'article affirme que la conception des politiques de diffusion pour la robotique a été inutilement contrainte par les paradigmes de génération d'images. En reconnaissant la nature intrinsèque de basse fréquence des trajectoires robotiques, HDP3 démontre que :

1. La réduction de la complexité est possible : Le champ de score pour le débruitage d'actions est substantiellement plus simple que pour les signaux perceptuels, permettant des architectures légères.
2. L'accélération de l'échantillonnage est naturelle : Pour les trajectoires lisses, le débruitage multi-étapes offre des rendements décroissants ; deux étapes sont théoriquement et empiriquement suffisantes.
3. L'efficacité ne sacrifie pas la qualité : Un modèle avec <1 % des paramètres des méthodes SOTA précédentes peut atteindre une performance supérieure et une latence plus faible, rendant le déploiement en temps réel sur des plateformes robotiques à ressources limitées réalisable.

Les auteurs concluent que HDP3 représente un passage vers un "ajustement de taille" (right-sizing) des politiques de diffusion, alignant la capacité du modèle et les étapes d'inférence avec le contenu informationnel réel des tâches de contrôle robotique.