Information Filtering via Variational Regularization for Robot Manipulation

Résumé technique : Filtrage d'informations par régularisation variationnelle pour la manipulation robotique

Énoncé du problème
Les politiques visuomotrices basées sur la diffusion utilisant des représentations visuelles 3D (par exemple, des nuages de points) ont atteint des performances de pointe dans la manipulation robotique. Cependant, ces systèmes emploient généralement une asymétrie architecturale significative : un encodeur de scène compact et riche en informations couplé à un décodeur de débruitage surdimensionné (tel qu'un U-Net ou un DiT avec environ 250 millions de paramètres). Bien que les grands décodeurs augmentent la capacité du modèle, les preuves empiriques suggèrent qu'ils introduisent de la redondance et du bruit sans rapport avec la tâche dans les blocs de caractéristiques intermédiaires. Les auteurs émettent l'hypothèse que cette information « bruyante » dégrade la prise de décision, pourtant les représentations internes de ces décodeurs restent sous-exploitées en tant que source de limitation des performances.

Méthodologie
L'article propose la Régularisation Variationnelle (VR), un module plug-and-play conçu pour filtrer de manière adaptative le bruit des caractéristiques intermédiaires du décodeur. La méthodologie se déroule en trois étapes :

1. Identification du bruit : Les auteurs valident d'abord la présence de bruit par des études d'ablation au moment de l'inférence.

   • Pour les architectures U-Net, masquer aléatoirement les caractéristiques de l'architecture principale au moment de l'inférence améliore souvent les taux de réussite, indiquant que ces caractéristiques contiennent plus de bruit que de signal pour des tâches spécifiques.
   • Pour les architectures DiT, réduire l'échelle ou sauter des couches intermédiaires (spécifiquement les couches 4 à 8 dans un modèle de 12 couches) améliore de même les performances, suggérant que ces couches introduisent des mises à jour de caractéristiques bruyantes.

2. Module de Régularisation Variationnelle : Pour y remédier, la VR est insérée après les couches intermédiaires bruyantes (après l'étape finale de sous-échantillonnage dans U-Net et après les couches intermédiaires dans DiT).

   • Le module traite les caractéristiques bruyantes $Z$ comme une variable latente et impose une distribution gaussienne conditionnée au contexte $p_\theta(\hat{Z}|Z, C)$, où $C$ est le contexte de scène compact.
   • Il prédit une moyenne $\mu_\theta(Z, C)$ et un écart-type $\sigma_\theta(Z, C)$ à l'aide de réseaux de neurones à plusieurs couches (MLP), modulés par le contexte via une couche FiLM.
   • La représentation filtrée $\hat{Z}$ est obtenue via l'astuce de reparamétrisation : $\hat{Z} = \mu_\theta + \sigma_\theta \odot \epsilon$.
   • Un régularisateur de divergence KL est ajouté à la fonction de perte pour encourager la distribution de $\hat{Z}$ à correspondre à une loi normale standard a priori, agissant comme un goulot d'étranglement d'information adaptatif.

3. Justification théorique : Les auteurs fournissent une fondation théorique en utilisant le cadre du Goulot d'Information Variationnel (VIB). Ils démontrent que la minimisation de la fonction de perte proposée (perte de débruitage + régularisateur KL) équivaut à la maximisation de la borne inférieure de l'évidence (ELBO) de l'objectif de goulot d'information. Cela garantit théoriquement que le module filtre les informations sans rapport avec la tâche tout en préservant les signaux critiques pour la prédiction.

Contributions clés

• Découverte empirique : L'article identifie et quantifie le fait que les caractéristiques intermédiaires dans les grands décodeurs de diffusion (U-Net et DiT) contiennent souvent du bruit sans rapport avec la tâche, comme en témoignent les gains de performance lorsque ces caractéristiques sont masquées ou sautées lors de l'inférence.
• Nouveau module : L'introduction de la Régularisation Variationnelle (VR), un goulot d'étranglement variationnel conditionné au contexte qui filtre de manière adaptative les caractéristiques intermédiaires sans nécessiter de modifications architecturales de l'architecture principale.
• Lien théorique : Une dérivation rigoureuse reliant l'objectif de la VR au Goulot d'Information Variationnel, fournissant des garanties théoriques pour le filtrage d'informations.
• Performances de pointe : La méthode obtient de nouveaux résultats de pointe sur plusieurs benchmarks, surpassant la politique de base DP3.

Résultats expérimentaux
Les auteurs ont évalué la VR sur trois benchmarks de simulation (RoboTwin2.0, Adroit, MetaWorld) et un déploiement dans le monde réel :

• RoboTwin2.0 : La VR a amélioré le taux de réussite moyen de DP3-UNet de 56,6 % à 63,8 % (+7,2) et de DP3-DiT de 62,7 % à 67,0 % (+4,3).
• Adroit : En utilisant uniquement 10 démonstrations d'experts, la VR a amélioré le SR5 moyen de DP3-UNet de 68,6 % à 73,7 % et de DP3-DiT de 70,4 % à 73,8 %.
• MetaWorld : La VR a constamment amélioré le SR5 moyen pour les deux architectures principales (par exemple, DP3-UNet de 63,1 % à 68,1 %).
• Monde réel : Dans une tâche d'empilement de tasses, la VR a augmenté le taux de réussite de 73,3 % à 86,7 % (+13,4).
• Ablation : Les expériences ont confirmé que l'injection de contexte est cruciale pour les performances de la VR et que la VR surpasse d'autres techniques de régularisation telles que le dropout, la réduction de largeur et le Goulot d'Information classique.

Signification
L'article affirme qu'en traitant le décodeur surdimensionné non pas comme une boîte noire mais comme une source de bruit potentiel, les performances peuvent être considérablement améliorées par un filtrage adaptatif. La signification réside dans la démonstration que « plus grand n'est pas toujours mieux » dans la manipulation basée sur la diffusion ; au contraire, modéliser et filtrer explicitement les représentations intermédiaires via un goulot d'étranglement variationnel conduit à des politiques plus robustes et efficaces. La méthode est présentée comme une solution simple, plug-and-play, qui améliore la généralisation et les taux de réussite à travers diverses tâches de manipulation et architectures de décodeurs.