Résumé Technique : Caractéristiques de Fourier pour l'Apprentissage par Imitation sur Nuages de Points

Énoncé du Problème

La manipulation robotique de haute précision nécessite un raisonnement spatial fin pour exécuter des tâches telles que l'insertion d'une cheville dans un logement ou la saisie de petits objets. Bien que les politiques basées sur le RGB soient courantes en raison de leur richesse sémantique et de leurs encodeurs pré-entraînés, elles souffrent d'ambiguïté de profondeur et de problèmes d'échelle de perspective, obligeant la politique à inférer implicitement des correspondances 2D-3D. À l'inverse, les politiques exploitant directement les informations 3D (par exemple, les nuages de points) offrent des priors géométriques plus forts, mais échouent souvent à atteindre une performance de haute précision constante à travers diverses tâches.

Les auteurs émettent l'hypothèse que cette divergence provient du biais spectral des réseaux de neurones. Les perceptrons multicouches (MLP), qui sous-tendent la plupart des architectures de nuages de points, présentent une tendance à apprendre d'abord des fonctions de basse fréquence, tandis que les composantes de haute fréquence (essentielles pour des frontières de décision nettes et des détails géométriques fins) convergent lentement ou ne sont pas apprises du tout. Ce biais est particulièrement préjudiciable lorsque les politiques doivent se conditionner sur des caractéristiques cartésiennes à mouvement lent où des points voisins ont des coordonnées presque identiques mais nécessitent des actions distinctes.

Méthodologie

Le papier propose de projeter les coordonnées des nuages de points de l'espace cartésien vers un espace de Fourier de haute dimension afin de doter les encodeurs de nuages de points d'un accès direct aux caractéristiques de haute fréquence. Cette approche est adaptée des Champs de Radiance Neuronaux (NeRFs) mais appliquée systématiquement à l'apprentissage par imitation (IL) basé sur la diffusion sur des nuages de points.

Composants Clés

1. Cartographie de Caractéristiques de Fourier :
   Au lieu de fournir les coordonnées cartésiennes brutes $(x, y, z)$ au réseau, les auteurs appliquent une fonction d'encodage sinusoïdal $\gamma: \mathbb{R} \to \mathbb{R}^{2L}$. Pour une coordonnée $x$, la cartographie génère un vecteur de termes sinus et cosinus avec des longueurs d'onde $\lambda_k$ variables :
   $$\gamma_k(x) = \left[ \sin\left(\frac{2\pi x}{\lambda_k}\right), \cos\left(\frac{2\pi x}{\lambda_k}\right) \right]^T$$
   Les longueurs d'onde sont espacées de manière logarithmique entre un maximum ($\lambda_{max}$) et un minimum ($\lambda_{min}$). Cela transforme l'entrée en un espace de dimension supérieure où les différences géométriques subtiles entre points voisins sont amplifiées, permettant au réseau de les distinguer plus facilement.

2. Intégration avec les Politiques de Diffusion :
   La méthode est intégrée dans un cadre de diffusion basé sur le score (Elucidated Diffusion Models). La politique $\pi_\theta(a|o, g)$ apprend à débruiter des séquences d'actions conditionnées par des observations de scènes. La cartographie de Fourier est appliquée aux coordonnées des points avant qu'ils n'entrent dans l'encodeur (par exemple, PointPatch, PointTransformer, DP3).

3. Augmentation de Données (VariableJitter) :
   Pour éviter le surapprentissage à des bandes de fréquences spécifiques et assurer la robustesse, les auteurs utilisent le VariableJitter. Contrairement au jitter uniforme standard, cette méthode échantillonne une échelle de bruit $\sigma$ à partir d'une distribution uniforme pour chaque nuage de points, entraînant le réseau à ignorer les fréquences qui ne contiennent pas d'informations utiles sans nécessiter un réglage minutieux des longueurs d'onde par tâche.

4. Flexibilité Architecturale :
   L'approche est conçue pour être agnostique à l'architecture. Elle est testée sur diverses architectures d'encodeurs de nuages de points, notamment :

   • PointPatch : Regroupe les points en patchs et les tokenise.
   • PointPatch-attn : Utilise le pooling d'attention pour agréger les tokens.
   • PCM (PointCloudMatters) : Utilise le max pooling à travers les patchs.
   • DP3 : Crée un token global unique via le max pooling.
   • PointTransformer : Utilise l'auto-attention hiérarchique.
   • Modèles Hybrides : Combine les nuages de points avec des flux RGB.

Contributions Clés

1. Évaluation Systématique : Le papier fournit une évaluation complète des cartographies de caractéristiques de Fourier à travers une large gamme d'architectures de nuages de points et de benchmarks, démontrant que cette simple cartographie non paramétrique résout le biais spectral dans divers encodeurs.
2. Gains de Performance Robustes : Les expériences montrent des améliorations constantes des taux de succès dans la simulation (RoboCasa, ManiSkill3) et dans des configurations robotiques réelles. La méthode améliore la performance sans nécessiter de régularisation supplémentaire ou de changements architecturaux complexes.
3. Aperçu de la Dynamique d'Apprentissage : Par l'analyse spectrale et l'étude des paramètres, les auteurs démontrent que les caractéristiques de Fourier aident non seulement à extraire des détails géométriques fins, mais améliorent également la dynamique d'apprentissage, même en l'absence de géométrie fine. La méthode se montre robuste aux choix d'hyperparamètres (ex: nombre de bandes de fréquence, longueur d'onde minimale).

Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur trois benchmarks :

• RoboCasa (Simulation) : Sur 16 tâches de manipulation de haute précision (ex: insérer des tasses, tourner des boutons), les caractéristiques de Fourier ont considérablement boosté la performance. Par exemple, le taux de succès de l'encodeur PointPatch sur la tâche CloseDrawer est passé de 34 % à 72 %, et le taux de succès moyen global est passé de 13 % à 34 %.
• ManiSkill3 (Simulation) : Sur quatre tâches de saisie et d'utilisation d'outils, les caractéristiques de Fourier ont apporté des améliorations constantes, bien que parfois plus modestes (ex: +7 % d'amélioration moyenne), probablement en raison de la relative simplicité de ces tâches par rapport à RoboCasa.
• Robot Réel : Sur quatre tâches réelles exigeantes (Drawer, Cup-Stacking, Arranging, Folding), les politiques avec caractéristiques de Fourier ont atteint une amélioration du score normalisé de 14,8 % à 40,2 %. Notamment, la méthode s'est montrée robuste au bruit réel, à l'occlusion et au mauvais calibrage de la caméra. Les résultats qualitatifs indiquent que les politiques entraînées avec les caractéristiques de Fourier se déplaçaient de manière plus décisive et imitaient plus étroitement les démonstrations expertes, là où les politiques de base hésitaient ou échouaient à percevoir les détails géométriques fins.

Analyse Spectrale :
L'analyse du spectre de Fourier des graphes a révélé que, bien que les réseaux standards soient biaisés vers les basses fréquences, l'ajout de caractéristiques de Fourier augmente la sensibilité du réseau aux composantes de haute fréquence (valeurs propres $\lambda > 1.0$). Ce décalage permet au réseau d'apprendre des frontières de décision plus nettes. De plus, le bénéfice des caractéristiques de Fourier est corrélé à la richesse des détails géométriques du nuage de points ; des nuages de points plus denses produisent des gains de performance plus importants.

Signification et Revendications

Le papier affirme que les caractéristiques de Fourier servent d'outil polyvalent pour l'apprentissage par imitation sur nuages de points. En contrecarrant le biais spectral inhérent aux MLP, ces caractéristiques permettent aux politiques d'exploiter plus efficacement les détails géométriques que les caractéristiques cartésiennes standard.

Les auteurs soulignent que cette amélioration est obtenue avec un coût minimal :

• Simplicité : Cela nécessite uniquement un changement d'encodage d'entrée, et non un redessin de l'architecture de la politique.
• Robustesse : La méthode est insensible aux choix d'hyperparamètres et ne nécessite pas de réglage des plages de longueurs d'onde spécifiques à la tâche.
• Universalité : Elle bénéficie à diverses architectures d'encodeurs et à des configurations multimodales (combinant RGB et nuages de points).

Le travail suggère que pour les tâches robotiques de haute précision, l'encodage des entrées de coordonnées via les caractéristiques de Fourier devrait être considéré comme une pratique standard par rapport aux caractéristiques cartésiennes brutes, particulièrement lorsqu'un raisonnement spatial fin est requis.