Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

Résumé Technique : LeaP - Un Prior de Source Apprenable pour les Politiques de Robotique Génératives

Énoncé du Problème
Les politiques robotiques génératives, incluant les approches basées sur la diffusion et le flow-matching, formulent généralement la génération d'actions comme un échantillonnage conditionnel. Malgré une diversité architecturale, ces méthodes partagent une limitation commune : elles initialisent la génération d'actions à partir d'une distribution gaussienne standard indépendante de l'observation, $N(0, I)$. Cette distribution source ne contient aucune information concernant l'état actuel du robot ou le contexte de la tâche. Par conséquent, le modèle génératif doit dépenser une partie significative de son « budget d'intégration » pour transporter les échantillons de cette source de bruit non informée vers des actions pertinentes pour la tâche. Bien que des travaux récents aient tenté de remplacer cette gaussienne standard par des sources déterministes dérivées des observations (par exemple, des estimations ponctuelles issues de la proprioception ou de latents visuels), ils négligent largement l'incertitude inhérente à la distribution source. La question centrale abordée par ce travail est : Où la génération d'actions devrait-elle commencer ? en investiguant spécifiquement si la source doit être déterministe ou distributionnelle, et si, dans le cas d'une distribution, sa variance doit être fixe ou adaptative à l'état.

Méthodologie : LeaP
Les auteurs proposent LeaP (Learnable source Prior), un cadre qui remplace la source gaussienne standard par une gaussienne diagonale apprenable et conditionnée par la proprioception sur des blocs d'actions (action chunks). Les composants clés sont :

1. Réseau de Prior ($g_\phi$) : Un MLP léger à deux couches qui mappe les caractéristiques de l'état proprioceptif ($z_s$) vers la moyenne ($\mu_\phi$) et la variance adaptative à l'état ($\sigma^2_\phi$) d'une distribution gaussienne diagonale. Crucialement, le prior est conditionné uniquement sur la proprioception, laissant le conditionnement complet (visuel + proprioceptif) au générateur en aval.
2. Initialisation Stochastique : À l'inférence, l'échantillon source $z_0$ est tiré de cette gaussienne apprise $q_\phi(z_0 | z_s)$ plutôt que de $N(0, I)$. Cela fournit une initialisation qui est à la fois informée par l'observation (ancrée dans un voisinage dépendant de l'état) et stochastique.
3. Conception Plug-and-Play : LeaP modifie uniquement la distribution source. L'architecture du générateur en aval (par exemple, flow-matching ou diffusion-bridge), la dynamique générative et le solveur d'inférence restent inchangés.
4. Objectif d'Entraînement Conjoint : Le réseau de prior et le générateur sont entraînés de bout en bout à l'aide d'une fonction de perte composite :
   • Perte de Flow Matching ($L_{flow}$) : Supervise le champ de vitesse $v_\theta$ pour transporter $z_0$ vers l'action cible.
   • Log-Vraisemblance Négative ($L_{NLL}$) : Supervise la densité conditionnelle du prior, assurant que la moyenne et la variance prédites s'alignent avec les blocs d'actions experts.
   • Perte d'Alignement Contrastif ($L_{align}$) : Une perte symétrique de type CLIP qui impose une correspondance au niveau de l'instance entre les échantillons sources et les actions dans un espace d'embedding appris.

Contributions Clés

• Recadrage de la Distribution Source : Le papier identifie la distribution source comme un axe de conception indépendant et réutilisable pour les politiques robotiques génératives, distinct du choix des dynamiques génératives.
• Variance Adaptative à l'État : Contrairement aux sources déterministes précédentes ou aux heuristiques à variance fixe, LeaP apprend conjointement la moyenne et une variance adaptative à l'état, modélisant explicitement l'incertitude de la source.
• Sélection de Modalité : Les auteurs démontrent que la proprioception seule est suffisante pour paramétrer le prior, et que l'incorporation de caractéristiques visuelles dans le prior dégrade en réalité les performances dans leur configuration.
• Compatibilité Plug-and-Play : La méthode améliore les générateurs de type flow-matching et diffusion-bridge sans modifier leurs architectures internes.

Résultats Expérimentaux
Les auteurs ont évalué LeaP sur 15 tâches de manipulation bimanuelle dans l'environnement de simulation RoboTwin 2.0 et sur trois tâches en monde réel avec un robot Franka Research 3.

• Performance en Simulation : LeaP a atteint un taux de succès moyen de 81,6 %, surpassant quatre baselines représentatives (méthodes à source déterministe A2A, VITA, une contrepartie sans prior, et une politique de diffusion-bridge) de 6,5 à 25,5 points de pourcentage. L'écart le plus important (25,5 pp) a été observé contre la baseline « NoPrior », qui partageait exactement la même architecture de générateur mais utilisait $N(0, I)$, confirmant que le gain provient du prior apprenable lui-même.
• Efficacité : LeaP utilise nettement moins de paramètres (13,22 M au total, la tête de prior ne comptant que pour 0,21 M) par rapport à des baselines comme ACT ou BridgePolicy. Il présente également une convergence d'entraînement plus rapide et plus stable.
• Déploiement en Monde Réel : Dans les expériences en monde réel, LeaP a maintenu la meilleure performance avec un taux de succès moyen de 80,0 %, surpassant la deuxième meilleure baseline (A2A) de 11,7 points de pourcentage.
• Études d'Ablation :
  • Modalité d'Entrée : Conditionner le prior uniquement sur la proprioception a donné les meilleurs résultats ; fusionner les caractéristiques visuelles dans le prior a réduit les performances.
  • Paramétrage : L'apprentissage conjoint de la moyenne et de la variance adaptative à l'état était critique ; les alternatives déterministes ou à variance fixe étaient moins performantes.
  • Générateurs : Le prior a systématiquement amélioré les performances à travers différents backbones de générateurs.

Signification et Revendications
Le papier affirme que la distribution source est une dimension de conception critique, bien que sous-explorée, des politiques robotiques génératives. En passant d'une gaussienne standard non informée à un prior stochastique apprenable et conditionné par la proprioception, le générateur est libéré du fardeau de transporter des échantillons depuis une source de bruit lointaine. Au lieu de cela, le prior place l'échantillon initial dans une « région proprioceptivement plausible », permettant au générateur de se concentrer sur le raffinement précis et conditionné par l'observation. Les auteurs soutiennent que cette approche offre un levier à faible coût pour améliorer les performances de la politique, la vitesse de convergence et la robustesse, complétant les choix existants en matière de dynamiques génératives.