Résumé Technique : STEP - Politiques Visuo-Motrices Démarrées à Chaud avec Prédiction de Cohérence Spatio-Temporelle

1. Énoncé du Problème

Les politiques de diffusion sont devenues un paradigme puissant pour le contrôle visuo-moteur robotique en raison de leur capacité à modéliser des distributions d'actions multimodales et à capturer des dépendances à long horizon. Cependant, leur dépendance à un processus itératif de débruitage (nécessitant typiquement ~100 étapes) introduit une latence d'inférence substantielle, les rendant inadaptées aux systèmes de contrôle en boucle fermée à haute fréquence et en temps réel.

Les méthodes d'accélération existantes relèvent généralement de trois catégories, chacune présentant des limites :

1. Résolveurs Numériques Améliorés (par ex., DDIM, DPM-Solver) : Ils réduisent le nombre d'étapes d'échantillonnage en reformulant le processus inverse, mais nécessitent toujours des évaluations répétées du réseau de politique, limitant ainsi l'efficacité dans le contrôle de haute dimension.
2. Prédiction Directe / Distillation (par ex., CP, BRIDGER) : Ils remplacent le débruitage itératif par une prédiction directe ou un raffinement basé sur la cohérence. Cependant, les prédicteurs légers peinent souvent à mapper les distributions latentes vers les actions cibles sans dégrader la qualité ou la robustesse des actions.
3. Réutilisation d'Actions (par ex., RTI-DP, Falcon) : Elles exploitent la continuité temporelle en démarrant à chaud le processus de diffusion avec les actions précédentes. Bien qu'efficaces pour la régularité temporelle, elles échouent souvent à s'aligner avec la distribution d'actions conditionnée par l'état actuel, entraînant des incohérences spatiales et des blocages potentiels d'exécution.

Le défi central consiste à construire une initialisation de démarrage à chaud de haute qualité qui soit à la fois proche distributionnellement de la variété d'actions cible (cohérence spatiale) et cohérente temporellement avec les étapes de contrôle précédentes, sans compromettre l'expressivité générative de la politique de diffusion originale.

2. Méthodologie : STEP

Les auteurs proposent STEP (Prédiction de cohérence spatio-temporelle), un cadre léger qui accélère le contrôle basé sur la diffusion en initialisant le processus de diffusion inverse près de la distribution cible tout en maintenant une régularité temporelle.

2.1. Prédiction de Cohérence Spatio-Temporelle

STEP introduit un prédicteur léger, $f_\theta$, implémenté comme un Transformer avec des mécanismes d'attention croisée.

• Entrée : L'observation actuelle $o_t$ et la séquence d'actions précédente $A_{t-H}$.
• Sortie : Une séquence d'actions prédite $\hat{A}_t$.
• Mécanisme : Le prédicteur mappe l'observation et les actions historiques vers une initialisation de démarrage à chaud $\tilde{A}_{K'}$ à une étape de diffusion intermédiaire $K' < K$ (où $K$ est le nombre total d'étapes, typiquement 100).
• Entraînement : Le prédicteur est entraîné séparément en utilisant une perte d'erreur quadratique moyenne (MSE) pour approximer l'espérance conditionnelle $E[A_t | o_t, A_{t-H}]$.
• Inférence : Au lieu de commencer à partir d'un bruit gaussien pur, le processus de diffusion commence à l'étape $K'$ avec l'action démarrée à chaud $\tilde{A}_{K'} = \sigma \hat{A}_t + \sigma_t \epsilon_t$. Le processus se poursuit ensuite de $K'$ jusqu'à 0.

2.2. Injection de Perturbation Sensible à la Vitesse

Pour résoudre les blocages d'exécution courants dans les tâches réelles (où les actions consécutives présentent une variation minimale, provoquant l'arrêt du robot dû au frottement statique), STEP emploie un mécanisme d'injection de perturbation sensible à la vitesse.

• Détection : Le système surveille la variation d'action $\Delta A_t$ entre des pas de temps non consécutifs. Si la variation tombe en dessous d'un seuil $\epsilon_a$, une stagnation d'exécution est détectée.
• Injection : Lors de la détection d'une stagnation, le système injecte une excitation d'action bornée (bruit) et met à l'échelle l'action prédite. Spécifiquement, l'action démarrée à chaud est modifiée pour inclure un terme de bruit $\sigma_{stall} \epsilon_t$ et un facteur de mise à l'échelle $\sigma_{scale} < 1$.
• Effet : Cela empêche le robot de rester coincé dans des minima locaux ou des zones mortes de contrôle sans dégrader la précision du contrôle lors d'une exécution normale.

2.3. Analyse Théorique : Contractivité Locale

L'article fournit une analyse théorique démontrant que la méthode proposée induit une application localement contractive.

• En supposant que le réseau de débruitage est lipschitzien et que le calendrier de bruit satisfait des conditions spécifiques, le processus de diffusion inverse est montré comme étant une application contractante ($c_k < 1$).
• Parce que le prédicteur spatio-temporel garantit que l'initialisation de démarrage à chaud se situe dans le voisinage de contraction, l'erreur entre l'action démarrée à chaud et l'action optimale décroît exponentiellement au cours des étapes de débruitage subséquentes. Cela garantit la convergence même avec un nombre d'étapes considérablement réduit.

3. Contributions Clés

1. Mécanisme de Prédiction de Cohérence Spatio-Temporelle : Un prédicteur léger qui génère des actions de démarrage à chaud satisfaisant à la fois l'alignement spatial avec l'état actuel et la régularité temporelle avec les actions précédentes. Cela permet un contrôle à faible latence (aussi peu que 2 étapes) tout en maintenant des taux de réussite élevés.
2. Injection de Perturbation Sensible à la Vitesse : Un mécanisme qui injecte de manière adaptative une excitation d'action uniquement lorsque la stagnation d'exécution est détectée, empêchant les blocages dans les déploiements réels sans sacrifier la précision du contrôle.
3. Analyse de Contractivité Locale : Une preuve théorique montrant que la stratégie de démarrage à chaud induit une application contractante, assurant la convergence des erreurs d'action lors du raffinement par diffusion à nombre d'étapes réduit.

4. Résultats Expérimentaux

Les auteurs ont évalué STEP sur neuf benchmarks simulés (RoboMimic, Push-T, ManiSkill2) et deux tâches réelles (PickNPlace, StackCube).

• Performance en Simulation :

  • Sur le benchmark RoboMimic, STEP avec 2 étapes a atteint un taux de réussite moyen 21,6 % plus élevé que BRIDGER (une méthode de cohérence uniquement spatiale) et a nettement surpassé Falcon (une méthode uniquement temporelle).
  • Comparé à DDIM (un résolveur standard), STEP avec 2 étapes a montré une amélioration de 27,5 % du taux de réussite sur les tâches réelles.
  • STEP a constamment surpassé les résolveurs numériques (DDIM, DPM-Solver++) et les méthodes basées sur la distillation (CP, OneDP) tant en taux de réussite qu'en latence d'inférence, en particulier dans des tâches complexes et riches en contacts.
  • En termes d'efficacité des paramètres, le prédicteur de STEP ne nécessite que 0,98M de paramètres, nettement moins que CP (255M) ou OneDP (251M), tout en atteignant des performances comparables ou supérieures.

• Performance Réelle :

  • Déployé sur un périphérique de bord (NVIDIA RTX 2050), STEP a atteint 100 % de réussite sur les tâches PickNPlace et StackCube avec seulement 2 étapes de débruitage et une latence d'inférence d'~20 ms.
  • Cela représente une accélération de 105,7× par rapport au DDPM standard (100 étapes) et une accélération de 4,8× par rapport à DDIM (8 étapes) tout en maintenant des taux de réussite élevés.
  • L'injection de perturbation sensible à la vitesse a réduit le temps moyen d'exécution des épisodes de 59 % dans des scénarios réels en empêchant les arrêts d'exécution.

5. Signification et Revendications

L'article revendique que STEP fait progresser la frontière de Pareto de la latence d'inférence et du taux de réussite pour les politiques visuo-motrices basées sur la diffusion. En imposant explicitement la cohérence spatio-temporelle lors de l'initialisation de démarrage à chaud, STEP permet aux politiques de diffusion de fonctionner efficacement avec aussi peu que 2 étapes de débruitage, sans la dégradation de performance généralement associée à une telle accélération agressive.

Les auteurs soulignent que leur approche sert de stratégie de démarrage à chaud fondée sur des principes qui ne nécessite ni de réentraîner le modèle de diffusion original ni de le distiller dans un réseau plus petit. Au lieu de cela, elle agit comme un module complémentaire qui préserve l'expressivité générative de la politique originale tout en permettant le déploiement sur des systèmes en temps réel contraints en ressources. La garantie théorique de contractivité locale fournit une base rigoureuse pour la stabilité de ce régime d'inférence à faible nombre d'étapes.