Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

Résumé Technique : Denoising-Variance Adaptive Chunking (DVAC)

1. Énoncé du Problème

Les politiques robotiques basées sur le flux, telles que celles utilisant la Diffusion ou le Flow Matching, sont devenues la norme pour générer des séquences d'actions continues. Une stratégie de déploiement courante est le découpage d'actions (action chunking), où la politique prédit une séquence d'actions futures, et un préfixe de cette séquence est exécuté avant que la politique ne planifie à nouveau. Bien que le découpage améliore la cohérence temporelle et amortisse les coûts d'inférence, les implémentations actuelles reposent sur un horizon d'exécution fixe (par exemple, toujours exécuter les 10 premières actions d'une séquence de 50 prédite).

Cette approche fixe crée un compromis inhérent :

• Les phases prévisibles (par exemple, le mouvement d'un bras en espace libre) nécessitent souvent un replanification moins fréquente pour maintenir l'efficacité.
• Les phases critiques pour la précision (par exemple, les interactions riches en contacts, la manipulation d'objets) nécessitent un replanification plus fréquente pour corriger les erreurs.
  Un horizon statique ne peut pas s'adapter à ces dynamiques variables, ce qui conduit soit à un sur-replanification inefficace, soit à un sous-replanification risqué lors de tâches critiques. Les méthodes adaptatives existantes nécessitent souvent des candidats de blocs supplémentaires, des heuristiques de sélection supplémentaires ou un entraînement spécifique à la tâche, ce qui complique le déploiement.

2. Méthodologie : DVAC

Les auteurs proposent le Denoising-Variance Adaptive Chunking (DVAC), un cadre de test sans entraînement qui détermine dynamiquement l'horizon d'exécution en fonction de la dynamique interne du processus d'inférence de la politique basée sur le flux.

Intuition Fondamentale :
Pendant l'inférence par flow matching, la politique affine de manière itérative un bloc d'actions bruité en une estimation d'action propre via une trajectoire de débruitage. Les auteurs observent que la variance de ces estimations d'actions propres intermédiaires ($\hat{x}_0$) à travers les dernières étapes de débruitage sert de signal intrinsèque de la stabilité de la phase de la tâche :

• Faible Variance : Se produit lors des phases de mouvement prévisibles, indiquant des prédictions stables.
• Forte Variance : Se produit lors d'opérations riches en contacts ou sensibles à la précision, indiquant une incertitude et un besoin de replanification.

Aperçu de l'Algorithme :

1. Estimation de la Variance : Pour un bloc d'actions prédit d'horizon $H$, DVAC surveille les $L$ dernières étapes du processus de débruitage. Il calcule la variance ($V_s(k)$) des estimations d'actions propres pour chaque indice d'action future $k$.
2. Seuil (Thresholding) : Au lieu d'utiliser un seuil numérique fixe (qui varie selon les tâches et les déroulements), DVAC utilise un seuil adaptatif à l'échelle ($\tau_s$). Il maintient un tampon glissant de statistiques de variance récentes pour calculer une moyenne locale ($\mu_s$) et un écart type ($\sigma_s$). Le seuil est défini comme $\tau_s = \mu_s + \alpha\sigma_s$, où $\alpha$ est un hyperparamètre définissant la tolérance à l'incertitude.
3. Exécution Adaptative : La politique exécute le plus long préfixe d'actions où la variance reste inférieure au seuil. Une fois que la variance dépasse $\tau_s$ (indiquant une phase instable imminente), l'exécution s'arrête et la politique déclenche un replanification.
4. Contraintes : La longueur d'exécution est limitée par des seuils minimum ($N_{min}$) et maximum ($N_{max}$) pour assurer la stabilité et éviter un replanification excessive.

3. Principales Contributions

1. Identification d'un Signal Intrinsèque : L'article établit que la stabilité de la convergence du débruitage est un signal intrinsèque, sans entraînement, pour l'exécution adaptative dans les politiques basées sur le flux, corrélé directement avec les phases de tâches riches en contacts et sensibles à la précision.
2. Cadre DVAC : La proposition d'une méthode d'inférence "plug-and-play" sans entraînement qui adapte les horizons d'exécution en utilisant la variance du débruitage et un seuil adaptatif à l'échelle en ligne.
3. Validation Empirique : Évaluation complète à travers plusieurs benchmarks (LIBERO, RoboTwin, CALVIN), divers backbones basés sur le flux (incluant $\pi_0.5$, Qwen2.5-VL et GR00T) et des tâches de manipulation en monde réel.

4. Résultats Expérimentaux

Les auteurs ont évalué DVAC sur des benchmarks de simulation et sur du matériel réel, en comparant les résultats avec des bases de référence à horizon fixe et d'autres méthodes adaptatives.

• Benchmark LIBERO : En utilisant une politique basée sur $\pi_0.5$, DVAC a amélioré le taux de succès moyen de 94,75 % à 98,00 % tout en réduisant la fréquence de replanification de 43,0 % (de 32,6 à 18,6 replanifications par épisode). Il a surpassé d'autres bases de référence adaptatives comme AAC et AutoHorizon.
• RoboTwin & CALVIN : DVAC a amélioré le taux de succès moyen sur RoboTwin de 0,359 à 0,416 et a augmenté le nombre moyen de sous-tâches accomplies sur CALVIN-5 de 3,905 à 4,040. Notamment, les variantes à seuil fixe ont sous-performé sur CALVIN, soulignant la nécessité de la conception adaptative à l'échelle de DVAC.
• Transférabilité du Backbone : La méthode a démontré des capacités "plug-and-play", améliorant les performances à travers différentes architectures de modèles (par exemple, Qwen2.5-VL et Qwen3-VL-GR00T) sans réentraînement.
• Manipulation en Monde Réel : Dans des tâches impliquant le placement de cubes, l'empilement et le déplacement de tubes à essai, DVAC a systématiquement obtenu des taux de succès plus élevés que les bases de référence à horizon fixe (par exemple, 0,867 contre 0,800 pour le placement de cubes) tout en réduisant considérablement le temps de tâche et le nombre de replanifications.
• Corrélation de Phase : L'analyse a confirmé que DVAC raccourcit avec succès les horizons d'exécution pendant les phases sensibles aux opérations et les prolonge pendant les phases de mouvement, s'alignant sur la motivation théorique.

5. Signification et Revendications

L'article affirme que DVAC offre un mécanisme simple mais efficace pour le déploiement conscient de la confiance des politiques robotiques découpées. En exploitant la trajectoire de débruitage déjà calculée lors de l'inférence, DVAC élimine le besoin de :

• Entraînement supplémentaire.
• Génération de candidats d'actions supplémentaires.
• Réglage des seuils numériques spécifiques à la tâche.

Les auteurs soutiennent que la stabilité du débruitage est un signal intrinsèque, facilement disponible, qui permet aux politiques d'équilibrer la réactivité dynamique (replanifier quand nécessaire) et l'efficacité d'inférence (exécuter des blocs plus longs quand c'est stable). Cette approche améliore le succès des tâches tout en réduisant simultanément la charge de calcul liée à la fréquence de replanification, répondant ainsi à un goulot d'étranglement critique dans le déploiement de politiques visuomotrices à grande échelle.

Limites Reconnues :
Les auteurs notent que DVAC utilise la variance du débruitage comme un proxy empirique plutôt que comme une estimation de l'incertitude calibrée. Elle est actuellement limitée aux politiques de type flux ou diffusion qui exposent les trajectoires intermédiaires et suppose l'accès à ces états internes. L'évaluation en monde réel a été limitée en termes de diversité de tâches et d'échelle d'incarnation (embodiment).