Résumé Technique : NoiseGate – Apprentissage de Programmes de Pas de Temps par Latent comme Contrôle d'Information dans les Modèles d'Action-Monde

1. Formulation du Problème

Les Modèles d'Action-Monde (WAMs) représentent un paradigme où la génération d'actions robotiques est couplée à la modélisation d'observations futures, générant conjointement un bloc de trames vidéo latentes futures ($v$) et un bloc d'actions ($a$) étant donné une observation actuelle ($v_0$) et une instruction linguistique ($l$). Des implémentations notables, telles que Motus et Fast-WAM, utilisent une colonne vertébrale de débruitage vidéo–action conjointe basée sur une architecture Mixture-of-Transformers (MoT). Dans ces systèmes, les jetons vidéo et les jetons d'action interagissent via des couches d'auto-attention partagées.

Une limitation critique des WAMs existants réside dans le traitement du pas de temps de diffusion. Bien que l'architecture permette théoriquement à chaque trame latente prédite de posséder un pas de temps indépendant ($t_f$), les systèmes actuels réduisent ce degré de liberté en un seul scalaire partagé ($t$) pour toutes les trames prédites à chaque étape de débruitage. Sous l'interprétation du « bruit comme masquage » du Forçage de Diffusion, ce programme partagé impose un a priori injustifié : il suppose que chaque trame latente prédite est également fiable et « visible » pour le processus de génération d'actions à n'importe quelle étape donnée.

Cependant, l'influence des trames futures sur la prédiction d'actions est intrinsèquement hétérogène et dépendante de la tâche. Par exemple, lors d'événements critiques comme la préhension, un modèle pourrait bénéficier du maintien des latents imaginés correspondants « plus flous » (bruit plus élevé) pour éviter une sur-reliance sur des prédictions incertaines. Les programmes conçus à la main (par exemple, une décroissance monotone du bruit) ne font que remplacer un a priori fixe par un autre, échouant à s'adapter à la densité d'information spécifique requise par différentes tâches.

2. Méthodologie : NoiseGate

Les auteurs proposent NoiseGate, un cadre qui reformule le programme de pas de temps par latent comme une politique d'information-gating apprenable. Au lieu d'un programme fixe, NoiseGate apprend à moduler la fiabilité de la contribution Key/Value de chaque trame latente aux jetons d'action en ajustant dynamiquement son niveau de bruit.

La méthode se compose de trois composants couplés :

A. Colonne Vertébrale MoT Vidéo–Action Conjointe

Le système emploie une colonne vertébrale Mixture-of-Transformers qui intègre un Transformer de Diffusion Vidéo (DiT) bidirectionnel par blocs avec un DiT Expert-Action.

• Auto-attention Partagée : Les jetons vidéo et les jetons d'action partagent des blocs d'auto-attention, permettant aux jetons d'actions de porter attention aux latents vidéo.
• Experts Spécifiques à la Modalité : Chaque modalité conserve ses propres couches feed-forward.
• Mécanisme de Contrôle : Le niveau de bruit $t_f$ sur un latent vidéo module directement la fiabilité de sa contribution aux représentations cachées des jetons d'action.

B. Échantillonnage de Pas de Temps par Latent Indépendant (Support d'Entraînement)

Pour permettre à la colonne vertébrale de généraliser à des programmes par trame arbitraires lors de l'inférence, les auteurs adoptent une stratégie d'entraînement inspirée du Forçage de Diffusion.

• Pendant l'entraînement, des pas de temps indépendants $t_v = (t_1, \dots, t_F)$ sont échantillonnés pour chaque trame latente, plutôt qu'un scalaire partagé.
• Cela crée une entrée « bruitée de manière hétérogène », enseignant à la colonne vertébrale à « lire » efficacement à travers des niveaux d'incertitude variables à travers le bloc vidéo.

C. Réseau de Politique de Contrôle (GPN) et Optimisation GRPO

L'innovation centrale est le Réseau de Politique de Contrôle ($\pi_\phi$), un réseau léger qui apprend le programme de pas de temps optimal.

• Entrée : À chaque étape de débruitage $k$, le GPN observe le bloc vidéo actuellement bruité de manière hétérogène ($v_t^{(k)}$), l'observation propre ($v_0$), et les pas de temps actuels ($t_v^{(k)}$).
• Sortie : Il prédit des incréments d'échelle relatifs ($r_f$) pour déterminer de combien le pas de temps de chaque trame doit diminuer ($\Delta t_f$). La trame d'observation reste fixée à $t_0=0$, et le pas de temps d'action suit un programme global fixe.
• Entraînement : Le GPN est entraîné en utilisant l'Optimisation de Politique Relative par Groupes (GRPO). La colonne vertébrale est figée, et la politique est optimisée contre une récompense binaire sparse de réussite de tâche ($r \in \{0, 1\}$). Cela ancre la politique de contrôle dans l'utilité réelle de la tâche sans nécessiter d'a priori de forme conçus à la main.

3. Contributions Clés

1. Reformulation du Programme : Les auteurs identifient le pas de temps scalaire partagé conventionnel dans les WAMs vidéo–action conjoints comme un a priori implicite fort limitant la flexibilité du modèle. Ils proposent de considérer la programmation par latent comme une politique d'information-gating apprenable sur l'auto-attention partagée.
2. Architecture NoiseGate : Ils introduisent NoiseGate, qui combine un échantillonnage de pas de temps par latent indépendant pendant l'entraînement de la colonne vertébrale, un GPN léger pour émettre des incréments de temps par latent, et une optimisation GRPO pilotée par des récompenses de tâche.
3. Validation Empirique : Sur le benchmark RoboTwin dans des conditions de scène aléatoire, NoiseGate démontre des améliorations constantes par rapport aux bases de référence à scalaire partagé et aux variantes de programmes conçus à la main, confirmant que l'apprentissage de la politique de contrôle est essentiel pour exploiter le degré de liberté par latent.

4. Résultats Expérimentaux

L'évaluation a été menée sur le benchmark RoboTwin, spécifiquement dans des conditions de scène aléatoire où les poses d'objets, les couleurs et les arrière-plans sont randomisés.

• Comparaison Principale : NoiseGate a été comparé à des bases de référence solides (Fast-WAM, LingBot-VA, $\pi_{0.5}$, Motus) et à un WAM de Stade-1 (la colonne vertébrale entraînée avec un bruit indépendant mais une inférence à scalaire partagé).
  • NoiseGate a atteint un taux de réussite moyen de 94,28 %, surpassant le WAM de Stade-1 (92,58 %) et toutes les autres bases de référence.
  • Des gains significatifs ont été observés dans des tâches nécessitant un timing précis ou la gestion de l'incertitude (par exemple, Hanging Mug +9 %, Blocks Ranking Size +7 %, Put Object Cabinet +7 %).
• Études d'Ablation :
  • La suppression du GPN et le retour à un scalaire partagé ($Shared\text{-}t$) ont causé la plus grande baisse de performance (67,5 % $\to$ 57,5 % dans la configuration d'ablation contrôlée).
  • L'utilisation d'un programme monotone conçu à la main a amélioré la performance par rapport au scalaire partagé mais est restée inférieure au GPN appris (63,4 % contre 67,5 %), indiquant qu'un contrôle adaptatif à la tâche est nécessaire.
• Analyse Qualitative :
  • Bruit comme Masquage : Les cartes d'attention ont confirmé une décroissance monotone de l'attention action-vidéo à mesure que les niveaux de bruit augmentent, validant le mécanisme de contrôle.
  • Programmes Adaptatifs à la Tâche : Les visualisations ont montré que le GPN apprend des trajectoires de pas de temps distinctes et non uniformes pour différentes tâches. Par exemple, dans les tâches de préhension, le GPN a maintenu la trame de préhension critique à un niveau de bruit plus élevé (plus incertain) plus longtemps que les autres trames, empêchant un engagement prématuré de l'action.

5. Signification et Revendications

L'article revendique que NoiseGate démontre avec succès que le programme de pas de temps par latent dans un Modèle d'Action-Monde est un objet de conception de premier ordre plutôt qu'un hyperparamètre fixe ou un a priori implicite.

• Mécanisme : En traitant le pas de temps comme une porte apprenable, le modèle peut exposer sélectivement l'information future à la politique d'action. Cela permet au système de maintenir une incertitude plus élevée (flou) sur les événements futurs critiques et difficiles à prédire tout en clarifiant les informations moins critiques, améliorant ainsi la robustesse dans des tâches de manipulation complexes.
• Efficacité : L'approche optimise le programme en utilisant un réseau de politique léger et des récompenses éparses, évitant le besoin d'a priori complexes conçus à la main ou de réentraînement de la massive colonne vertébrale générative.
• Généralisabilité : Bien que centré sur la robotique, les auteurs notent que la vision du bruit par latent comme une porte d'information apprenable pourrait s'appliquer à d'autres contextes génératifs où des consommateurs en aval lisent des jetons débruités conjointement avec une utilité hétérogène (par exemple, conduite autonome, prédiction vidéo).

Les auteurs restent modestes concernant les limites, notant que l'entraînement actuel repose sur des déroulements de simulateur épars, ce qui peut être inefficace en données, et que la mise à l'échelle de la politique de programme apprise à de grandes suites multi-tâches reste un travail futur.