Résumé Technique : Neural Action Codec (NAC) pour les Modèles Vision-Langage-Action

Énoncé du Problème

Les modèles Vision-Language-Action (VLA) visent à mapper des observations visuelles et des instructions en langage naturel directement vers des signaux de contrôle robotique de bas niveau. Pour exploiter les capacités de généralisation et de raisonnement des modèles Vision-Language (VLM) pré-entraînés, le contrôle robotique est souvent formulé comme une tâche de modélisation de séquence autorégressive. Cependant, cette approche nécessite une tokenisation d'action : la conversion de trajectoires d'actions continues en symboles discrets.

Les méthodes de tokenisation existantes sont confrontées à un compromis entre compression, latence et performance en aval :

• Binning Uniforme (Uniform Binning) : Les premières méthodes utilisaient un partitionnement par dimension, ce qui entraînait des séquences de tokens excessivement longues pour un contrôle à haute fréquence.
• Compression par Conception Manuelle (Hand-Designed Compression) : Des approches comme FAST utilisent une compression dans le domaine fréquentiel (par exemple, la Transformée en Cosinus Discrète) pour raccourcir les séquences, mais peuvent manquer les dynamiques non linéaires complexes en raison de priors fixes.
• Latence et Fidélité : Concevoir un tokenizer optimal est difficile car il doit capturer les régularités statistiques pour une modélisation efficace de la distribution tout en maintenant une faible latence (tokens par bloc d'action) et un décodage rapide.

Le domaine de la génération audio a réussi à traiter des défis similaires (compression haute fidélité, faible latence et distributions temporelles complexes) en utilisant des Neural Audio Codecs, mais ces architectures n'ont pas été directement adaptées aux actions robotiques. Un écart clé existe dans la compréhension de la manière de transférer les principes des codecs audio — spécifiquement la Quantification Vectorielle Résiduelle (RVQ) et l'entraînement adversarial — au domaine distinct des signaux cinématiques multicanaux à basse fréquence.

Méthodologie : Neural Action Codec (NAC)

Les auteurs proposent le NAC, un tokenizer d'action appris qui adapte les architectures de pointe des codecs audio neuronaux (spécifiquement les RVQGANs multi-échelles) pour la tokenisation d'actions robotiques.

1. Représentation du Signal et Architecture

NAC traite les blocs d'actions continues comme des signaux 1D multicanaux.

• Entrée : Un bloc d'action continu $a \in \mathbb{R}^{B \times H_a \times D_a}$ est aplati en une pseudo-ondelettes 1D $w \in \mathbb{R}^{B \times 1 \times L}$, où $L = H_a \cdot D_a$.
• Encodeur : Un encodeur de style SEANet entièrement convolutionnel traite la pseudo-ondelette. Il utilise des convolutions 1D empilées avec sous-échantillonnage par pas (strided downsampling) et des blocs résiduels pour produire une représentation latente continue $z$.
• Quantification : Le latent $z$ est discrétisé via une Quantification Vectorielle Résiduelle Multi-Échelle (MRVQ). Contrairement à la RVQ standard, NAC applique un pooling temporel par étape avant la quantification. Cela force les étapes initiales à capturer des structures de trajectoire globales et grossières sur des fenêtres temporelles plus larges, tandis que les étapes ultérieures capturent les résidus fins à haute fréquence.
• Décodeur : Un décodeur de style Vocos avec une tête ISTFT (Inverse Short-Time Fourier Transform) reconstruit le signal d'action continu à partir des codes discrets. La tête ISTFT prédit l'amplitude et la phase de la STFT, se synchronisant avec le pas (hop length) de l'encodeur pour récupérer l'information de phase perdue lors de l'encodage.

2. Adaptations Critiques pour la Robotique

L'article identifie que l'application directe des codecs audio échoue sans modifications spécifiques :

• Changement de Fonction de Perte : Les modèles audio optimisent généralement les pertes de spectrogramme de Mel pour s'aligner sur la perception auditive humaine. Les auteurs démontent que les objectifs de spectrogramme de Mel sont inadaptés aux signaux cinématiques, provoquant l'effondrement de la performance de la politique en aval vers presque zéro. NAC remplace ceux-ci par de simples pertes de domaine temporel (MSE/L1) et des pertes de reconstruction spectrale non-Mel.
• Entraînement Adversarial : NAC introduit la première application de la perte de perte (adversarial loss) à la tokenisation d'actions. Un discriminateur (spécifiquement un discriminateur de type DAC) est utilisé pour préserver la fidélité des hautes fréquences, ce qui est crucial pour modéliser les mouvements correctifs rapides et les changements brusques de vitesse en robotique.
• Perte d'Engagement (Commitment Loss) : Pour éviter l'effondrement du codebook, une perte d'engagement est appliquée avec un scaling agressif (par exemple, un facteur de 1000) pour borner strictement l'espace latent.

3. Formulation de la Politique

NAC permet une politique de clonage comportemental autorégressive :

• Codebooks avec Décalage (Offset Codebooks) : Pour fournir un espace de tokens structuré, NAC utilise des codebooks avec décalage. S'il y a $n_q$ échelles de quantification, la taille du vocabulaire est $|V| = n_q \times V_{bins} + 1$. Les tokens pour chaque échelle sont limités à des plages d'ID spécifiques.
• Entraînement : La politique prédit la séquence de tokens discrets $C = [c_1, \dots, c_L]$ conditionnée par les observations visuelles et les instructions linguistiques, maximisant la log-vraisemblance de la séquence de tokens.
• Inférence : La politique génère des tokens de manière autorégressive. Les tokens sont partitionnés par échelle, reconvertis en indices de code, et transmis au détokeniseur NAC gelé pour récupérer les actions continues exécutables.

Contributions Clés

1. Architecture NAC : Introduction d'un tokenizer d'action appris basé sur une architecture RVQGAN multi-échelle, spécifiquement adapté aux trajectoires robotiques multicanaux en traitant les actions comme des pseudo-ondes 1D.
2. Politique Autorégressive Structurée : Formulation d'une politique de clonage comportemental qui utilise les codebooks avec décalage de NAC pour une prédiction de prochain-token causale et structurée.
3. Insight sur les Fonctions de Perte : Démonstration que l'abandon des pertes de spectrogramme de Mel spécifiques à l'audio est critique pour appliquer les codecs audio neuronaux à la robotique. L'article introduit l'utilisation de pertes temporelles et spectrales non-Mel, ainsi que la première utilisation de la perte adversariale dans la tokenisation d'actions.
4. Validation Empirique : Évaluation complète à travers des tâches simulées (LIBERO-10, RoboMimic) et de manipulation réelle, montrant une fidélité de reconstruction et une performance de politique supérieures par rapport aux bases de référence existantes.

Résultats Expérimentaux

Les auteurs ont évalué NAC par rapport aux bases de référence de contrôle continu (Diffusion Policy) et de tokens discrets (Uniform Binning, FAST, VQ-VLA, OAT).

• Reconstruction et Ablation :
  • Perte de Spectrogramme de Mel : L'utilisation de pertes de spectrogramme de Mel a entraîné un taux de succès de 0 % sur les tâches en aval, confirmant le décalage perceptuel entre l'audio et la cinématique.
  • Entraînement Adversarial : Le retrait du discriminateur a causé un échec total en aval, soulignant la nécessité de l'entraînement adversarial pour préserver les détails temporels fins.
  • Tête de Décodeur : Remplacer la tête ISTFT par un décodeur linéaire a considérablement dégradé tant l'erreur de reconstruction que le succès de la politique.
• Performance en Aval (Simulation) :
  • Sur LIBERO-10, NAC a atteint un taux de succès de 49,73 %, surpassant FAST (38,02 %) et OAT (44,17 %).
  • Sur RoboMimic, NAC a atteint 33,94 %, dépassant FAST (28,38 %) et OAT (31,94 %).
• Performance en Réel :
  • Sur une suite de 8 tâches de manipulation physique, NAC a atteint un taux de succès de 50,0 %, surpassant toutes les bases de référence (par exemple, FAST à 40,0 %, OAT à 40,0 %).

Signification et Revendications

L'article affirme que les codecs audio neuronaux réutilisés offrent un squelette solide et pratique pour la tokenisation d'actions apprise dans les VLA modernes. La signification réside dans la démonstration que :

1. Le cœur de l'architecture des modèles de fondation audio (encodeurs convolutionnels, RVQ, entraînement adversarial) est hautement efficace pour la robotique, à condition que les objectifs de domaine fréquentiel soient adaptés aux signaux cinématiques.
2. L'entraînement adversarial est essentiel pour capturer les dynamiques à haute fréquence requises pour un contrôle robotique précis.
3. NAC fournit un espace de tokens compact et ordonné qui permet aux politiques autorégressives standards d'opérer sur des séquences courtes et structurées, atteignant une erreur de reconstruction plus faible et des taux de succès plus élevés que le binning, FAST et les précédents tokeniseurs basés sur le VQ à taux de compression comparables ou supérieurs.

Les auteurs concluent que NAC comble le fossé entre les modèles de fondation audio et le contrôle robotique, offrant une alternative basée sur les données à la compression conçue manuellement qui préserve la fidélité structurelle nécessaire à l'apprentissage de politiques efficaces.