Resumen Técnico: Códec de Acción Neuronal (NAC) para Modelos de Visión-Lenguaje-Acción

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) pretenden mapear observaciones visuales e instrucciones de lenguaje natural directamente a señales de control robótico de bajo nivel. Para aprovechar las capacidades de generalización y razonamiento de los modelos de Visión-Lenguaje (VLM) preentrenados, el control robótico se formula a menudo como una tarea de modelado de secuencias autorregresivas. Sin embargo, este enfoque requiere la tokenización de acciones: convertir trayectorias de acciones físicas continuas en símbolos discretos.

Los métodos de tokenización existentes enfrentan un compromiso entre compresión, latencia y rendimiento descendente:

• Binning Uniforme: Los métodos tempranos utilizaban un agrupamiento por dimensión, lo que resultaba en secuencias de tokens prohibitivamente largas para un control de alta frecuencia.
• Compresión Diseñada a Mano: Enfoques como FAST utilizan la compresión en el dominio de la frecuencia (por ejemplo, la Transformada de Coseno Discreta) para acortar las secuencias, pero pueden perder dinámicas complejas y no lineales debido a los priors fijos.
• Latencia y Fidelidad: Diseñar un tokenizador óptimo es un desafío porque debe capturar regularidades estadísticas para un modelado de distribución efectivo, manteniendo al mismo tiempo una baja latencia (tokens por fragmento de acción) y una decodificación rápida.

El dominio de la generación de audio ha abordado con éxito desafíos similares (alta fidelidad de compresión, baja latencia y distribuciones temporales complejas) utilizando Códecs de Audio Neuronales, pero estas arquitecturas no han sido adaptadas directamente para acciones robóticas. Existe una brecha clave en la comprensión de cómo transferir los principios de los códecs de audio —específicamente la Cuantización de Vectores Residuales (RVQ) y el entrenamiento adversarial— al dominio distinto de las señales cinemáticas multicanal de baja frecuencia.

Metodología: Códec de Acción Neuronal (NAC)

Los autores proponen NAC, un tokenizador de acciones aprendido que adapta las arquitecturas de estado del arte de los códecs de audio neuronal (específicamente los RVQGAN de escala múltiple) para la tokenización de acciones robóticas.

1. Representación de la Señal y Arquitectura

NAC trata los fragmentos de acción continuos como señales 1D multicanal.

• Entrada: Un fragmento de acción continuo $a \in \mathbb{R}^{B \times H_a \times D_a}$ se aplana en una pseudo-forma de onda 1D $w \in \mathbb{R}^{B \times 1 \times L}$, donde $L = H_a \cdot D_a$.
• Codificador: Un codificador de estilo SEANet totalmente convolucional procesa la pseudo-forma de onda. Utiliza convoluciones 1D apiladas con submuestreo con saltos (strided downsampling) y bloques residuales para producir una representación latente continua $z$.
• Cuantización: El latente $z$ se discretiza mediante Cuantización de Vectores Residuales Multiescala (MRVQ). A diferencia de la RVQ estándar, NAC aplica un agrupamiento temporal (temporal pooling) por etapa antes de la cuantización. Esto obliga a las etapas iniciales a capturar estructuras de trayectoria globales y gruesas sobre ventanas temporales más amplias, mientras que las etapas posteriores capturan residuales de alta frecuencia y gran detalle.
• Decodificador: Un decodificador de estilo Vocos con una cabeza de Transformada de Fourier de Tiempo Corto Inversa (ISTFT) reconstruye la señal de acción continua a partir de los códigos discretos. La cabeza ISTFT predice la magnitud y la fase de la STFT, sincronizándose con la longitud de salto (hop length) del codificador para recuperar la información de fase perdida durante la codificación.

2. Adaptaciones Críticas para la Robótica

El artículo identifica que la aplicación directa de los códecs de audio falla sin modificaciones específicas:

• Cambio en la Función de Pérdida: Los modelos de audio suelen optimizar las pérdidas de espectrograma Mel para alinearse con la percepción auditiva humana. Los autores demuestran que los objetivos de espectrograma Mel son inadecuados para las señales cinemáticas, causando que el rendimiento de la política descendente colapse casi a cero. NAC reemplaza estos por pérdidas de reconstrucción de dominio temporal (MSE/L1) y espectrales no-Mel simples.
• Entrenamiento Adversarial: NAC introduce la primera aplicación de pérdida adversarial a la tokenización de acciones. Se utiliza un discriminador (específicamente un discriminador tipo DAC) para preservar la fidelidad de alta frecuencia, lo cual es crítico para modelar movimientos correctivos rápidos y cambios bruscos de velocidad en robótica.
• Pérdida de Compromiso (Commitment Loss): Para prevenir el colapso del libro de códigos (codebook collapse), se aplica una pérdida de compromiso con un escalado agresivo (por ejemplo, un factor de 1000) para acotar estrictamente el espacio latente.

3. Formulación de la Política

NAC permite una política de clonación de comportamiento autorregresiva:

• Libros de Códigos con Desplazamiento (Offset Codebooks): Para proporcionar un espacio de tokens estructurado, NAC utiliza libros de códigos con desplazamiento. Si hay $n_q$ escalas de cuantización, el tamaño del vocabulario es $|V| = n_q \times V_{bins} + 1$. Los tokens para cada escala están delimitados dentro de rangos de ID específicos.
• Entrenamiento: La política predice la secuencia de tokens discretos $C = [c_1, \dots, c_L]$ condicionado en observaciones visuales e instrucciones de lenguaje, maximizando la log-verosimilitud de la secuencia de tokens.
• Inferencia: La política genera tokens de forma autorregresiva. Los tokens se particionan por escala, se convierten de nuevo a índices de código y se pasan al descodificador NAC congelado para recuperar acciones continuas ejecutables.

Contribuciones Clave

1. Arquitectura NAC: Introducción de un tokenizador de acciones aprendido basado en una arquitectura RVQGAN de escala múltiple, adaptado específicamente para trayectorias robóticas multicanal al tratar las acciones como pseudo-formas de onda 1D.
2. Política Autorregresiva Estructurada: Formulación de una política de clonación de comportamiento que utiliza los libros de códigos con desplazamiento de NAC para la predicción de siguiente token causal y estructurada.
3. Perspectiva sobre la Función de Pérdida: Demostración de que eliminar las pérdidas de espectrograma Mel específicas de audio es crítico para aplicar códecs de audio neuronales a la robótica. El artículo introduce el uso de pérdidas de dominio temporal y espectrales no-Mel, junto con el primer uso de pérdida adversarial en la tokenización de acciones.
4. Validación Empírica: Evaluación exhaustiva en tareas de manipulación simuladas (LIBERO-10, RoboMimic) y del mundo real, mostrando una fidelidad de reconstrucción y un rendimiento de política descendente superiores en comparación con las líneas base existentes.

Resultados Experimentales

Los autores evaluaron NAC frente a líneas base de control continuo (Diffusion Policy) y líneas base de tokens discretos (Uniform Binning, FAST, VQ-VLA, OAT).

• Reconstrucción y Ablación:
  • Pérdida de Espectrograma Mel: El uso de pérdidas de espectrograma Mel resultó en una tasa de éxito del 0% en las tareas descendentes, confirmando el desajuste perceptual entre el audio y la cinemática.
  • Entrenamiento Adversarial: Eliminar el discriminador causó un fallo total en el desempeño descendente, resaltando la necesidad del entrenamiento adversarial para preservar los detalles temporales finos.
  • Cabeza del Decodificador: Reemplazar la cabeza ISTFT con un decodificador lineal empeoró significativamente tanto el error de reconstrucción como el éxito de la política.
• Desempeño Descendente (Simulación):
  • En LIBERO-10, NAC alcanzó una tasa de éxito del 49.73%, superando a FAST (38.02%) y OAT (44.17%).
  • En RoboMimic, NAC alcanzó un 33.94%, superando a FAST (28.38%) y OAT (31.94%).
• Desempeño en el Mundo Real:
  • En una suite de 8 tareas de manipulación física, NAC alcanzó una tasa de éxito del 50.0%, superando a todas las líneas base (por ejemplo, FAST en 40.0%, OAT en 40.0%).

Significado y Reivindicaciones

El artículo afirma que los códecs de audio neuronales reutilizados ofrecen un soporte sólido y práctico para la tokenización de acciones aprendida en los modelos VLA modernos. El significado radica en demostrar que:

1. La arquitectura central de los modelos fundacionales de audio (codificadores convolucionales, RVQ, entrenamiento adversarial) es altamente efectiva para la robótica, siempre que los objetivos de frecuencia sean adaptados a las señales cinemáticas.
2. El entrenamiento adversarial es esencial para capturar la dinámica de alta frecuencia requerida para el control preciso de robots.
3. NAC proporciona un espacio de tokens compacto y ordenado que permite a las políticas autorregresivas estándar operar sobre secuencias cortas y estructuradas, logrando errores de reconstrucción más bajos y tasas de éxito más altas que el binning, FAST y los tokenizadores VQ previos con tasas de compresión comparables o mejores.

Los autores concluyen que NAC cierra la brecha entre los modelos fundacionales de audio y el control robótico, ofreciendo una alternativa basada en datos a la compresión diseñada a mano que preserva la fidelidad estructural necesaria para un aprendizaje de política efectivo.