Resumen Técnico: Wall-OSS-0.5

Planteamiento del Problema

La comunidad de la robótica ha adoptado cada vez más los modelos de Visión-Lenguaje-Acción (VLA) como fundamentos para las políticas de robots. Sin embargo, persiste una brecha crítica en la evaluación de estos modelos: los resultados más sólidos se reportan casi invariablemente solo después del ajuste fino (fine-tuning) específico de la tarea. Esto deja una pregunta fundamental sin respuesta: ¿El preentrenamiento de un VLA genera por sí mismo un comportamiento robótico ejecutable, o simplemente sirve como una mejor inicialización para el aprendizaje de políticas descendentes?

La evidencia actual sugiere que el preentrenamiento por sí solo puede no producir una política directamente utilizable. El artículo postula que, para que el preentrenamiento de un VLA sea creíble, el checkpoint preentrenado debe demostrar capacidades observables y ejecutables en hardware físico antes de cualquier adaptación específica de la tarea.

Metodología

Wall-OSS-0.5 es un modelo VLA de código abierto de 4 mil millones de parámetros construido sobre una base de Modelo de Lenguaje-Visión (VLM) de 3B (Qwen2.5-VL-3B-Instruct). La arquitectura y la estrategia de entrenamiento están diseñadas para satisfacer tres requisitos: ejecutar habilidades de manipulación útiles de forma nativa (out-of-the-box), retener la competencia de lenguaje-visión derivada del VLM y proporcionar priors fuertes para la adaptación descendente.

1. Arquitectura: Mezcla de Transformers (MoT)

El modelo emplea una arquitectura de Mezcla de Transformers donde cada capa contiene dos expertos distintos:

• Experto VL: Procesa visión, lenguaje, propiocepción y tokens de acción discretos.
• Experto de Acción: Procesa señales de acción continuas para la generación de flujo (flow-matching).
  Crucialmente, estos expertos comparten el mismo contexto de atención a nivel de secuencia. Esto permite que el Experto de Acción atienda a la información visual y lingüística mientras genera acciones, pero lo más importante es que asegura un flujo de gradiente de extremo a extremo entre los expertos. Esto es una descomposición de enrutamiento en lugar de un mecanismo de detención de gradientes, lo que permite que la vía de acción continua moldee el backbone durante el entrenamiento.

2. Co-entrenamiento con Puente de Gradiente (Gradient-Bridged Co-Training)

La contribución metodológica central es una receta de co-entrenamiento de etapa única que optimiza tres objetivos complementarios simultáneamente:

• Predicción de Tokens de Acción Discretos (El Puente de Gradiente): El modelo predice tokens de acción de Cuantización Vectorial Residual (RVQ) de forma autorregresiva. Esto proporciona una señal de entropía cruzada fuerte y nativa del VLM que actualiza el backbone en una dirección alineada con el control. Actúa como el principal motor para las actualizaciones del backbone.
• Entropía Cruzada Multimodal (El Ancla): Entrenado con datos de lenguaje-visión anclados, este objetivo preserva el seguimiento de instrucciones, el anclaje visual (visual grounding) y la comprensión de la escena. Su dirección de actualización es mayormente ortogonal a la optimización de la acción, evitando que el modelo pierda las capacidades generales del VLM.
• Flujo Continuo (La Interfaz de Despliegue): El Experto de Acción es entrenado para generar fragmentos de acción continua utilizando el ajuste de flujo (flow matching). Aunque esto define el objetivo de ejecución, los estudios de ablación muestran que contribuye solo una pequeña parte (~5%) de las actualizaciones del backbone en comparación con las pérdidas de entropía cruzada.

Perspectiva Clave: La vía discreta sirve principalmente como un "puente de gradiente" en tiempo de entrenamiento para moldear el backbone, mientras que la vía continua sirve como la interfaz en tiempo de despliegue.

3. Tokenizador de Acciones RVQ Alineado con la Visión

Para reemplazar los tokenizadores basados en reglas (como FAST), los autores introducen un tokenizador de Cuantización Vectorial Residual (RVQ) Alineado con la Visión aprendido. Este comprime secuencias de acciones delta condicionadas por la observación en tokens discretos. A diferencia de los compresores estándar, se entrena con objetivos auxiliares:

• Alineación Visión-Acción: Atrae los latentes de acción hacia las características visuales del VLM.
• Predicción del Siguiente Cuadro (Next-Frame Prediction): Incentiva a los tokens a codificar las consecuencias de la acción.
• Reconstrucción en el Dominio DCT: Suprime el jitter de alta frecuencia.
  Esto asegura que los tokens discretos sean semánticamente significativos para el backbone del VLM.

4. Supervisión del Espacio de Acción

Para el objetivo de ajuste de flujo, los autores proponen la Supervisión del Espacio de Acción. En lugar de minimizar la pérdida en el campo de velocidad (estándar en el ajuste de flujo), la pérdida se define en la acción recuperada misma. Esta formulación pondera efectivamente la pérdida por $(1-\tau)^2$, enfatizando los pasos de tiempo de alto ruido donde se forma la estructura global de la trayectoria. Esto se alinea con la estructura espectral de las acciones robóticas, que concentran la estructura útil de la tarea en tendencias de baja frecuencia.

5. Datos e Inferencia

• Datos: El modelo es preentrenado en una mezcla de >1 millón de trayectorias robóticas por época (de más de 20 embodiments) y un corpus multimodal de 90 millones de muestras. El corpus incluye muestras de "puente encarnado" (embodied bridge) sintetizadas a partir de trayectorias de acción para vincular directamente la comprensión multimodal con el comportamiento ejecutable.
• Inferencia: Un stack de inferencia de grado de despliegue utilizando CUDA Graphs y kernels fusionados logra una aceleración de 4× sobre el modo eager de PyTorch, manteniendo un control de 15 Hz a alta resolución.

Resultados Clave

Rendimiento Zero-Shot en Robot Real

Evaluado en una suite de 17 tareas de robot real (incluyendo tareas deformables no vistas previamente) sin ningún ajuste fino específico de la tarea, el Wall-OSS-0.5 preentrenado logra un comportamiento no trivial:

• Clasificación de Bloques (Block Sorting): 100% de progreso de la tarea.
• Clasificación de Frutas (Fruit Sorting): 96%.
• Apilamiento de Anillos (Ring Stacking): 86%.
• Tensado de Cuerda (Rope Tightening - Deformable no vista): 82%.
  El modelo demuestra que el preentrenamiento por sí solo genera capacidades de manipulación reutilizables, particularmente para tareas dominadas por el anclaje semántico.

Rendimiento de Ajuste Fino (Fine-Tuning)

Tras el ajuste fino en 15 tareas de robot real:

• Wall-OSS-0.5 logra un 60.5% de progreso promedio de la tarea.
• Supera a $\pi_{0.5}$ por un 17.5% (60.5% vs 43.0%) y a DreamZero por un 27.1%.
• Lidera en 10 de las 15 tareas, mostrando ganancias significativas en manipulación (61.1% vs 35.0% para $\pi_{0.5}$).

Comprensión Multimodal

El co-entrenamiento no erosiona la competencia general de lenguaje-visión. Aunque el rendimiento general de VQA retrocede ligeramente (un compromiso por la especialización), el anclaje encarnado (embodied grounding) mejora significamente:

• Anclaje Encarnado: Ganancia de +21.8%.
• Where2Place: Ganancia de +11.0%.
  Esto confirma que el modelo fortalece la percepción encarnada sin perder sus capacidades fundacionales de VLM.

Estudios de Ablación

• Co-entrenamiento vs. Alternativas: La estrategia completa de co-entrenamiento con puente de gradiente supera a los enfoques de "solo flujo", "detención de gradiente" (stop-gradient) y "dos etapas" por entre 7.4 y 25.1 puntos porcentuales en tareas de robot real.
• Pérdida de Espacio de Acción: Mejora la velocidad de convergencia y el rendimiento máximo (96.5% de tasa de éxito) en comparación con la pérdida de espacio de velocidad en simulación.
• Tokenizador RVQ: Supera a los tokenizadores FAST tanto en precisión de VQA (+1.8%) como en progreso de la tarea (+18.9%).

Significado y Reivindicaciones

El artículo afirma reposicionar el preentrenamiento de VLA de una mera estrategia de inicialización a una fuente de capacidad robótica directamente testeable y ya útil.

1. El Preentrenamiento Genera Comportamiento Ejecutable: Los resultados demuestan que el preentrenamiento de VLA a gran escala por sí solo puede producir un comportamiento zero-shot medible y de alto progreso en robots físicos, desafiando la noción de que el preentrenamiento es solo útil para el ajuste fino posterior.
2. El Puente de Gradiente es Decisivo: Los autores argumentan que los tokens de acción discretos no son solo un artefacto de despliegue, sino un mecanismo de entrenamiento crítico. Proporcionan la señal de gradiente fuerte necesaria para moldear el backbone del VLM hacia el control, un rol que el ajuste de flujo continuo por sí solo no puede cumplir eficazmente.
3. Arquitectura Unificada: Al utilizar una arquitectura MoT con atención compartida, Wall-OSS-0.5 integra con éxito la generación de acciones sin cortar el flujo de gradiente hacia el backbone del VLM, permitiendo que el modelo aprenda características relevantes para el control mientras retiene la comprensión semántica.
4. Benchmark de Código Abierto: Al lanzar un modelo de 4B que funciona de forma nativa, los autores proporcionan una nueva línea base para evaluar la "capacidad preentrenada" en lugar de solo la "capacidad de ajuste fino".

Los autores conclizan que un preentrenamiento de VLA suficientemente a gran escala puede producir comportamiento robótico en el mundo real, y que el checkpoint resultante sirve como un prior sustancialmente más fuerte para la adaptación descendente que los enfoques anteriores.