Resumen Técnico: Los subespacios de primitivas median la transferencia de pocos disparos en los VLA

Planteamiento del problema

El despliegue de políticas de Visión-Lenguaje-Acción (VLA) en entornos industriales se ve actualmente obstaculizado por los altos costes de reentrenamiento. La receta de despliegue estándar implica la recopilación de demostraciones específicas de la tarea y el ajuste fino (fine-tuning) del VLA para cada nueva tarea o variante de producto. Este enfoque escala linealmente con el coste de recopilación y requiere una infraestructura significativa, lo que lo hace impracticable en contextos con cambios continuos de procesos. El artículo investiga si los VLA pueden adquirir nuevas tareas en el tiempo de prueba, condicionados a un pequeño número de demostraciones, sin realizar actualizaciones de pesos. Específicamente, los autores hipotetizan que la estructura de los datos de entrenamiento es importante: conjeturan que los VLA entrenados con supervisión explícita a nivel de primitiva aprenden representaciones más composicionales que aquellos entrenados en trayectorias de tareas planas, lo que permite una mejor transferencia de pocos disparos (few-shot transfer).

Metodología

Diseño Experimental

Los autores llevaron a cabo un experimento controlado utilizando un diseño $2 \times 2$ cruzado con dos arquitecturas de VLA distintas:

1. OpenVLA: Un modelo autorregresivo de 7 mil millones de parámetros basado en Llama-2.
2. $\pi_0.5$: Una política de coincidencia de flujo (flow-matching) con fragmentos de acción (action chunks) de 16 pasos basada en PaliGemma.

Ambas arquitecturas fueron ajustadas mediante recetas de LoRA emparejadas (rango 32, $\alpha=64$, tasa de aprendizaje $5 \times 10^{-5}$) y manteniendo constantes los hiperparámetros a través de tres semillas de entrenamiento. La única variable fue la vista de los datos de entrenamiento:

• Entrenamiento Plano (Flat Training): Los episodios eran pares de tareas contiguas (por ejemplo, "recoger e insertar") con prompts de lenguaje de alto nivel.
• Entrenamiento de Primitivas (Primitive Training): Los episodios se segmentaron en acciones primitivas individuales (por ejemplo, "recoger" o "insertar") con prompts de lenguaje específicos para cada primitiva.

Conjuntos de Datos y Evaluación

• Conjunto de Datos Primario: REASSEMBLE, un conjunto de datos de ensamblaje industrial rico en contactos basado en el benchmark NIST Assembly Task Board 1.
• Conjunto de Datos de Replicación: LIBERO-Long, un benchmark de manipulación doméstica con estructuras de tareas de múltiples pasos.
• Tareas Excluidas (Held-Out Tasks): Se excluyeron por completo del entrenamiento seis combinaciones específicas de (objeto, secuencia de tareas). Estas tareas variaban por objeto (objetos con primitivas vistas en el entrenamiento pero en nuevas combinaciones), secuencia de tareas (primitivas en nuevos ordenamientos) y distancia composicional. También se probó una categoría fuera del vocabulario (que requería un tipo de primitiva ausente en el entrenamiento).
• Protocolo de Pocos Disparos (Few-Shot Protocol): En el tiempo de prueba, los modelos recibieron una descripción de tarea de alto nivel y $m \in \{0, 1, 3, 5, 10\}$ episodios de demostración. Las demostraciones se codificaron mediante características del codificador de visión y se antepusieron al prompt de lenguaje. Los modelos ejecutaron acciones sin actualizaciones de pesos.

Intervención Causal

Para establecer la causalidad, los autores emplearon una ablación de subespacio:

1. Sondeo Lineal (Linear Probing): Entrenaron sondas lineales en los estados ocultos para identificar direcciones que codifican la identidad de la primitiva.
2. Ablación: En el tiempo de inferencia, proyectaron los estados ocultos sobre el complemento ortogonal del subespacio identificable de la primitiva (capa 24), eliminando efectivamente la información de la primitiva.
3. Control: Se abló un subespacio aleatorio de igual dimensionalidad para asegurar que el efecto fuera específico de las representaciones de la primitiva.

Corrección Metodológica

Los autores identificaron un artefacto de "inflación de familia" al evaluar políticas con fragmentos (chunked policies). Aplicar puertas de rango de acción de un solo paso elemento a elemento en fragmentos de 16 pasos producía tasas de falso fallo del 40–42% frente a las demostraciones humanas de referencia. Propusieron e implementaron una puerta de nivel de elemento corregida y calibrada contra las distribuciones de fragmentos de referencia para garantizar una evaluación justa.

Resultados Clave

Eficiencia de la Transferencia de Pocos Disparos

Los modelos entrenados con primitivas demostraron una ventaja significativa en la eficiencia de muestreo sobre los modelos entrenados de forma plana:

• Brecha de Rendimiento: Con $m=3$ demostraciones, los modelos entrenados con primitivas alcanzaron tasas de éxito de 0.62–0.66, mientras que los modelos entrenados de forma plana alcanzaron solo 0.31–0.34 (una ventaja de $\approx 2\times$).
• Saturación: Los modelos entrenados con primitivas saturaron en $m=5$, alcanzando el 78% del límite superior de ajuste fino completo. Los modelos entrenados de forma plana requirieron $m=10$ para alcanzar el mismo nivel de rendimiento, indicando una brecha de eficiencia de muestreo de $3\times$.
• Robustez: Esta ventaja se replicó en ambas arquitecturas (OpenVLA y $\pi_0.5$), en tres semillas de entrenamiento y en la replicación de conjunto de datos cruzado en LIBERO-Long.

Evidencia Causal

La intervención de ablación de subespacio confirmó la necesidad de las representaciones de las primitivas:

• La ablación del subespacio decodificable de la primitiva causó una caída de 32 puntos porcentuales en el éxito de pocos disparos (por ejemplo, de 0.62 a 0.30 para OpenVLA).
• La ablación de un subespacio aleatorio de igual dimensionalidad tuvo un efecto insignificante (dentro del ruido de muestreo), confirmando que la representación decodificable de la primitiva es causalmente necesaria para la transferencia, no meramente correlacionada.

Comparaciones con Baselines

La transferencia de pocos disparos consciente de las primitivas superó significativamente a varios baselines en $m=3$:

• Secuenciación de primitivas zero-shot: +35 puntos porcentuales.
• Baseline condicionado por demostración estilo Octo: +21 a 22 puntos porcentuales.
• Diffusion Policy: Fue superado por un margen significativo.

Limitaciones y Modos de Fallo

El artículo señala que el entrenamiento consciente de las primitivas no mejora universalmente el rendimiento. En tareas que requieren primitivas fuera del vocabulario (por ejemplo, una acción de "rotar para enganchar" no presente en el vocabulario de entrenamiento), los modelos entrenados con primitivas tuvieron un rendimiento inferior a los modelos entrenados de forma plana. Los autores hipotetizan que los modelos entrenados con primitivas intentan mapear las nuevas demostraciones a la primitiva conocida más cercana, mientras que los modelos entrenados de forma plana pueden aprender el nuevo comportamiento de manera más flexible.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera comparación controlada que demuestra que el entrenamiento consciente de las primitivas produce un artefacto transferible: una biblioteca de sub-habilidades que pueden componerse en el tiempo de inferencia.

• Mecanismo: Los autores establecen que la supervisión explícita de las primitivas durante el entrenamiento desvincula las representaciones de las sub-habilidades de los contextos de las tareas, creando un "subespacio decodificable de la primitiva" en los estados ocultos que es causalmente necesario para la transferencia de pocos disparos.
• Impacto Práctico: Para el despliegue industrial, los resultados sugieren que entrenar con segmentación de primitivas permite que un VLA recupere $\sim 90\%$ del rendimiento de un ajuste fino completo con solo 5 demostraciones, reduizando drásticamente el coste y el tiempo de inactividad asociados con el reentrenamiento para nuevas variantes de tareas.
• Alcance: Los hallazgos son modestos respecto a la generalización; la ventaja se mantiene para tareas que recombinan tipos de primitivas conocidos, pero se revierte cuando las tareas requieren primitivas fundamentalmente nuevas ausentes del vocabulario de entrenamiento. Los resultados están actualmente limitados a simulación (REASSEMBLE y LIBERO-Long) y a dos arquitecturas específicas.