Resumen Técnico: Repensar la Representación de VLM para la Inicialización de VLA

Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) suelen inicializar sus backbones de política a partir de Modelos Visión-Lenguaje (VLM) preentrenados para heredar representaciones visuales-lingüísticas. Sin embargo, sigue sin estar claro qué características específicas de una representación de VLM preentrenada constituyen una inicialización efectiva para tareas VLA. Aunque trabajos recientes han explorado backbones más potentes y módulos de acción, la elección de la inicialización a menudo se trata como un paso predeterminado en lugar de una variable de diseño controlada. Este artículo aborda la pregunta fundamental: ¿Qué tipo de representación de VLM preentrenada constituye una inicialización útil para VLA?

Los autores argumentan que simplemente adoptar un VLM más potente o aplicar una adaptación corporal amplia no garantiza mejores políticas de acción. En cambio, plantean la inicialización de VLA como un problema de diseño de representación controlado que debe equilibrar la inyección de señales relevantes para la acción con la preservación del conocimiento VLM original y transferible.

Metodología

El estudio investiga la inicialización de VLA a lo largo de tres ejes principales utilizando una tubería de entrenamiento en dos etapas:

1. Etapa 1 (Moldeado de Representación): Adaptación de un VLM base con datos de Visual Question Answering (VQA) corporal o datos de trayectorias de robots.
2. Etapa 2 (Aprendizaje de Acción): Inicialización de una política VLA desde el punto de control de la Etapa 1 y su entrenamiento en trayectorias de acción.

Los tres ejes de investigación son:

1. Dominios de VQA Corporal a Nivel de Capacidad

Los autores organizan los datos de VQA corporal en siete dominios orientados a capacidades para probar qué señales se transfieren positivamente al aprendizaje de acción:

• Espacial: Relaciones relativas/absolutas, orientación, distancia.
• Anclaje (Grounding): Referencia espacial, localización de objetos/regiones.
• Planificación y Razonamiento: Descomposición de objetivos, precondiciones, ordenamiento de pasos.
• Predicción de Cámara: Estimación de intrínsecas/extrínsecas/cambios de punto de vista.
• Comprensión Egocéntrica: Posición de la mano/grippers, objetos sostenidos, alcanzabilidad.
• Comprensión Temporal: Ordenamiento de acciones, límites de eventos, causalidad.
• Predicción del Siguiente Token de Acción (Action-NTP): Tratamiento de las trayectorias de acción como tokens de lenguaje.

Evalúan la adaptación de dominio único, composiciones por pares y composiciones de múltiples dominios.

2. Estrategia de Actualización de Parámetros

El artículo compara dos estrategias para la adaptación de la Etapa 1 para analizar la compensación entre especialización y preservación:

• Ajuste Fino Completo (Full FT): Actualiza todos los parámetros, remodelando agresivamente la representación.
• LoRA (Adaptación de Bajo Rango): Actualiza solo un pequeño conjunto de parámetros de adaptador, preservando la mayoría de los pesos originales del VLM y limitando la deriva de la representación.

3. Preentrenamiento con Datos de Robots

El estudio examina el papel de la supervisión del lado de la acción utilizando datos de trayectorias de robots (AgiBot-World-Beta) como señal de preentrenamiento. Comparan:

• Preentrenamiento solo con datos de robots.
• Preentrenamiento conjunto con datos de robots y VQA.
• Preentrenamiento escalonado (adaptación de VQA seguida de preentrenamiento con datos de robots).

Configuración Experimental

• Modelos Base: Qwen3-VL-4B (principal), Qwen3-VL-2B y PaliGemma2-3B.
• Arquitecturas: Estilo OpenVLA-OFT (cabeza MLP) y estilo $\pi_0$ (Experto de Difusión).
• Benchmarks: Libero-10 (mesa de largo alcance), SimplerBridge (real-a-simulación) y RoboCasa GR1 Tabletop (humanoide de alta dimensión).
• Métricas: Tasa de éxito media sobre tres semillas de evaluación.

Resultados Clave

1. El Papel Crítico de las Representaciones Preentrenadas

Entrenar políticas VLA desde cero resulta en una caída de rendimiento de más del 20% en todos los benchmarks en comparación con la inicialización desde un VLM preentrenado. Esto confirma que la representación original del VLM preentrenado es una fuente principal del rendimiento de la acción.

2. Utilidad Condicional del VQA Corporal

La adaptación de VQA corporal no produce ganancias uniformes; su efectividad depende del cuello de botella aguas abajo y de la capacidad específica inyectada:

• Dependencia del Benchmark: En Libero-10, la mayoría de los dominios mejoran el rendimiento. En SimplerBridge (real-a-simulación), la mayoría de los dominios degradan el rendimiento en relación con la línea base, mostrando solo Anclaje (Grounding) ganancias leves bajo el Experto de Difusión.
• Especificidad de la Capacidad: Anclaje (Grounding), Comprensión Egocéntrica y Action-NTP proporcionan las señales de transferencia más robustas. Otros dominios (por ejemplo, Espacial, Planificación y Razonamiento) muestran transferencia inconsistente o negativa dependiendo del benchmark.
• No Aditividad: Combinar dominios no es simplemente aditivo. La mejora más fuerte proviene de la composición por pares {Anclaje + Comprensión Egocéntrica}. Añadir más dominios (por ejemplo, una composición uniforme de 7 dominios) a menudo conduce a saturación o caídas de rendimiento, lo que sugiere que una cobertura más amplia puede diluir la supervisión útil o introducir interferencias.

3. Preservación vs. Especialización (LoRA vs. Full FT)

• Superioridad de LoRA: LoRA proporciona consistentemente una inicialización VLA más fuerte que el Ajuste Fino Completo. Full FT a menudo cae por debajo de la línea base, lo que indica que remodelar agresivamente la representación para tareas de VQA puede sobrescribir información útil para el aprendizaje de acción aguas abajo.
• Fuerza del Modelo Base: La ventaja de LoRA es más pronunciada con VLM base más fuertes. A medida que el modelo base se debilita (por ejemplo, de Qwen3-VL-4B a PaliGemma2-3B), las ganancias de LoRA disminuyen y la degradación de Full FT se vuelve más severa. Esto sugiere que la adaptación basada en adaptadores es más efectiva cuando existe una representación preentrenada de alta calidad que preservar.

4. Preentrenamiento con Datos de Robots y Adaptación Escalonada

• Señales del Lado de la Acción: El preentrenamiento con datos de robots mejora la inicialización, pero su interacción con la supervisión de VQA es compleja.
• Competencia en el Entrenamiento Conjunto: Entrenar conjuntamente en datos de robots y VQA usando LoRA puede resultar en un rendimiento inferior al entrenamiento solo con datos de robots, probablemente debido a la competencia de objetivos dentro de la capacidad limitada del adaptador.
• Enfoque Escalonado: El mejor rendimiento se logra mediante una ruta escalonada: primero adaptar el VLM con VQA de {Anclaje + Comprensión Egocéntrica}, luego continuar con preentrenamiento basado en LoRA con datos de robots. Este enfoque alcanza las tasas de éxito más altas (55.2% en RoboCasa), lo que sugiere que la inyección secuencial de señales mitiga la competencia mientras preserva la representación central del VLM.

Significado y Afirmaciones

El artículo replantea la inicialización de VLA desde una selección predeterminada de backbone o un paso de escalado de datos hacia un problema de diseño de representación controlado. Los autores afirman que sus hallazgos proporcionan orientación práctica para construir inicializaciones VLA efectivas:

1. Inyección de Señales: Una inicialización efectiva requiere inyectar señales relevantes para la acción (específicamente Anclaje y Comprensión Egocéntrica) que se alineen con el cuello de botella aguas abajo.
2. Preservación de la Representación: Es crucial preservar la representación del VLM preentrenado que sigue siendo útil para el aprendizaje de acción. Remodelar en exceso la representación mediante Ajuste Fino Completo es perjudicial.
3. Estrategia de Adaptación: Las actualizaciones de adaptador restringidas (LoRA) son superiores a las actualizaciones de parámetros completos para equilibrar la especialización con la preservación.
4. Entrenamiento Escalonado: Una tubería de entrenamiento escalonada (adaptación de VQA seguida de preentrenamiento con datos de robots) es más efectiva que el entrenamiento conjunto, ya que evita la competencia de señales y aprovecha las fortalezas tanto de la supervisión del lado de la percepción como del lado de la acción.

Los autores concluyen que estas ideas ofrecen una comprensión matizada del espacio de diseño para la inicialización de VLA, superando la suposición de que "más datos corporales" o "backbones más fuertes" conducen automáticamente a mejores políticas.