Resumen Técnico: Ajuste Fino de VLA Generalizable mediante el Anclaje de Representaciones y la Alineación Lenguaje-Acción

1. Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han emergido como un enfoque estándar para la manipulación robótica, creados típicamente mediante el ajuste fino de un Modelo de Visión-Lenguaje (VLM) preentrenado en demostraciones robóticas vía Aprendizaje por Imitación (Behavior Cloning o BC). Si bien este enfoque transfiere los sesgos semánticos del VLM (comprensión de la disposición espacial, color, forma, etc.) a las políticas de control, el ajuste fino estándar de BC sufre de dos modos de fallo críticos que degradan la generalización:

1. Olvido Catastrófico de Representaciones: El BC estándar optimiza únicamente la pérdida de predicción de la acción. A lo largo del ajuste fino, las actualizaciones sobrescriben progresivamente los conceptos visuo-lingüísticos y espaciales adquiridos durante el preentrenamiento a escala de internet. En consecuencia, una política entrenada para recoger una "taza verde" puede fallar al intentar generalizar a una "taza rosa" en la misma escena, o fallar al adaptarse cuando las posiciones de los objetos se intercambian, debido a que el backbone ha perdido sus capacidades de razonamiento espacial y de color.
2. Desalineación Lenguaje-Acción: Los remedios comunes, como el co-entrenamiento en datos generales de imagen-texto de la web (por ejemplo, VQA, descripción de imágenes), aplican pérdidas de lenguaje y de acción a observaciones separadas. Esto deja al VLA con una supervisión disjunta: la cabeza de acción aprende de las demostraciones expertas mientras que la cabeza de lenguaje aprende de tareas genéricas. Debido a que nunca son supervisados sobre la misma observación robótica, sus predicciones pueden contradecirse (por ejemplo, la cabeza de acción se mueve hacia la "derecha" mientras la cabeza de lenguaje predice "izquierda"), una desalineación que los benchmarks estándar a menudo no logran exponer.

2. Metodología: Anchor-Align

Los autores proponen Anchor-Align, una receta de ajuste fino que aumenta el BC estándar con dos objetivos específicos para preservar las representaciones preentrenadas y alinear el lenguaje con la acción. El método no requiere datos adicionales, anotaciones ni cambios arquitectónicos más allá de la configuración estándar de un VLA.

2.1 Arquitectura Base

El método opera en arquitecturas VLA que utilizan un backbone VLM preentrenado con una cabeza de acción dedicada (que soporta tanto regresión como cabezas de acción de flow-matching). El backbone codifica las observaciones visuales y las instrucciones de lenguaje, mientras que un proyector de estado codifica la propiocepción del robot. La cabeza de acción predice fragmentos de acciones continuas basados en estas representaciones multimodales.

2.2 Anclaje Visión-Lenguaje

Para prevenir el olvido catastrófico, Anchor-Align introduce una pérdida de destilación que ancla el backbone entrenable del VLA a una copia congelada del VLM preentrenado original (el "VLM Ancla").

• Mecanismo: El VLM Ancla congelado procesa el mismo lote de entrada (imágenes y texto) en paralelo. En cada capa del decodificador $u$, los estados ocultos de los tokens de visión y texto en el backbone entrenable ($H^S_u$) se fuerzan a coincidir con los del ancla congelada ($H^A_u$).
• Función de Pérdida: La pérdida de anclaje es la norma de Frobenius al cuadrado de la diferencia entre estos estados ocultos, promediada sobre todas las capas del decodificador:
  $$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$$
  donde $m$ denota el conjunto de posiciones de los tokens de visión y texto. Esto actúa como un regularizador en el espacio de representación, preservando el sustrato semántico sin requerir restricciones en el espacio de pesos.

2.3 Alineación Lenguaje-Acción

Para resolver la desalineación entre lenguaje y acción, el método introduce un objetivo de supervisión conjunta donde ambas cabezas son entrenadas sobre la misma observación robótica.

• Mecanismo: Los objetivos de acción continuos de las demostraciones expertas se convierten programáticamente en etiquetas de dirección de movimiento discretas (por ejemplo, "arriba", "abajo", "izquierda", "derecha", "adelante", "atrás"). Esto se logra promediando los componentes de traslación de los fragmentos de acción, filtrando las muestras casi estacionarias y discretizando el eje dominante.
• Función de Pérdida: El modelo es entrenado para predecir esta etiqueta de dirección discreta utilizando la salida de la cabeza de lenguaje sobre la misma observación utilizada para la predicción de la acción. Específicamente, el último estado oculto del token de instrucción (que resume el prefijo visual y la instrucción) se proyecta a través de la cabeza de lenguaje preentrenada y congelada para generar logits sobre el vocabulario. La pérdida de alineación es la entropía cruzada entre estos logits y la etiqueta de dirección real:
  $$L_{align} = CE(\hat{a}_{lang}, a_{lang})$$
• Objetivo Total: La pérdida de entrenamiento final combina la pérdida de acción estándar de BC ($L_{action}$) con las pérdidas de anclaje y alineación:
  $$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$$

3. Contribuciones Clave

1. Identificación de Modos de Fallo Duales: El artículo identifica que el BC estándar causa deriva de representación (olvido) y que el co-entrenamiento falla al alinear el lenguaje y la acción sobre la misma observación, provocando predicciones contradictorias.
2. Marco de Trabajo Anchor-Align: Una novedosa receta de ajuste fino que combina el Anclaje Visión-Lenguaje (para preservar las representaciones preentrenadas mediante destilación) y la Alineación Lenguaje-Acción (para fundamentar las predicciones de lenguaje en los objetivos de acción sobre la misma observación).
3. Solución Eficiente en Datos: El método logra mejoras significativas sin requerir nuevos conjuntos de datos, anotaciones humanas o modificaciones arquitectónicas, basándose únicamente en los datos de demostración existentes y el VLM congelado.
4. el Herramienta de Diagnóstico: El marco de alineación proporciona una métrica directa para diagnosticar la desalineación lenguaje-acción en los VLA co-entrenados, demostrando que una mejor alineación correlaciona con un mayor éxito en las tareas.

4. Resultados Experimentales

4.1 Benchmarks de Simulación

El método fue evaluado en los benchmarks LIBERO-PRO, LIBERO-Plus y CALVIN utilizando dos arquitecturas VLA distintas (VLA-Adapter y StarVLA).

• LIBERO-PRO (Generalización OOD): Anchor-Align superó significativamente a todos los modelos de referencia, incluyendo los modelos co-entrenados. Notablemente, en la prueba de "Intercambio de Posición" (donde las ubicaciones de los objetos se reordenan), el BC estándar y los modelos de referencia co-entrenados obtuvieron cerca del 0% (reproduciendo trayectorias memorizadas), mientras que Anchor-Align alcanzó el 22.6%.
• LIBERO-Plus (Robustez Perceptual): Anchor-Align mejoró el rendimiento en los siete ejes de perturbación (vista de cámara, iluminación, fondo, etc.), con las mayores ganancias en textura de fondo (+8.9%) y ruido del sensor (+7.4%).
• CALVIN (Largo Horizonte): En el benchmark de largo horizonte ABC→D, Anchor-Align logró la tasa de éxito más alta para completar cadenas de cinco instrucciones (77.9% frente a 66.5% para OpenVLA-OFT), demostrando que preservar la semántica mejora la resistencia al error compuesto.

4.2 Experimentos en el Mundo Real

Los experimentos se realizaron con un robot xArm7 físico bajo condiciones desafiantes que incluyeron reordenamientos espaciales, escenas desordenadas y perturbaciones semánticas.

• Generalización: Anchor-Align mejoró las tasas de éxito en robots reales de 28% a 54% (VLA-Adapter) y de 37% a 60% (StarVLA) a través de perturbaciones espaciales y semánticas no vistas.
• Perturbación Semántica: En una prueba crítica donde una política entrenada para una "taza verde" recibió la instrucción de recoger una "taza rosa", el BC estándar falló el 90% de las veces (por defecto, iba a la taza verde), mientras que Anchor-Align tuvo éxito el 100% de las veces en recoger el objeto correcto.
• Análisis de Errores: El análisis de modos de fallo mostró que Anchor-Align casi eliminó los "Errores Semánticos" (de 7 a 0) y los acercamientos a "Objetos Incorrectos" (de 10 a 1) en comparación con el BC estándar.

4.3 Ablación y Análisis

• Necesidad de Ambos Términos: Los estudios de ablación confirmaron que tanto el Anclaje como la Alineación son necesarios; usar cualquiera de ellos por separado mejoró el rendimiento respecto al BC estándar, pero combinarlos produjo los mejores resultados.
• Alineación vs. Regularización: Los experimentos de control con etiquetas corruptas (mezcladas y dispersas) mostraron que las ganancias no se deben simplemente a efectos de regularización, sino que provienen de una genuina alineación lenguaje-acción.
• Correlación: Se encontró una fuerte correlación de Pearson positiva (+0.51) entre el grado de alineación lenguaje-acción y el éxito de la tarea, mientras que los modelos de referencia co-entrenados mostraron una correlación cercana a cero.
• Preservación de la Representación: Las pruebas de razonamiento visual (GQA) mostraron que, mientras el BC estándar perdió el 94% de su precisión de razonamiento durante el ajuste fino, Anchor-Align retuvo el 70%.

5. Significado y Reivindicaciones

El artículo sostiene que preservar las representaciones preentrenadas y el aprendizaje efectivo de la acción no son fundamentalmente opuestos. Al reformular el ajuste fino de VLA como un proceso de preservación y alineación de los sesgos del VLM preentrenado, en lugar de intercambiarlos por el control, Anchor-Align ofrece una receta simple y eficiente en datos para adaptar modelos fundacionales a tareas corporizadas.

Los autores enfatizan que su método:

• Resuelve el problema del "olvido catastrófico" inherente al BC estándar.
• Corrige el problema de "desalineación lenguaje-acción" inherente al co-entrenamiento.
• Demuestra que estas mejoras se mantienen a través de diferentes arquitecturas (regresión y flow-matching) y escalas (0.5B a 3B de parámetros).
• Proporciona un camino hacia modelos de mundo que retengan amplios sesgos espaciotemporales mientras permanecen controlables y semánticamente fundamentados.

El trabajo sugiere que el desarrollo futuro de los VLA debería centrarse en el anclaje de representaciones y la alineación de modalidades sobre la misma observación, en lugar de simplemente escalar la cantidad de datos o el tamaño del modelo.