Resumen Técnico: ¿Cuándo importa el lenguaje? Las instrucciones multilingües revelan la sensibilidad lingüística paso a paso en los modelos de Visión-Lenguaje-Acción

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado un sólido rendimiento en la manipulación robótica condicionada por el lenguaje, mapeando observaciones visuales e instrucciones de lenguaje natural a secuencias de acciones. Sin embargo, su robustez ante la variación lingüística aún se comprende poco. Mientras que la robustez multilingüe ha sido explorada en modelos de lenguaje y de visión-lenguaje, los modelos VLA enfrentan desafíos únicos: generan flujos de acciones continuas en un entorno de bucle cerrado donde los errores inducidos por el lenguaje pueden acumularse con el tiempo, impactando irreversiblemente la ejecución de largo alcance.

Los sistemas VLA actuales suelen asumir instrucciones exclusivamente en inglés. Cuando se traducen a lenguajes no ingleses, estos modelos exhiben una degradación severa del rendimiento. Los enfoques existentes para mitigar esto, como la alineación translingüística uniforme (por ejemplo, CLAIM), asumen que los cambios de lenguaje se distribuyen de manera uniforme en los pasos de ejecución. Este artículo desafía esa suposición, postulando que la influencia del lenguaje es altamente no uniforme en el tiempo, y que tratar la robustez multilingüe como un problema de alineación estático y global es insuficiente para los agentes encarnados.

Metodología

1. Evaluación Multilingüe Sistemática

Los autores tradujeron el benchmark LIBERO a diez idiomas (inglés, chino, japonés, coreano, francés, español, árabe, tailandés, portugués y vietnamita) para realizar la primera evaluación multilingüe sistemática de los modelos VLA. Evaluaron dos arquitecturas distintas: OpenVLA-OFT y $\pi0.5$.

2. Análisis de Sensibilidad Lingüística Paso a Paso

Para entender dónde y por qué ocurren las fallas, los autores introdujeron un marco de análisis paso a paso:

• Medición de la Desviación: Midieron la distancia de coseno entre las representaciones ocultas generadas por instrucciones en lenguas no inglesas frente a instrucciones en inglés en cada paso de ejecución.
• Sensibilidad Basada en Gradientes: Para identificar pasos críticos para el lenguaje sin requerir referencias en inglés durante la inferencia, calcularon la relación de gradiente texto-imagen. Al calcular los gradientes de la acción predicha con respecto a los tokens de lenguaje ($g_{lang}$) y los tokens visuales ($g_{vis}$), derivaron una puntuación de sensibilidad $r_t = g_{lang} / (g_{vis} + \epsilon)$.
• Hallazgo: Los pasos con altas relaciones de gradiente (alta dependencia del lenguaje) se correlacionaron fuertemente con los pasos que exhibían grandes desviaciones de las representaciones en inglés. Esto confirmó que la influencia del lenguaje está localizada temporalmente, con "puntos calientes" específicos que impulsan el fallo de la tarea.

3. Intervención en el Tiempo de Inferencia Paso a Paso

Basándose en el análisis de sensibilidad, los autores propusieron una estrategia de alineación paso a paso que opera en el tiempo de inferencia sin reentrenamiento:

• Fase Offline: Construcción de un conjunto de referencia de representaciones ocultas de trayectorias de entrenamiento en inglés, indexadas por sus puntuaciones de sensibilidad de lenguaje precalculadas.
• Fase Online:
  1. Recuperación: Para un paso dado en un idioma no inglés, recuperar los $K$ vecinos más cercanos de las representaciones de referencia en inglés basados en la similitud de coseno.
  2. Puerta (Gating): Determinar si el paso actual es crítico para el lenguaje verificando si la proporción de vecinos recuperados que pertenecen a los pasos más sensibles supera un umbral $\tau$.
  3. Alineación: Si el paso es crítico, calcular un promedio ponderado por similitud de las referencias en inglés recuperadas y actualizar la representación oculta actual: $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$.
  4. Ejecución: Pasar la representación alineada a las capas subsiguientes para generar la acción.

4. Entrenamiento Eficiente en Datos

Los autores también exploraron el uso de la sensibilidad paso a paso para guiar el ajuste fino (fine-tuning). En lugar de actualizar todos los pasos, restringieron las actualizaciones de parámetros a los pasos identificados como críticos para el lenguaje, comparándolo contra el ajuste fino completo y la selección aleatoria de pasos.

Resultados Clave

Degradación del Rendimiento Multilingüe

Sin intervención, los modelos VLA sufren caídas significativas de rendimiento bajo instrucciones en idiomas distintos al inglés. Las tasas de éxito cayeron entre un 30% y un 50% en comparación con el inglés en diversas tareas (Espacial, Objeto, Meta, Largo). Por ejemplo, en la tarea "Meta" (Goal), la tasa de éxito de OpenVLA-OFT cayó de un 97.9% (inglés) a tan solo un 6.4% (árabe).

Efectividad de la Intervención Paso a Paso

• En el Tiempo de Inferencia: La alineación propuesta paso a paso superó significativamente a los baselines. Para OpenVLA-OFT, las tasas de éxito promedio mejoraron de ~51.7% (Baseline) a 68.8% (Desplazamiento paso a paso) en diversos idiomas no ingleses. Para $\pi0.5$, las tasas mejoraron de ~56.7% a 80.3%.
• Comparación: La alineación uniforme (Desplazamiento promedio) produjo resultados inestables y en ocasiones degradó el rendimiento. El Chain-of-Thought en inglés (EN-CoT) proporcionó ganancias limitadas e inconsistentes, resaltando la dificultad de aplicar prompts de razonamiento a políticas generadoras de acciones.
• Visualización: Las distribuciones de las representaciones ocultas mostraron que la alineación paso a paso desplazó eficazmente las representaciones no inglesas hacia la referencia en inglés, pero solo en los pasos críticos.

Eficiencia de Entrenamiento

Al aplicarse al ajuste fino, restringir las actualizaciones a los pasos críticos para el lenguaje (50% de los pasos) logró un rendimiento comparable al ajuste fino completo (85.5% vs. 86.8% de éxito promedio en OpenVLA-OFT) requiriendo menos actualizaciones. La selección aleatoria de pasos funcionó significativamente peor (44.9%), confirmando que los pasos identificados capturan dependencias significativas entre lenguaje y acción.

Análisis de Fallos

El análisis de 100 casos de falla reveló que la degradación multilingüe es impulsada principalmente por errores en la vinculación instrucción-visual (instruction-to-visual grounding).

• El 53% de las fallas ocurrieron en la primitiva de Navegación (identificación del lugar o receptáculo objetivo).
• El 18% ocurrió en Agarre (Grasp).
• Los fallos fueron menos frecuentes en primitivas de etapas posteriores como Colocar, Abrir/Cerrar o Empujar.
  Esto indica que los pasos críticos para el lenguaje están estrechamente ligados a la selección semántica del objetivo más que al control motor de bajo nivel.

Significado y Reivindicaciones

El artículo afirma que la robustez lingüística en los modelos VLA es fundamentalmente un problema de control paso a paso más que un problema de alineación de representación global.

1. Estructura Temporal: Los autores demuestran que la influencia del lenguaje es altamente no uniforme; ciertos pasos dominan el fallo total de la tarea mientras que otros son mayormente agnósticos al lenguaje.
2. Intervención Dirigida: La alineación uniforme es insuficiente y potencialmente perjudicial. Es necesaria una intervención selectiva en los pasos sensibles al lenguaje para mejorar la robustez sin introducir ruido en los pasos agnósticos al lenguaje.
3. Eficiencia: El análisis de sensibilidad paso a paso permite tanto la corrección efectiva en el tiempo de inferencia como un entrenamiento eficiente en datos, permitiendo a los modelos recuperar ganancias de rendimiento con menos actualizaciones.
4. Implicación Amplia: El trabajo destaca la necesidad de análisis e intervención estructurados temporalmente en futuros sistemas de agentes encarnados, yendo más allá de las visiones estáticas y holísticas de la robustez del lenguaje.

Los autores señalan limitaciones, reconociendo que los experimentos se realizaron en simulación y que la transferencia de estos hallazgos a sistemas robóticos del mundo real con ruido y la incertidumbre adicionales sigue siendo una pregunta abierta. También sugieren que a medida que las arquitecturas VLA evolucionen, la naturaleza de la sensibilidad paso a paso puede cambiar, requiriendo la adaptación futura de estas estrategias.