Resumen Técnico: Más allá del inglés: Descubriendo la brecha multilingüe en los modelos de Visión-Lenguaje-Acción

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han surgido como un paradigma prometedor para el desarrollo de políticas robóticas generalistas mediante la integración de la percepción visual, la comprensión del lenguaje natural y la generación de acciones. Sin embargo, existe una limitación crítica en los sistemas VLA actuales: están predominantemente entrenados y evaluados utilizando instrucciones en inglés. Aunque los Grandes Modelos de Lenguaje (LLM) y los Modelos de Visión-Lenguaje (VLM) subyacentes poseen capacidades multilingües, no está claro si estas capacidades se transfieren eficazmente al espacio de generación de acciones durante el proceso de alineación.

El problema central abordado es la potencial "brecha multilingüe": la degradación en el rendimiento del robot cuando las instrucciones se proporcionan en otros idiomas además del inglés. Esta brecha plantea una barrera significativa para el despliegue en entornos reales donde los robots deben comprender diversas entradas lingüísticas. El artículo investiga si los VLA realmente retienen la comprensión multilingüe después de ser alineados con acciones robóticas y busca identificar las causas subyacentes de la degradación del rendimiento en entornos no ingleses.

Metodología

1. Marco de Evaluación Multilingüe

Los autores proponen un marco de evaluación sistemático que consta de tres etapas:

• Construcción de Conjuntos de Datos Multilingües: Los benchmarks de manipulación robótica existentes (LIBERO y SimplerEnv) fueron extendidos traduciendo las instrucciones en inglés a cuatro idiomas objetivo: chino (zh), francés (fr), ruso (ru) y árabe (ar). Se definieron dos configuraciones de interacción:
  • Instrucciones Multilingües: Traducciones directas que preservan la semántica original.
  • Instrucciones de Alternancia de Código (Code-Switching): Expresiones de lenguaje mixto donde se sustituyen verbos y sustantivos clave del inglés en el texto traducido, simulando escenarios comunes de comunicación multilingüe.
  • Se empleó un pipeline utilizando APIs de Traducción en la Nube (Cloud Translation APIs) y LLMs (para el Reconocimiento de Entidades Nombradas y la verificación de consistencia semántica mediante "LLM-as-a-Judge") para generar variantes de instrucciones de alta calidad.
• Adaptador de Evaluación Multilingüe: Se desarrolló un adaptador ligero para intercambiar sin problemas las entradas de lenguaje en el pipeline de evaluación sin modificar las arquitecturas del modelo o la lógica del entorno, asegurando una comparación justa entre idiomas.
• Protocolo de Evaluación: Las tasas de éxito de las tareas se midieron a través de diferentes idiomas. El rendimiento se cuantificó mediante el Rendimiento Relativo, calculado como la diferencia entre la tasa de éxito en un entorno multilingüe y el entorno original en inglés.

2. Configuración Experimental

• Modelos: Se evaluaron varios modelos VLA representativos, incluyendo $\pi_{0.5}$, OpenVLA-OFT, ABot-M0, Cosmos Policy, y varios modelos basados en Qwen-VL con diferentes diseños de cabezal de acción (OFT, FAST, $\pi$, GR00T).
• Benchmarks: Los experimentos se realizaron en los entornos de simulación LIBERO y SimplerEnv, cubriendo tareas como reordenamiento de objetos, uso de herramientas y manipulación espacial.

3. Solución Propuesta: Alineación de Componentes Principales Multilingües (MPCA)

Motivados por el hallazgo de que las instrucciones multilingües causan cambios en la representación, los autores proponen MPCA, un enfoque de ajuste fino (fine-tuning).

• Mecanismo: MPCA utiliza el Análisis de Componentes Principales (PCA) para identificar el subespacio del componente principal de los embeddings de lenguaje. Luego, alinea las representaciones multilingües proyectadas a este subespacio.
• Objetivo: Reducir el cambio de distribución entre las representaciones de las instrucciones en inglés y en otros idiomas, mejorando así la capacidad del modelo para generalizar a través de los lenguajes.

Hallazgos Clave y Resultados

1. Existencia de una Brecha Multilingüe Significativa

Los experimentos revelaron una caída sustancial en el rendimiento de los modelos entrenados principalmente en inglés cuando se evalúan con instrucciones en otros idiomas.

• Dependencia del Modelo Base: Los modelos basados en VLMs centrados en el inglés (por ejemplo, PaliGemma, Prismatic) mostraron una degradación severa, rindiendo a menudo de manera similar a los modelos sin instrucciones. En contraste, los modelos basados en VLMs multilingües (por ejemplo, Qwen-VL) demostraron una mejor generalización, particularmente para el chino, aunque persistieron brechas para otros idiomas.
• Amplificación del Contexto Visual: La brecha fue más pronunciada en entornos con entradas visuales similares (por ejemplo, LIBERO-Goal), lo que sugiere que la comprensión del lenguaje se convierte en el diferenciador crítico cuando las pistas visuales son ambiguas.

2. Impacto de la Estructura de la Instrucción y los Cabezales de Acción

• Importancia de las Palabras Clave: Las instrucciones de alternancia de código (que contienen palabras clave en inglés) resultaron en caídas de rendimiento menores en comparación con las instrucciones totalmente traducidas. Esto indica que los verbos y sustantivos clave son cruciales para la comprensión de los VLA.
• Diseño del Cabezal de Acción: La arquitectura del cabezal de acción influye significativamente en la robustez multilingüe.
  • Cabezales basados en Difusión (estilo GR00T, estilo $\pi$): Mantuvieron un mejor rendimiento, probablemente porque retienen la información semántica del VLM base y se adaptan mejor a los cambios de distribución.
  • Cabezales basados en Tokens (estilo FAST): Mostraron un peor rendimiento, potencialmente debido a la pérdida de información semántica durante la tokenización.
  • Cabezales basados en MLP (estilo OFT): Mostraron un rendimiento intermedio, teniendo dificultades para adaptarse al cambio de distribución causado por las entradas multilingües.

3. Causa Raíz: Cambio de Representación

El análisis de representación (visualizando los embeddings agrupados) confirmó que la brecha multilingüe surge de los cambios de representación.

• En modelos con bajo rendimiento multilingüe, los embeddings para instrucciones en otros idiomas estaban muy alejados de los embeddings en inglés en el espacio latente.
• En modelos con mejor rendimiento (por ejemplo, Qwen3-VL-$\pi$), los embeddings en inglés y chino estaban estrechamente alineados, lo que correlaciona con una mejor generalización.
• Los modos de fallo se categorizaron en: (1) Malentendido de la Instrucción (generación de acciones completamente erróneas debido a la confusión de lenguaje) y (2) Fallo de Ejecución (comprensión de la intención pero fallo en la generación de la secuencia de acción correcta).

4. Efectividad de MPCA

La estrategia MPCA propuesta redujo eficazmente la brecha de rendimiento multilingüe. Al alinear las representaciones multilingües con el subespacio del componente principal, MPCA mejoró las tasas de éxito de las tareas en entornos no ingleses, demostrando su potencial como una solución práctica para mejorar la robustez multilingüe.

Significado y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Primer Estudio Sistemático: Presenta la primera investigación exhaustiva sobre el seguimiento de instrucciones multilingües en modelos VLA, yendo más allá de la suposición de "solo inglés" prevalente en la investigación actual.
2. Marco y Benchmark: Introduce un marco de evaluación multilingüe y extensiones de conjuntos de datos para LIBERO y SimplerEnv, permitiendo comparaciones controladas entre idiomas y configuraciones de interacción.
3. Perspectivas Empíricas: Revela una brecha multilingüe significativa en los sistemas actuales y proporciona un análisis detallado sobre cómo las capacidades del modelo base, los diseños de los cabezales de acción y las estructuras de las instrucciones influyen en esta brecha.
4. Solución Práctica: Propone MPCA, un método de ajuste fino simple pero efectivo que aprovecha la alineación de representaciones para mitigar la brecha multilingüe, ofreciendo un camino hacia agentes incorporados (embodied agents) más robustos y globalmente desplegables.

Los autores concluyen que, si bien los VLA son prometedores, sus capacidades multilingües están actualmente subdesarrolladas y requieren intervenciones arquitectónicas y de entrenamiento específicas para igualar el rendimiento de sus contrapartes en inglés.