Resumo Técnico: Além do Inglês: Revelando a Lacuna Multilíngue em Modelos de Visão-Linguagem-Ação

Declaração do Problema

Os modelos de Visão-Linguagem-Ação (VLA) emergiram como um paradigma promissor para o desenvolvimento de políticas robóticas generalistas ao integrar percepção visual, compreensão de linguagem natural e geração de ação. No entanto, uma limitação crítica existe nos sistemas VLA atuais: eles são predominantemente treinados e avaliados utilizando instruções em inglês. Embora os Grandes Modelos de Linguagem (LLMs) e Modelos de Visão-Linguagem (VLMs) subjacentes possuam frequentemente capacidades multilíngues, não está claro se essas capacidades se transferem efetivamente para o espaço de geração de ação durante o processo de alinhamento.

O problema central abordado é a potencial "lacuna multilíngue" — a degradação no desempenho do robô quando as instruções são fornecidas em outros idiomas além do inglês. Essa lacuna impõe uma barreira significativa para a implantação no mundo real em ambientes globais, onde os robôs devem compreender diversos inputs linguísticos. O artigo investiga se os VLAs realmente retêm a compreensão multilíngue após serem alinhados com ações robóticas e busca identificar as causas subjacentes da degradação de desempenho em configurações não inglesas.

Metodologia

1. Estrutura de Avaliação Multilíngue

Os autores propõem uma estrutura de avaliação sistemática consistindo em três estágios:

• Construção de Dataset Multilíngue: Benchmarks de manipulação robótica existentes (LIBERO e SimplerEnv) foram estendidos através da tradução de instruções em inglês para quatro idiomas alvo: chinês (zh), francês (fr), russo (ru) e árabe (ar). Dois cenários de interação foram definidos:
  • Instruções Multilíngues: Traduções diretas que preservam a semântica original.
  • Instruções de Code-Switching: Expressões de linguagem mista onde verbos e substantivos chave são substituídos do inglês para o texto traduzido, simulando cenários comuns de comunicação multilíngue.
  • Um pipeline utilizando APIs de Tradução em Nuvem e LLMs (para Reconhecimento de Entidades Nomeadas e verificação de consistência semântica via "LLM-as-a-Judge") foi empregado para gerar variantes de instruções de alta qualidade.
• Adaptador de Avaliação Multilíngue: Um adaptador leve foi desenvolvido para trocar suavemente os inputs de linguagem na pipeline de avaliação sem modificar as arquiteturas dos modelos ou a lógica do ambiente, garantindo uma comparação justa entre idiomas.
• Protocolo de Avaliação: As taxas de sucesso das tarefas foram medidas em diferentes idiomas. O desempenho foi quantificado como Desempenho Relativo, calculado como a diferença entre a taxa de sucesso em um cenário multilíngue e o cenário original em inglês.

2. Configuração Experimental

• Modelos: Vários modelos VLA representativos foram avaliados, incluindo $\pi_{0.5}$, OpenVLA-OFT, ABot-M0, Cosmos Policy, e vários modelos baseados em Qwen-VL com diferentes designs de cabeça de ação (OFT, FAST, $\pi$, GR00T).
• Benchmarks: Experimentos foram conduzidos nos ambientes de simulação LIBERO e SimplerEnv, cobrindo tarefas como rearranjo de objetos, uso de ferramentas e manipulação espacial.

3. Solução Proposta: Alinhamento de Componentes Principais Multilíngue (MPCA)

Motivado pela descoberta de que instruções multilíngues causam deslocamentos de representação, os autores propõem o MPCA, uma abordagem de fine-tuning.

• Mecanismo: O MPCA utiliza a Análise de Componentes Principais (PCA) para identificar o subespaço de componentes principais dos embeddings de linguagem. Ele então alinha as representações multilíngues projetadas a este subespaço.
• Objetivo: Reduzir o deslocamento de distribuição entre as representações de instruções em inglês e não inglesas, melhorando assim a capacidade do modelo de generalizar entre idiomas.

Principais Descobertas e Resultados

1. Existência de uma Lacuna Multilíngue Significativa

Os experimentos revelaram uma queda substancial de desempenho para modelos treinados primariamente em inglês quando avaliados em instruções não inglesas.

• Dependência do Modelo Base: Modelos baseados em VLMs centrados no inglês (ex: PaliGemma, Prismatic) mostraram degradação severa, muitas vezes performando de forma semelhante a modelos sem instruções. Em contraste, modelos baseados em VLMs multilíngues (ex: Qwen-VL) demonstraram melhor generalização, particularmente para o chinês, embora as lacunas persistissem para outros idiomas.
• Amplificação do Contexto Visual: A lacuna foi mais pronunciada em ambientes com inputs visuais semelhantes (ex: LIBERO-Goal), sugerindo que a compreensão da linguagem torna-se o diferenciador crítico quando as pistas visuais são ambíguas.

2. Impacto da Estrutura de Instrução e Cabeças de Ação

• Importância de Palavras-Chave: Instruções de code-switching (contendo palavras-chave em inglês) resultaram em quedas de desempenho menores comparadas às instruções totalmente traduzidas. Isso indica que verbos e substantivos chave são cruciais para a compreensão do VLA.
• Design da Cabeça de Ação: A arquitetura da cabeça de ação influencia significativamente a robustez multilíngue.
  • Cabeças baseadas em Difusão (estilo GR00T, estilo $\pi$) mantiveram melhor desempenho, provavelmente porque retêm informações semânticas do VLM base e se adaptam melhor aos deslocamentos de distribuição.
  • Cabeças baseadas em Tokens (estilo FAST) mostraram pior desempenho, potencialmente devido à perda de informação semântica durante a tokenização.
  • Cabeças baseadas em MLP (estilo OFT) mostraram desempenho intermediário, lutando para se adaptar ao deslocamento de distribuição causado por inputs multilíngues.

3. Causa Raiz: Deslocamento de Representação

A análise de representação (visualizando os embeddings agrupados) confirmou que a lacuna multilíngue provém de deslocamentos de representação.

• Em modelos com baixo desempenho multilíngue, os embeddings para instruções não inglesas estavam muito distantes dos embeddings em inglês no espaço latente.
• Em modelos com melhor desempenho (ex: Qwen3-VL-$\pi$), os embeddings de inglês e chinês estavam estreitamente alinhados, correlacionando-se com uma melhor generalização.
• Os modos de falha foram categorizados em: (1) Incompreensão da Instrução (gerando ações completamente erradas devido à confusão linguística) e (2) Falha de Execução (compreendendo a intenção, mas falhando em gerar a sequência de ação correta).

4. Eficácia do MPCA

A estratégia MPCA proposta reduziu efetivamente a lacuna de desempenho multilíngue. Ao alinhar as representações multilíngues ao subespaço de componentes principais, o MPCA melhorou as taxas de sucesso de tarefas em configurações não inglesas, demonstrando seu potencial como uma solução prática para aumentar a robustez multilíngue.

Significância e Contribuições

O artigo afirma as seguintes contribuições:

1. Primeiro Estudo Sistemático: Apresenta a primeira investigação abrangente sobre o seguimento de instruções multilíngues em modelos VLA, indo além da suposição de apenas inglês prevalente na pesquisa atual.
2. Framework e Benchmark: Introduz uma estrutura de avaliação multilíngue e extensões de dataset para LIBERO e SimplerEnv, permitindo comparações controladas entre idiomas e configurações de interação.
3. Insights Empíricos: Revela uma lacuna multilíngue significativa nos sistemas atuais e fornece análise detalhada sobre como as capacidades do modelo base, os designs de cabeça de ação e as estruturas de instrução influenciam essa lacuna.
4. Solução Prática: Propõe o MPCA, um método de fine-tuning simples porém eficaz que utiliza o alinhamento de representação para mitigar a lacuna multilíngue, oferecendo um caminho para agentes incorporados mais robustos e globalmente implantáveis.

Os autores concluem que, embora os VLAs sejam promissores, suas capacidades multilíngues estão atualmente subdesenvolvidas e requerem intervenções arquitetônicas e de treinamento específicas para igualar o desempenho de seus equivalentes em inglês.