Resumo Técnico: Quando a Linguagem Importa? Instruções Multilíngues Revelam Sensibilidade Linguística Passo a Passo em Modelos de Visão-Linguagem-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) têm demonstrado um forte desempenho na manipulação robótica condicionada por linguagem, mapeando observações visuais e instruções de linguagem natural para sequências de ações. No entanto, sua robustez à variação linguística permanece pouco compreendida. Embora a robustez multilíngue tenha sido explorada em modelos de linguagem e de visão-linguagem, os modelos VLA enfrentam desafios únicos: eles geram fluxos contínuos de ações em um ambiente de malha fechada (closed-loop), onde erros induzidos pela linguagem podem se acumular ao longo do tempo, impactando irreversivelmente a execução de longo horizonte.

Os sistemas VLA atuais frequentemente assumem instruções apenas em inglês. Quando traduzidas para idiomas não ingleses, esses modelos exibem uma severa degradação de desempenho. Abordagens existentes para mitigar isso, como o alinhamento cross-lingual uniforme (ex: CLAIM), assumem que as mudanças de linguagem estão distribuídas uniformemente entre as etapas de execução. Este artigo desafia essa premissa, postulando que a influência da linguagem é altamente não uniforme ao longo do tempo, e que tratar a robustez multilíngue como um problema de alinhamento global e estático é insuficiente para agentes incorporados (embodied agents).

Metodologia

1. Avaliação Multilíngue Sistemática

Os autores traduziram o benchmark LIBERO para dez idiomas (inglês, chinês, japonês, coreano, francês, espanhol, árabe, tailandês, português e vietnamita) para conduzir a primeira avaliação multilíngue sistemática de modelos VLA. Eles avaliaram duas arquiteturas distintas: OpenVLA-OFT e $\pi0.5$.

2. Análise de Sensibilidade Linguística Passo a Passo

Para entender onde e por que ocorrem as falhas, os autores introduziram uma estrutura de análise passo a passo:

• Medição de Desvio: Eles mediram a distância de cosseno entre as representações ocultas (hidden representations) geradas por instruções não inglesas versus instruções em inglês em cada etapa de execução.
• Sensibilidade Baseada em Gradiente: Para identificar etapas críticas de linguagem sem exigir referências em inglês durante a inferência, eles calcularam a razão de gradiente texto-imagem. Ao calcular os gradientes da ação prevista em relação aos tokens de linguagem ($g_{lang}$) e aos tokens visuais ($g_{vis}$), derivaram um escore de sensibilidade $r_t = g_{lang} / (g_{vis} + \epsilon)$.
• Descoberta: Etapas com altas razões de gradiente (alta dependência de linguagem) correlacionaram-se fortemente com etapas que exibiam grandes desvios das representações em inglês. Isso confirmou que a influência da linguagem é localizada temporalmente, com "pontos quentes" (hotspots) específicos impulsionando a falha da tarefa.

3. Intervenção de Inferência Passo a Passo

Com base na análise de sensibilidade, os autores propuseram uma estratégia de alinhamento passo a passo que opera no tempo de inferência sem necessidade de retreinamento:

• Fase Offline: Construir um conjunto de referência de representações ocultas a partir de trajetórias de treinamento em inglês, indexadas por seus escores de sensibilidade de linguagem pré-computados.
• Fase Online:
  1. Recuperação (Retrieval): Para uma determinada etapa não inglesa, recuperar os $K$ vizinhos mais próximos das representações de referência em inglês baseando-se na similaridade de cosseno.
  2. Portão (Gating): Determinar se a etapa atual é crítica para a linguagem verificando se a proporção de vizinhos recuperados pertencentes às etapas mais sensíveis excede um limiar $\tau$.
  3. Alinhamento: Se a etapa for crítica, computar uma média ponderada pela similaridade das referências em inglês recuperadas e atualizar a representação oculta atual: $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$.
  4. Execução: Passar a representação alinhada para as camadas subsequentes para gerar a ação.

4. Treinamento com Eficiência de Dados

Os autores também exploraram o uso da sensibilidade passo a passo para guiar o ajuste fino (fine-tuning). Em vez de atualizar todas as etapas, eles restringiram as atualções de parâmetros às etapas identificadas como críticas para a linguagem, comparando isso com o ajuste fino completo e a seleção aleatória de etapas.

Principais Resultados

Degradação de Desempenho Multilíngue

Sem intervenção, os modelos VLA sofrem quedas significativas de desempenho sob instruções não inglesas. As taxas de sucesso caíram de 30 a 50% em comparação ao inglês em várias tarefas (Espacial, Objeto, Objetivo, Longo). Por exemplo, na tarefa "Objetivo" (Goal), a taxa de sucesso do OpenVLA-OFT caiu de 97,9% (Inglês) para tão baixo quanto 6,4% (Árabe).

Eficácia da Intervenção Passo a Passo

• Tempo de Inferência: O alinhamento passo a passo proposto superou significativamente os baselines. Para o OpenVLA-OFT, as taxas médias de sucesso melhoraram de ~51,7% (Baseline) para 68,8% (Mudança passo a passo) em diversos idiomas não inglesos. Para o $\pi0.5$, as taxas melhoraram de ~56,7 para 80,3%.
• Comparação: O alinhamento uniforme (Mudança média) produziu resultados instáveis e, às vezes, degradou o desempenho. O Chain-of-Thought em Inglês (EN-CoT) proporcionou ganhos limitados e inconsistentes, destacando a dificuldade de aplicar prompts de raciocínio a políticas geradoras de ação.
• Visualização: As distribuições das representações ocultas mostraram que o alinhamento passo a passo deslocou efetivamente as representações não inglesas em direção à referência em inglês, mas apenas nas etapas críticas.

Eficiência de Treinamento

Ao ser aplicado ao ajuste fino, restringir as atualizações às etapas criticamente ligadas à linguagem (50% das etapas) alcançou um desempenho comparável ao ajuste fino completo (85,5% vs. 86,8% de sucesso médio no OpenVLA-OFT) exigindo menos atualizações. A seleção aleatória de etapas teve um desempenho significativamente inferior (44,9%), confirmando que as etapas identificadas capturam dependências significativas entre linguagem e ação.

Análise de Falha

A análise de 100 casos de falha revelou que a degradação multilíngue é impulsionada principalmente por erros de fundamentação instrução-visual (instruction-to-visual grounding).

• 53% das falhas ocorreram na primitiva de Navegação (Navigate) (identificação do local/recipiente alvo).
• 18% ocorreram em Preensão (Grasp).
• As falhas foram menos frequentes em primitivas de estágios posteriores como Colocar (Place), Abrir/Fechar (Open/Close) ou Empurrar (Push).
  Isso indica que as etapas críticas de linguagem estão intimamente ligadas à seleção de alvo semântico, em vez de controle motor de baixo nível.

Significância e Alegações

O artigo afirma que a robustez linguística em modelos VLA é fundamentalmente um problema de controle passo a passo, e não um problema de alinhamento de representação global.

1. Estrutura Temporal: Os autores demonstram que a influência da linguagem é altamente não uniforme; certas etapas dominam a falha total da tarefa enquanto outras são amplamente agnósticas à linguagem.
2. Intervenção Direcionada: O alinhamento uniforme é insuficiente e potencialmente prejudicial. A intervenção seletiva em etapas sensíveis à linguagem é necessária para melhorar a robustez sem introduzir ruído em etapas agnósticas à linguagem.
3. Eficiência: A análise de sensibilidade passo a passo permite tanto a correção eficaz no tempo de inferência quanto o treinamento eficiente em termos de dados, permitindo que os modelos recuperem ganhos de desempenho com menos atualizações.
4. Implicação Mais Ampla: O trabalho destaca a necessidade de análises e intervenções estruturadas temporalmente em futuros sistemas de agentes incorporados, indo além de visões estáticas e holísticas de robustez linguística.

Os autores observam limitações, reconhecendo que os experimentos foram conduzidos em simulação e que a transferência dessas descobertas para sistemas robóticos do mundo real com ruído e incerteza adicionais permanece uma questão aberta. Eles também sugerem que, conforme as arquiteturas VLA evoluem, a natureza da sensibilidade passo a passo pode mudar, exigindo a adaptação futura dessas estratégias.