When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs

Este artigo apresenta o LIBERO-CF, um benchmark para avaliar falhas contrafactuais em modelos Visão-Linguagem-Ação (VLAs), e propõe a Counterfactual Action Guidance (CAG), uma estratégia de inferência que melhora significativamente a obediência a instruções linguísticas e o sucesso em tarefas ao reduzir a dependência de atalhos visuais sem exigir treinamento adicional.

O essencial

Imagine que você tem um robô muito inteligente, capaz de ver o mundo e entender o que você diz. Você diz: "Pegue o pote de mostarda". Mas, em vez de pegar a mostarda, o robô ignora sua voz e pega a fita adesiva que está logo ao lado, porque é isso que ele viu fazer milhares de vezes antes.

Esse é o problema central que os pesquisadores da Universidade da Carolina do Norte descobriram nos modelos de Visão-Linguagem-Ação (VLAs). Eles chamam isso de "Falha Contrafactual".

Aqui está uma explicação simples do que o artigo propõe, usando analogias do dia a dia:

1. O Problema: O Robô "Preguiçoso" e os Atalhos Mentais

Imagine que você ensinou um cozinheiro a fazer um bolo de chocolate. Você mostrou o processo 100 vezes. Agora, você pede: "Faça um bolo de cenoura".

• O que deveria acontecer: O cozinheiro lê a receita, pega a cenoura e faz o bolo de cenoura.
• O que acontece de verdade (o problema do VLA): O cozinheiro olha para a mesa, vê a batedeira e o chocolate (que ele conhece muito bem), e diz: "Ah, você quer o bolo de chocolate de novo!" Ele ignora a palavra "cenoura" e faz o bolo de chocolate porque é o "atalho" que seu cérebro já aprendeu.

No mundo dos robôs, isso acontece porque os robôs são treinados com muitos dados visuais, mas poucos dados de linguagem variada. Eles aprendem a confiar mais no que veem (a fita adesiva na mesa) do que no que ouvem (sua ordem de pegar a mostarda). Eles criam "atalhos visuais": se a fita está lá, eles pegam a fita, não importa o que você diga.

2. O Teste: O "Espelho da Verdade" (LIBERO-CF)

Para provar que isso estava acontecendo, os pesquisadores criaram um novo teste chamado LIBERO-CF.
Pense nisso como um teste de "atenção plena" para robôs. Eles colocaram o robô em uma cena onde ele já sabia fazer uma tarefa (pegar a fita), mas deram a ele uma ordem contrária (pegue a mostarda).

• Resultado: A maioria dos robôs falhou miseravelmente. Eles continuaram pegando a fita, mesmo quando a mostarda estava ali. Isso mostrou que a "voz" do robô estava muito fraca comparada aos seus "olhos".

3. A Solução: O "Duplo Cérebro" (CAG)

Como consertar um robô que ignora você? Os pesquisadores criaram uma técnica chamada Guia de Ação Contrafactual (CAG).

Imagine que o robô tem dois "modos" de pensar operando ao mesmo tempo:

1. Modo A (O Robô Normal): Olha para a mesa e ouve você. Ele pensa: "O usuário pediu mostarda, mas a fita parece mais familiar..."
2. Modo B (O Robô Cego): Olha apenas para a mesa, ignorando completamente o que você disse. Ele pensa: "Sem ouvir ninguém, o que eu faria aqui? Ah, vou pegar a fita porque é o que sempre faço."

A mágica do CAG é comparar esses dois pensamentos.

• Se o Modo A diz "Pegue a mostarda" e o Modo B diz "Pegue a fita", o sistema percebe que a diferença entre as duas respostas é causada apenas pela sua voz.
• O sistema então usa essa diferença para "empurrar" o robô na direção da sua voz, enfraquecendo o impulso de pegar a fita.

É como se você tivesse um amigo que sempre te diz o que fazer, e outro amigo que ignora você e faz o que ele acha melhor. O CAG é o processo de ouvir o primeiro amigo e dizer: "Esqueça o que o segundo amigo faria, faça o que o primeiro disse!"

4. Os Resultados: Robôs que Realmente Ouvem

Os testes mostraram que essa técnica funciona muito bem, tanto em simulações de computador quanto no mundo real (com um braço robótico real pegando objetos).

• Sem CAG: O robô pegava a fita 90% das vezes quando você pedia a mostarda.
• Com CAG: O robô começou a pegar a mostarda corretamente na maioria das vezes, sem precisar ser reprogramado do zero.

Resumo em uma frase

Os robôs atuais são como alunos que estudaram tanto para uma prova específica que, quando você muda a pergunta, eles continuam respondendo a resposta antiga. Os pesquisadores criaram um "truque de inferência" que força o robô a ouvir a nova pergunta, comparando o que ele faria se estivesse "surdo" com o que ele faz quando "ouve" você, garantindo que ele siga suas instruções reais e não apenas seus velhos hábitos.

Resumo técnico

Título: Quando a Visão Sobrepõe a Linguagem: Avaliação e Mitigação de Falhas Contrafactuais em Modelos Visão-Linguagem-Ação (VLAs)

1. O Problema: Falhas Contrafactuais e Atalhos Visuais

Os modelos Visão-Linguagem-Ação (VLAs) prometeram alinhar instruções de linguagem natural com o controle robótico, mas enfrentam um problema crítico de falha contrafactual.

• Definição: Uma falha contrafactual ocorre quando um VLA ignora uma instrução de linguagem específica e, em vez disso, executa um comportamento "bem aprendido" associado ao cenário visual, independentemente do que o usuário pediu.
• Causa Raiz: O desequilíbrio de modalidades e os vieses nos dados de treinamento. Em robótica, os conjuntos de dados são frequentemente específicos de tarefas e dominados visualmente. Sob uma mesma observação visual ($o$), apenas um subconjunto limitado de tarefas ($L_{in}$) possui demonstrações suficientes, enquanto outras tarefas plausíveis ($L_{out}$) são subobservadas.
• Mecanismo de Falha: O modelo tende a confiar em "atalhos visuais" (vision shortcuts). Matematicamente, a distribuição posterior de ação colapsa para o prior visual: $P(a|o, l) \approx P(a|o)$. O modelo executa a tarefa de treinamento associada à cena (ex: pegar o objeto que sempre aparece) mesmo quando a instrução pede algo diferente (ex: pegar um objeto de fundo ou um objeto nunca visto).

2. Metodologia Proposta

O trabalho aborda o problema em duas frentes principais: a criação de um benchmark de avaliação e a proposta de uma nova estratégia de inferência.

A. LIBERO-CF (Benchmark)
Os autores introduzem o LIBERO-CF, o primeiro benchmark contrafactual para VLAs, baseado no conjunto de dados LIBERO.

• Design: O benchmark atribui instruções de linguagem alternativas e viáveis sob os mesmos layouts de cena do LIBERO original.
• Categorias de Avaliação:
  • CF-Spatial: Instruções que visam objetos que originalmente serviam apenas como fundo.
  • CF-Object: Instruções que visam objetos diferentes dos usados no treinamento.
  • CF-Long: Tarefas de longo horizonte com novos alvos.
  • CF-OOD: Generalização para objetos fora da distribuição (nunca vistos no ajuste fino).
• Métrica: Além da taxa de sucesso, introduz-se a taxa de "Grounding" (aterramento), que mede se o gripper toca no objeto especificado na instrução, independentemente da conclusão da tarefa.

B. Counterfactual Action Guidance (CAG)
Para mitigar essas falhas, os autores propõem o CAG, um esquema de inferência de dois ramos (dual-branch) que não requer alterações na arquitetura do modelo ou nos pesos pré-treinados.

• Conceito: Inspirado na Classifier-Free Guidance (CFG) usada em modelos generativos, o CAG visa reforçar a condição de linguagem na distribuição de ação.
• Fórmula: O modelo combina uma política condicional (VLA padrão, $\pi_{cond}$) com uma política incondicional (apenas visão, $\pi_{uncond}$):
  $$\pi_{CAG}(a | o, l) = \pi_{uncond}(a | o, \emptyset) + \omega \cdot (\pi_{cond}(a | o, l) - \pi_{uncond}(a | o, \emptyset))$$
  Onde $\omega$ é uma escala de guia que controla a força da influência da linguagem.
• Implementação:
  1. Estratégia sem Treinamento (TF): Usa o mesmo modelo VLA treinado, removendo a entrada de linguagem no momento da inferência para gerar o ramo incondicional aproximado.
  2. Prior Visão-Ação (VA): Treina um modelo separado de Visão-Ação (VA) que ignora completamente a linguagem, fornecendo um prior visual mais limpo e robusto para a subtração.

3. Resultados Principais

Os experimentos foram conduzidos em simulação (LIBERO-CF) e no mundo real (braço robótico Franka Research 3).

Em Simulação (LIBERO-CF):

• Desempenho Baseline: Modelos de última geração (OpenVLA-OFT, $\pi_0$, $\pi_0.5$) apresentaram falhas severas. Por exemplo, o $\pi_0.5$ teve apenas 30.8% de taxa de grounding e 13.2% de sucesso em tarefas contrafactuais, enquanto mantinha alto desempenho (>60%) nas tarefas de treinamento originais.
• Eficácia do CAG:
  • O CAG melhorou consistentemente o desempenho em todas as arquiteturas testadas.
  • No $\pi_0.5$, a estratégia com prior VA aumentou a taxa de grounding média de 30.8% para 46.3% e o sucesso de 13.2% para 21.7%.
  • Reduziu significativamente a execução enviesada (bias) para as tarefas originais.
  • A estratégia sem treinamento (TF) já trouxe melhorias, mas o uso de um modelo VA separado (VA) foi superior, indicando que modelar explicitamente o prior visual é crucial.

No Mundo Real:

• O CAG reduziu as falhas contrafactuais em 9.4% e melhorou a taxa de sucesso da tarefa em 17.2% em média.
• Casos de Uso:
  • Reconhecimento de Objetos: O modelo corrigiu erros ao distinguir objetos visualmente similares (ex: Coca-Cola vs. Sprite) quando a instrução mudava.
  • Raciocínio Espacial: Melhorou a capacidade de selecionar objetos baseados em localização (esquerda/direita) em vez de apenas o objeto mais proeminente.
  • Generalização OOD: Permitiu que o modelo manipulasse objetos nunca vistos durante o ajuste fino (ex: cubo mágico, bola de basquete) seguindo instruções corretas, em vez de tentar executar a tarefa de treinamento memorizada.
  • Raciocínio de Longo Horizonte: Em tarefas multi-etapa, o CAG impediu que o modelo "caminhasse" para a sequência de ação memorizada, forçando-o a seguir a ordem e os objetivos específicos da instrução.

4. Contribuições Chave

1. LIBERO-CF: O primeiro benchmark padronizado para avaliar especificamente a capacidade de seguir instruções contrafactuais em VLAs, expondo a fragilidade atual desses modelos.
2. CAG (Counterfactual Action Guidance): Uma solução universal, "plug-and-play", que melhora o condicionamento de linguagem sem re-treinamento pesado ou mudança de arquitetura.
3. Análise de Falhas: Evidência empírica robusta de que os VLAs atuais sofrem de um viés visual extremo, onde a linguagem atua apenas como um sinal secundário, e que a remoção de objetos de distração visual melhora drasticamente o desempenho contrafactual.

5. Significado e Impacto

Este trabalho é fundamental para a confiabilidade de agentes robóticos gerais. Ele demonstra que, sem mecanismos de correção, os VLAs podem ser perigosos em ambientes dinâmicos onde a intenção do usuário diverge do padrão de treinamento. O CAG oferece uma via prática para tornar os robôs mais "fiéis" às instruções humanas, garantindo que eles não apenas "vejam" o que esperam ver, mas "ouçam" o que é dito. A abordagem é aplicável a diversas arquiteturas de VLA, tornando-se um componente valioso para o futuro da IA incorporada (Embodied AI).