CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

Resumo Técnico: CAST – Rótulos Contrafatuais Melhoram o Seguimento de Instruções em Modelos de Visão-Linguagem-Ação

Declaração do Problema
Robôs generalistas requerem a capacidade de seguir instruções de linguagem diversas e de vocabulário aberto. Embora os modelos de Visão-Linguagem-Ação (VLA) ofereçam uma arquitetura promissora para mapear linguagem em ações robóticas, eles atualmente têm dificuldade com o seguimento de instruções finas. Uma limitação primária é a falta de diversidade semântica e de fundamentação linguística nos conjuntos de dados robóticos existentes. Em muitos conjuntos de dados, as observações estão altamente correlacionadas com ações específicas (ex: uma gaveta de um cômoda implica "abrir a gaveta"), o que leva ao colapso do posterior (posterior collapse). Neste fenômeno, a política aprende a ignorar as entradas de linguagem e a inferir tarefas apenas através das observações visuais, porque a linguagem não fornece informação preditiva adicional. Além disso, os conjuntos de dados existentes frequentemente carecem de diversidade de tarefas finas para observações semelhantes, e alguns conjuntos de dados de navegação carecem totalmente de rótulos de linguagem. Escalar a curadoria de dados para abordar essas questões é caro e tedioso.

Metodologia: Aumentação Contrafatual com Trajetórias Sintéticas (CAST)
Os autores propõem o CAST, um framework de aumentação de dados que utiliza Modelos de Visão-Linguagem (VLMs) para gerar rótulos de linguagem contrafatuais e ações sintéticas para conjuntos de dados de trajetórias robóticas existentes e não curados. A ideia central é que, ao treinar políticas em múltiplas ações distintas associadas à mesma observação (mas impulsionadas por diferentes instruções), o modelo é forçado a atender à entrada de linguagem para prever a ação correta, mitigando assim o colapso do posterior.

O pipeline CAST opera em quatro estáções principais:

1. Identificação de Pontos de Decisão: As trajetórias existentes são segmentadas em blocos atômicos baseados em mudanças comportamentais (ex: virar, parar). Essas fronteiras servem como pontos de decisão.
2. Geração de Instrução Contrafatual: Em cada ponto de decisão, um VLM (especificamente o Gemini 2.5 Pro) é consultado com a observação atual e o contexto da trajetória original. O VLM gera instruções contrafatuais plausíveis (ex: "Vire à esquerda" em vez do "Vire à direita" executado) e comandos atômicos correspondentes (ex: "virar à esquerda").
3. Geração de Ação Sintética: Uma política atômica ($\pi_a$) pré-treinada, treinada em dados reais de robôs para seguir comandos atômicos simples (ex: "ir para frente", "virar à esquerda"), é usada para gerar os blocos de ação reais para essas instruções contrafatuais. Esta política ramifica-se da trajetória original para criar um novo "final contrafatual" plausível.
4. Aumentação de Conjunto de Dados: As trajetórias originais são aumentadas com estas novas tuplas $(observação, instrução\_contrafatual, ação\_contrafatual)$. Este conjunto de dados expandido é usado para treinar a política VLA final, denominada CounterfactualVLA.

Os autores fornecem uma motivação teórica baseada em informação mútua. Eles argumentam que o seguimento de linguagem é melhorado ao maximizar a informação mútua $I(a; \ell|o)$ entre ação ($a$) e linguagem ($\ell$) condicionada à observação ($o$). Ao aumentar a entropia dos comandos atômicos ($H(\ell_a|o)$) para uma determinada observação, garantindo que o comando atômico seja previsível a partir da instrução completa ($H(\ell_a|\ell, o)$), o CAST efetivamente eleva um limite inferior para esta informação mútua.

Detalhes de Implementação
Os autores instanciam o CAST em dois domínios:

• Navegação: Usando o conjunto de dados GNM (interno/externo), eles empregam um pipeline de rotulagem retrospectiva (hindsight relabeling) para gerar rótulos iniciais para dados não rotulados. Eles segmentam trajetórias em comportamentos atômicos (virar à esquerda/direita, ir para frente, parar) para treinar uma política atômica. O VLM gera prompts de navegação contrafatuais e a política atômica sintetiza os blocos de ação correspondentes.
• Manipulação: Usando o conjunto de dados Bridge, eles utilizam rótulos de nível de tarefa existentes e decomposições de subtarefas (ex: "pegar", "mover para") como comandos atômicos. O VLM gera tarefas contrafatuais (ex: colocar um objeto em uma superfície diferente) e uma Política Direcionável (Steerable Policy) pré-treinada gera as ações.

Em ambos os casos, a CounterfactualVLA final é uma versão ajustada (fine-tuned) do VLM PaliGemma 3B, treinada no conjunto de dados aumentado usando fragmentação de ação (action chunking) para garantir consistência temporal.

Resultados Experimentais
Os autores avaliam o método através de várias perspectivas:

• Qualidade do Rótulo: Juízes humanos avaliaram os rótulos gerados quanto à precisão em relação a objetos, movimento e fundamentação de cena. Os rótulos contrafatuais foram considerados precisos e plausíveis.
• Desempenho de Navegação: A CounterfactualVLA foi testada em 27 tarefas de seguimento de instrução em três ambientes (escritório, cozinha, parque externo). As tarefas incluíram navegação de objetos, navegação referencial (relações espaciais) e navegação contínua.
  • A CounterfactualVLA superou os VLAs treinados com dados não aumentados em 27%.
  • Alcançou uma taxa de sucesso dobrada em relação ao baseline.
  • Superou os métodos de estado da arte no domínio.
• Desempenho de Manipulação: Avaliado em tarefas de pegar e colocar com distratores, o método mostrou uma melhoria de desempenho de 27% sobre um VLA treinado com dados padrão.

Significância e Alegações
O artigo afirma que o CAST fornece um método escalável e eficiente em termos de dados para melhorar a capacidade de direcionamento e seguimento de instruções de políticas VLA sem exigir a coleta adicional de dados do mundo real. Ao alavancar VLMs prontos para uso para gerar dados contrafatuais, o método aborda a questão do "colapso do posterior" inerente aos conjuntos de dados atuais. Os autores posicionam este trabalho como um "primeiro passo em direção a um seguimento de linguagem robótica verdadeiramente de conjunto aberto" (open-set), demonstrando que aumentar conjuntos de dados existentes com contrafatuais sintéticos pode melhorar significativamente a capacidade de um robô de seguir comandos complexos e finos em ambientes diversos. O código, os dados e os checkpoints são de código aberto para facilitar mais pesquisas.