Resumo Técnico: Direcionamento de Modelos Visão-Linguagem-Ação via Verificação de Alinhamento de Raciocínio-Ação em Tempo de Execução

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) avançaram o seguimento de instruções robóticas ao integrar backbones de visão-linguagem pré-treinados com cabeças de geração de ação. Uma evolução recente, os "VLAs de Raciocínio", incorpora Cadeia de Pensamento (CoT - Chain-of-Thought), gerando planos textuais intermediários antes de executar ações de baixo nível. Embora isso melhore o desempenho em tarefas complexas de longo horizonte, um modo de falha crítico persiste: o Gap de Fidelidade do CoT Incorporado.

Mesmo quando um VLA de Raciocínio gera um plano textual correto (ex: "pegar o creme de queijo"), a sequência de ações de baixo nível subsequente pode falhar em realizar esse plano fisicamente (ex: agarrar o creme de queijo em vez do creme de leite). Esse desalinhamento é particularmente prevalente em cenários Fora da Distribuição (OOD - Out-of-Distribution) envolvendo instruções, objetos ou contextos visuais novos. O artigo formaliza isso como uma falta de "fidelidade do CoT incorporado", onde os resultados físicos das ações não correspondem de forma confiável ao raciocínio autogerado pelo modelo. Os métodos de direcionamento em tempo de execução existentes frequentemente dependem de críticos aprendidos (ex: funções Q) que têm dificuldade em generalizar para novos desvios semânticos ou visuais, falhando em verificar o alinhamento entre a intenção de alto nível e a execução de baixo nível.

Metodologia: SEAL (Steering for Embodied reasoning-action ALignment)

Os autores propõem o SEAL, um framework de direcionamento de política em tempo de execução livre de treinamento, projetado para impor o alinhamento raciocínio-ação. O SEAL opera amostrando múltiplas sequências de ações candidatas, simulando seus resultados e selecionando aquela que melhor se alinha com o próprio plano textual do modelo usando um Modelo de Visão-Linguagem (VLM) pré-treinado como verificador.

O processo desenrola-se em três estágios em cada passo de raciocínio, após um novo plano textual $\hat{\ell}^r_t$ ser gerado:

1. Hipotetizar (Hypothesize): A política base do VLA de Raciocínio ($\pi^{r\text{-}VLA}_\theta$) gera $K$ sequências de ações candidatas em paralelo. Essas sequências são autoregressivas e de comprimento variável, terminando quando o modelo emite um token de "pensar" (indicando um retorno ao raciocínio).
2. Prever (Predict): Um modelo de dinâmica (ou simulação de ambiente paralelo no benchmark) prevê a sequência de observações futura ($\hat{o}^{(k)}_{t:t+H}$) para cada sequência de ações candidata. Isso permite que o sistema "olhe à frente" para o resultado potencial de cada hipótese sem executá-las no robô.
3. Verificar (Verify): Um VLM pré-treinado (ex: GPT-4o) atua como um verificador. Ele é instruído com a imagem inicial, a imagem final prevista de uma sequência candidata e o plano textual. O VLM atribui uma pontuação binária indicando se o resultado previsto cumpre o plano com sucesso. A sequência de ações com a maior pontuação de alinhamento é selecionada para execução.

Otimização em Tempo de Execução: Para minimizar a latência, o framework emprega uma estratégia de execução assíncrona. A etapa de verificação ocorre em paralelo com a geração de candidatos subsequentes. O sistema utiliza uma estratégia de "saída antecipada" (early-exit), executando a primeira sequência de ações candidata que o VLM verifica com sucesso, em vez de esperar que todos os $K$ candidatos sejam gerados e avaliados.

Principais Contribuições

1. Direcionamento de Política em Tempo de Execução para Alinhamento Raciocínio-Ação: O artigo introduz um framework que impõe a fidelidade do CoT incorporado sem exigir treinamento adicional. Ao verificar as ações contra o próprio raciocínio textual do modelo, o SEAL converte a diversidade natural de ação da política de uma fonte de erro em uma força, filtrando execuções desalinhadas.
2. Experimentos de Generalização Extensiva e Análise de Escalonamento: Os autores demonstram que o SEAL supera baselines fortes (incluindo VLAs vanilla e direcionamento baseado em função Q) em até 15% em tarefas de composição de comportamento e desvios OOD. Crucialmente, eles mostram que o desempenho escala com o tamanho e a diversidade do conjunto de dados de ajuste fino; conforme a política base gera um conjunto mais rico de ações candidatas, a capacidade do verificador de selecionar a correta melhora.
3. Dataset Anotado com Raciocínio e Benchmark Estendido: Os autores contribuem com uma versão de código aberto do dataset LIBERO-100 anotada com raciocínio. Eles também estendem o benchmark LIBERO com novas descrições de tarefas, variações visuais e tarefas de composição de comportamento especificamente desenhadas para avaliar a robustez OOD e a generalização composicional.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de benchmarks LIBERO usando três datasets de escala crescente (LIBERO-10, LIBERO-100-Basket, LIBERO-100).

• Desempenho Dentro da Distribuição (ID): Em tarefas ID padrão, o SEAL alcançou taxas de sucesso de 94–97%, superando o VLA de raciocínio base ($\pi^{0\text{-}reason}$) e o direcionamento por função Q ($\pi^{0\text{-}V\text{-}GPS}$). A melhoria provém do filtro de sequências de ações que, embora plausíveis, não correspondem ao subobjetivo específico definido no plano de texto.
• Composição de Comportamento: Em tarefas novas que exigem a recombinação de habilidades aprendidas (ex: "coloque A e C no cesto" quando treinado em "A+B" e "C"), o SEAL mostrou ganhos significativos. Enquanto os baselines estagnaram em ~15% de sucesso, o SEAL atingiu até 53% de sucesso no maior dataset, demonstrando que a verificação permite que o modelo aproveite suas capacidades de raciocínio efetivamente, mesmo quando a geração de ação é ruidosa.
• Robustez OOD:
  • Desvios Semânticos: O SEAL manteve >91% de sucesso em instruções refraseadas e mudanças de propriedades de objetos, enquanto baselines sem raciocínio caíram significativamente.
  • Desvios Visuais: No desafio mais difícil de "Mudança de Visão/Ângulo" (mudança de ângulos de câmera e fundos), o SEAL manteve uma taxa de sucesso de 45%, superando o segundo melhor baseline em mais de 17%. Isso destaca a capacidade do verificador de filtrar ações que falham sob severas perturbações visuais.
• Lei de Escalonamento (Scaling Law): Aumentar o número de candidatos amostrados ($K$) de 1 para 10 resultou em um ganho de desempenho de 15% em tarefas de composição e episódios mais curtos. O tempo de inferência escalou linearmente com $K$, permanecendo competitivo com trabalhos anteriores.

Significância e Alegações

O artigo alega que o principal gargalo nos atuais VLAs de Raciocínio não é a geração do plano, mas a execução fiel desse plano. Ao introduzir um loop de verificação em tempo de execução que checa explicitamente o alinhamento raciocínio-ação, os autores demonstram que:

1. A fidelidade é acionável: Garantir que um robô "faça o que diz" aumenta significativamente a robustez em cenários OOD e na generalização composicional.
2. A diversidade é uma força: Em vez de suprimir a estocasticidade da geração de ações, o SEAL a aproveita, amostrando múltiplas hipóteses e selecionando aquela que se alinha ao plano semântico.
3. Melhoria livre de treinamento: Ganhos de alto desempenho podem ser alcançados sem retreinar a política subjacente, simplesmente adicionando um passo de verificação usando VLMs prontos para uso.

Os autores concluem que verificar o que um robô faz contra o que ele diz é um passo crítico para construir agentes robóticos mais robustos, confiáveis e generalizáveis. Eles reconhecem limitações, incluindo a dependência da qualidade das propostas do modelo base e o overhead computacional da verificação por VLM, mas posicionam o SEAL como um passo significativo para abordar o gap de fidelidade do CoT incorporado.