Resumo Técnico: Pense Duas Vezes, Atue Uma Vez: Seleção de Ação Guiada por Verificador para Agentes Corporificados

Declaração do Problema

Construir agentes corporificados generalistas capazes de resolver tarefas complexas e de longo horizonte em ambientes físicos permanece um desafio fundamental. Embora os Modelos de Linguagem Multimodais (MLLMs) tenham avançado o raciocínio de agentes por meio de conhecimento visão-linguagem e prompts de Cadeia de Pensamento (CoT), eles permanecem frágeis ao enfrentar cenários fora da distribuição (OOD). Os agentes atuais baseados em MLLM tipicamente comprometem-se com uma única ação decodificada de forma gananciosa em cada passo de tempo, sem capacidade de autocorreção ou avaliação de caminhos alternativos. Essa falta de verificação leva a falhas em tarefas envolvendo variações parafrásticas (por exemplo, "fruta amarela e curva" versus "banana") ou raciocínio complexo de múltiplos passos, onde erros cumulativos degradam o desempenho.

Metodologia: Seleção de Ação Guiada por Verificador (VEGAS)

Os autores propõem o VEGAS, um framework de tempo de teste projetado para melhorar a robustez de agentes corporificados baseados em MLLM, introduzindo uma etapa explícita de verificação antes da execução da ação.

Mecanismo Central

O VEGAS opera por meio de um procedimento Best-of-N no momento da inferência:

1. Amostragem de Candidatos: Em vez de decodificar uma única ação, a política base amostra um conjunto de $N$ ações candidatas, cada uma acompanhada por uma trilha de raciocínio CoT.
2. Verificação Generativa: Um verificador generativo aprendido avalia cada candidato. Diferentemente de verificadores discriminativos que produzem uma pontuação escalar, o verificador generativo produz uma trilha de raciocínio explícita (crítica) seguida de um julgamento binário de correção (sim/não).
3. Seleção: Os julgamentos são mapeados para pontuações (1 para correto, 0 para incorreto). O agente executa a ação candidata com a maior pontuação média entre múltiplas amostras de verificação.

Inovação Chave: Treinamento com Falhas Sintéticas

Uma descoberta crítica do artigo é que o uso de um MLLM pronto para uso como verificador não produz nenhuma melhoria sobre a política base. A compreensão linguística de propósito geral é insuficiente para verificação corporificada. Para abordar a falta de dados de falha em conjuntos de dados corporificados padrão (que tipicamente contêm apenas demonstrações bem-sucedidas), os autores introduzem um pipeline de síntese de dados impulsionado por LLM:

• Aumento CoT: Trajetórias bem-sucedidas são aumentadas com trilhas de raciocínio CoT.
• Síntese de Falhas: Um LLM professor (por exemplo, OpenAI o3) é instruído a gerar trajetórias de falha realistas e diversas a partir das bem-sucedidas. Essas falhas incluem seleção incorreta de objetos, receptáculos errados, violações de pré-condição (por exemplo, tentar pegar um objeto não visto) e ordenação incorreta de ações.
• Anotação de Verificação: O LLM professor também anota cada ação tanto nas trajetórias bem-sucedidas quanto nas falhas com uma trilha de verificação e um julgamento de correção.
• Treinamento do Verificador: Um MLLM dedicado é ajustado finamente neste conjunto de dados sintetizado de exemplos corretos e incorretos para servir como verificador generativo.

Configuração Experimental

O framework foi avaliado em dois benchmarks principais focados em generalização OOD:

• LangR (Habitat 2.0): Foca em robustez parafrástica e generalização comportamental (por exemplo, rearranjo de múltiplos objetos).
• EB-ALFRED (AI2-THOR): Uma versão reestruturada do ALFRED que avalia tarefas de longo horizonte, raciocínio de senso comum e compreensão espacial.

A política base e o verificador foram instanciados usando Qwen2.5-VL-3B-Instruct. Os experimentos compararam o VEGAS contra:

• Baselines sem CoT.
• Políticas apenas com CoT.
• Verificadores zero-shot (usando o mesmo modelo sem ajuste fino).
• Autoconsistência (votação majoritária sem verificador).
• Políticas maiores prontas para uso (por exemplo, Qwen-72B, Gemma-27B) acopladas ao pequeno verificador ajustado finamente.

Resultados Principais

1. Necessidade de Ajuste Fino: O uso de um verificador zero-shot não forneceu ganho de desempenho sobre a baseline CoT (por exemplo, 64% vs. 65% no LangR). Apenas o verificador ajustado finamente (VEGAS) melhorou significativamente o desempenho, elevando a taxa de sucesso média no LangR de 65% para 71% e no EB-ALFRED de 44% para 49%.
2. Escalabilidade e Generalização: O VEGAS demonstrou ganhos consistentes em todas as categorias de tarefas, com as melhorias mais significativas (até 36% de ganho relativo) observadas em tarefas desafiadoras de múltiplos objetos e longo horizonte.
3. Melhoria Cruzada entre Modelos: Um pequeno verificador ajustado finamente (3B parâmetros) melhorou com sucesso o desempenho de políticas muito maiores e prontas para uso com as quais nunca foi treinado. Por exemplo, melhorou a taxa de sucesso de uma política Qwen-72B de 30% para 38% no EB-ALFRED.
4. Eficiência vs. Autoconsistência: Ao escalar a computação de tempo de teste, o VEGAS escalou de forma mais eficaz do que a Autoconsistência (que depende de votação majoritária), alcançando ganhos de desempenho mais acentuados com o mesmo número de chamadas de LLM.
5. Latência: Apesar de exigir $N(M+1)$ chamadas de LLM (onde $N$ são candidatos e $M$ são verificações por candidato), a amostragem paralela mantém a latência de relógio gerenciável (por exemplo, aumentando de 3s para 8s ao escalar $N$ de 1 para 16).

Significado e Alegações

O artigo afirma que o VEGAS representa um passo significativo em direção a uma IA corporificada robusta, deslocando o paradigma de "atuai uma vez" para "pense duas vezes, atue uma vez". Os autores enfatizam que:

• Verificação é distinta de raciocínio: Meramente amostrar múltiplos candidatos é insuficiente; um verificador especializado e ajustado finamente é necessário para distinguir ações corretas de incorretas no contexto de restrições físicas e semântica de tarefas.
• Síntese de Dados é crítica: A incapacidade de modelos prontos para uso de verificar ações corporificadas torna necessária a criação de dados de falha sintéticos, uma contribuição que permite treinar verificadores sem anotação manual de erros por humanos.
• Escalonamento de Computação: O framework demonstra que escalar a computação de tempo de teste por meio de verificação é uma estratégia viável para melhorar a generalização em agentes corporificados, frequentemente superando simplesmente escalar parâmetros do modelo.

O trabalho conclui que a verificação explícita no momento do teste, alimentada por um verificador treinado em modos de falha gerados sinteticamente, aprimora substancialmente a confiabilidade de agentes corporificados em cenários desafiadores e semelhantes ao mundo real.