Resumo Técnico: Robôs Críticos que se Preocupam com os Detalhes

Declaração do Problema

Os Grandes Modelos de Visão-Linguagem (VLMs) possuem vastos conhecimentos prévios sobre o mundo físico, tornando-os candidatos promissores para atuar como "críticos" para orientar políticas robóticas durante a inferência. No entanto, existe uma lacuna crítica no raciocínio visual de granularidade fina. Embora os VLMs prontos para uso e os métodos existentes de detecção de progresso consigam distinguir entre estados iniciais e finais de uma tarefa ou identificar sub-tarefas de alto nível, eles têm dificuldade em discriminar diferenças visuais sutis que separam o sucesso do fracasso.

Por exemplo, um desalinhamento de 1 mm na garra pode parecer visualmente semelhante a uma preensão bem-sida, mas resulta na falha da tarefa. Os métodos atuais falham nesse "regime de granularidade fina", onde o intervalo de tempo entre os quadros é estreito. Em experimentos, modelos de linha de base como o Gemini 3 alcançaram apenas 54,7% de precisão ao distinguir sucesso de fracasso, enquanto métodos especializados de detecção de progresso (ROVER, ProgressLM) atingiram 72,1% e 61,0%, respectivamente, superando apenas minimamente o acaso (50%) nesses cenários sutis. Essa limitação impede que os VLMs guiem efetivamente políticas robóticas estocásticas para longe de modos de falha em execução de malha fechada (closed-loop).

Metodologia

Os autores propõem um framework para ajustar finamente (fine-tune) VLMs especificamente para a discriminação de progresso e falha em pares, integrando-os a uma política robótica de malha fechada via um modelo de vídeo condicionado por ação.

1. Treinando Críticos VLM

A inovação central é a construção de um conjunto de dados de supervisão de progresso em pares derivado de execuções (rollouts) robóticas.

• Construção de Dados: O sistema gera trajetórias pareadas a partir das mesmas condições iniciais: uma de sucesso ($S_s$) e uma de falha ($S_f$).
• Pares Sucesso-Sucesso: Quadros consecutivos de uma trajetória de sucesso são pareados para ensinar ao modelo o progresso gradual à frente (rotulando o quadro posterior como tendo mais progresso).
• Pares Sucesso-Falha: Quadros de uma trajetória de falha são pareados com quadros de uma trajetória de sucesso no mesmo passo de tempo. O quadro de sucesso é rotulado como tendo mais progresso. Isso é crucial para ensinar o crítico a reconhecer modos de falha específicos da política (ex: formas específicas pelas quais o robô falha dada sua política atual) em vez de apenas falhas genéricas de tarefa.
• Ajuste Fino (Fine-Tuning): Um VLM (especificamente o Qwen2.5-VL-7B) é ajustado finamente sob supervisão para prever uma decisão discreta $c(v_i, v_j) \in \{+1, -1\}$ indicando qual quadro mostra maior progresso em direção ao objetivo, minimizando a perda de entropia cruzada.

2. Direcionamento de Política em Malha Fechada (In-the-Loop)

O crítico ajustado é integrado ao loop de execução do robô para melhorar o desempenho em tempo de teste:

1. Amostragem: Dada uma observação $x_t$, a política estocástica base (ex: Diffusion Policy ou GR00T N1.5) amostra $N$ sequências de ações candidatas.
2. Poda de Diversidade: Uma estratégia de amostragem de ponto mais distante (FPS) gulosa seleciona um subconjente diverso de $K$ candidatos.
3. Síntese de Futuro: Um modelo de vídeo condicionado por ação (HunyuanVideo 1.5, um Transformer de Difusão) sintetiza o estado visual terminal $x_{t+H}$ para cada sequência de ação candidata.
4. Seleção pelo Crítico: O crítico realiza todas as comparações pareadas entre os $K$ estados terminais gerados. O candidato cujo estado terminal acumula mais "votos" (indicando maior progresso) é selecionado para execução.
5. Replanejamento: A ação selecionada é executada, e o processo se repete até a conclusão da tarefa.

Principais Contribuições

• Treinamento de Crítico de Granularidade Fina: Um método para ajustar finamente VLMs usando trajetórias pareadas de sucesso e falha, permitindo que detectem diferenças visuais sutis (ex: desalinhamentos na escala de milímetros) que os VLMs padrão perdem.
• Aprendizado de Falha Específico da Política: Demonstração de que treinar em dados de falha específicos da política implantada é essencial. Críticos treinados apenas em demonstrações de sucesso falham em reconhecer os modos de falha específicos da política, levando a uma queda significativa na precisão ao distinguir sucesso de falha.
• Integração em Malha Fechada: Um pipeline completo combinando amostragem de política estocástica, previsão de vídeo generativo e comparação pareada baseada em VLM para direcionar ações robóticas em tempo real.
• Generalização: A abordagem generaliza para objetos fora da distribuição (OOD) e tarefas não vistas, sugerindo uma estratégia de pré-treinamento viável para o aprendizado de tarefas futuras.

Resultados Experimentais

Os autores avaliaram o método tanto em hardware do mundo real quanto em ambientes de simulação.

Benchmarks de Precisão

• RoboCasa (Simulação): O crítico ajustado alcançou 93,6% de precisão média em tarefas dentro da distribuição e 91,4% em tarefas fora da distribuição, superando significativamente as linhas de base como Gemini 3 (54,7%) e ROVER (72,1%).
• LBM (Mundo Real): No conjunto de dados LBM, o método alcançou 90,0% de precisão média, comparado a 62,9% para ROVER e 55,4% para Gemini 3.
• Regime de Granularidade Fina: À medida que o intervalo temporal entre os quadros comparados diminuía (tornando as diferenças visuais mais sutis), o desempenho da linha de base caía de 73% para 56%. O método proposto manteve alto desempenho com uma queda de apenas 2%, demonstrando robustez na discriminação de granularidade fina.

Melhoria no Desempenho da Política

• Tarefas no Mundo Real: O uso do crítico em malha fechada melhorou a taxa de sucesso da Diffusion Policy base em uma média de +11%. Ganhos específicos incluíram um aumento de 18% em tarefas de "Empilhamento" (Stacking) e uma melhoria de 2,3x na média de Intersecção sobre União (mIoU) para tarefas de "Empurrar Tigela" (Push-Bowl).
• Tarefas de Simulação (RoboCasa365): O método melhorou a taxa de sucesso da política GR00T N1.5 de 43,6% para 49,5%, um ganho médio de +5,9%. Melhorias significativas foram observadas em tarefas que exigem manipulação precisa de botões, portas e alavancas.

Significância e Alegações

O artigo afirma que, embora os VLMs forneçam conhecimentos semânticos valiosos, sua utilidade na robótica é limitada pela incapacidade de raciocinar sobre o progresso visual de granularidade fina e falhas específicas da política. Ao treinar explicitamente os críticos nas nuances das trajetórias de sucesso e falha, os autores demonstram que os VLMs podem ser transformados em críticos eficazes que "se preocupam com os detalhes".

A significância reside na capacidade de melhorar políticas estocásticas em tempo de teste sem retreinar a própria política. O método atua como um filtro, selecionando os candidatos de ação mais promissores de uma distribuição de possibilidades. Os autores enfatizam que reconhecer a falha é tão importante quanto reconhecer o progresso; sem dados de falha, os críticos não conseguem direcionar as políticas efetivamente para longe da "agulha no palheiro" que representa as ações de sucesso escondidas entre muitos modos de falha. Esta abordagem preenche a lacuna entre o raciocínio de alto nível dos modelos de fundação e a precisão de baixo nível necessária para a manipulação robótica bem-sucedida.