Resumo Técnico: RoboProcessBench

Declaração do Problema

Modelos de linguagem-visão (VLMs) são cada vez mais implantados como "juízes" em sistemas de manipulação robótica, atuando como críticos visuais, geradores de recompensa online e detectores de falhas. No entanto, essas funções exigem mais do que apenas o reconhecimento do sucesso final da tarefa ou a geração de descrições genéricas de cena; elas exigem um entendimento de processo de grão fino. Um modelo deve ser capaz de julgar se uma manipulação está progredindo física e temporalmente de forma correta — detectando contato, identificando estados de movimento, estimando o progresso local dentro de um primitivo e raciocinando sobre a ordem temporal.

Benchmarks e avaliações existentes focam majoritariamente em resultados finais, percepção de mundo aberto ou capacidades de planejamento. Eles falham em testar sistematicamente se os VLMs possuem o entendimento específico de consciência de processo necessário para auditar etapas intermediárias de execução. Consequentemente, há uma lacuna na avaliação e treinamento de VLMs nos sinais estruturados (contato, fase, movimento, consistência temporal) necessários para o monitoramento robusto de processos robóticos.

Metodologia

Design do Benchmark: RoboProcessBench

Os autores introduzem o RoboProcessBench, um benchmark projetado para decompor o entendimento consciente de processo em duas dimensões complementares: Monitoramento Estático e Raciocínio Dinâmico. Estas dimensões são instanciadas como 12 famílias de perguntas diagnósticas:

• Monitoramento Estático: Tarefas que exigem a identificção do estado de processo local atual a partir de um único quadro ou clipe curto.
  • T1: Reconhecimento de Fase (identificação da fase grosseira do processo).
  • T2: Detecção de Contato (estabelecimento de contato relevante para a tarefa).
  • T4: Estado de Coordenação Bimanual (como dois braços se coordenam).
  • T10: Reconhecimento do Primitivo Atual (identificação do primitivo de baixo nível ativo).
• Raciocínio Dinâmico: Tarefas que exigem inferência temporal, preditiva ou de nível de cadeia.
  • T3: Predição de Direção de Movimento.
  • T5: Progresso Local do Primitivo (estimativa se um passo está no início, meio ou fim).
  • T6: Reconhecimento de Estado de Movimento (ativo vs. estacionário).
  • T7: Predição de Resultado de Operação (a tentativa terá sucesso?).
  • T8: Ordenação Temporal (reconstrução da ordem cronológica de quadros embaralhados).
  • T9: Predição de Prioridade Temporal (determinar qual de dois quadros ocorreu antes).
  • T11: Predição do Próximo Primitivo.
  • T12: Restauração de Cadeia de Primitivos (preenchimento de uma lacuna mascarada em uma cadeia de ação).

Construção de Dados: ProcessData

O benchmark é construído sobre o ProcessData, um corpus curado de aproximadamente 58.000 pares de pergunta-resposta abrangendo 260 tarefas de manipulação.

• Integração de Fontes: Os dados agregam quatro fontes distintas de manipulação robótica, cada uma contribuindo com tipos específicos de supervisão:
  • GM-100: Tarefas de longo prazo condicionadas ao objetivo.
  • RH20T: Traços multimodais ricos em contato.
  • REASSEMBLE: Cadeias de ação explícitas em nível de primitivo.
  • AIST-Bimanual: Movimento e coordenação bimanual.
• Unidades de Processo Local (LPUs): Longos episódios de manipulação são decompostos em unidades de decisão localizadas temporalmente (LPUs) ancoradas por eventos de contato, intervalos de primitivos ou regimes de interação estáveis. Isso permite que o benchmark avalie o sub-progresso local em vez de apenas a conclusão global do episódio.
• Divisão: O ProcessData é estritamente dividido em ProcessData-SFT (para ajuste fino supervisionado) e ProcessData-Eval (para avaliação), garantindo o isolamento de episódios e gravações para evitar vazamento de dados (data leakage).

Protocolo Experimental

Os autores avaliaram um amplo conjunto de VLMs de código aberto (ex: Qwen-VL, InternVL, RoboBrain) e de código fechado (ex: Gemini, GPT, Claude) no ProcessData-Eval. Adicionalmente, realizaram o ajuste fino supervisionado (SFT) no Qwen2.5-VL-7B e InternVL-3-8B usando o ProcessData-SFT para testar a aprendibilidade dos sinais de processo.

Principais Resultados

1. Limitações Diagnósticas de Modelos Zero-Shot

A avaliação no ProcessData-Eval revela que os atuais VLMs carecem de um entendimento consciente de processo robusto e uniforme:

• Desempenho Fragmentado: Nenhum modelo zero-shot único domina todas as famílias de tarefas. O desempenho varia significativamente entre diferentes pistas de processo (ex: um modelo pode ser excelente em direção de movimento, mas falhar em ordenação temporal).
• Estado Local vs. Progresso: Tarefas fundamentadas em estados locais visíveis (Detecção de Contato, Estado de Movimento) são mais fáceis para modelos zero-shot. Em contraste, o Progresso Local do Primitivo (T5) permanece um gargalo significativo, com o baseline zero-shot mais forte alcançando apenas ~34,4% de acurácia (próximo ao baseline aleatório de 33,3%).
• Déficit de Raciocínio Temporal: A ordenação temporal (T8) e a predição de prioridade (T9) permanecem próximas aos níveis de acaso para a maioria dos modelos, indicando que contextos visuais curtos não geram automaticamente um raciocínio temporal confiável na manipulação robótica.

2. Aprendibilidade via ProcessData-SFT

O ajuste fino supervisionado no ProcessData-SFT demonstra que os sinais conscientes de processo são aprendíveis:

• Ganhos Significativos: Ambos os modelos pós-treinados (ProcessData-SFT-Qwen e ProcessData-SFT-Intern) mostraram melhorias consistentes em relação aos seus baselines zero-shot em monitoramento estático e raciocínio dinâmico.
• Melhorias Específicas:
  • Monitoramento Estático: Melhorou em ~43–44 pontos, atingindo ~77% de acurácia.
  • Raciocínio Dinâmico: Melhorou em ~21–24 pontos, atingindo ~69% de acurácia.
  • Estimativa de Progresso: A acurácia de T5 melhorou cerca de 11 pontos (de ~34% para ~45%), sugerindo que a supervisão estruturada pode ensinar os modelos a reconhecer evidências visuais de avanço.
• Gargalos Persistentes: Apesar dos ganhos, a ordenação temporal (T8) permaneceu próxima ao nível de acaso mesmo após o pós-treinamento, e a predição de resultado (T7) mostrou melhorias inconsistentes. Isso sugere que, embora estados locais e transições de primitivos sejam aprendíveis, a reconstrução temporal robusta e a predição de resultados requerem avanços adicionais (ex: modelagem de vídeo mais forte ou memória).

Significância e Alegações

O artigo posiciona o RoboProcessBench não como um substituto para benchmarks de política de malha fechada (closed-loop), mas como uma ferramenta diagnóstica e um substrato aprendível para o desenvolvimento de avaliadores de processo baseados em VLM.

• Valor Diagnóstico: O benchmark decompõe o entendimento de processo em 12 dimensões separáveis, revelando que os modelos atuais possuem capacidades fragmentadas. Ele destaca fraquezas específicas na estimativa de progresso local de primitivos e no raciocínio temporal que pontuações agregadas ocultariam.
• Fonte de Supervisão: Os resultados demonstram que o entendimento consciente de processo não é um traço inerente e não aprendível dos VLMs. A supervisão estruturada derivada de traços fisicamente fundamentados (ProcessData-SFT) pode aumentar significativamente a capacidade de um modelo de monitorar estados locais, movimentos e transições de primitivos.
• Fundação para Sistemas Futuros: Ao estabelecer que os sinais de processo são aprendíveis, o RoboProcessBench fornece uma base para o desenvolvimento de futuros módulos robóticos do tipo "juiz", como Modelos de Recompensa de Processo (PRMs) e críticos conscientes de progresso, que exigem um entendimento refinado do desenrolar da execução, em vez de apenas os resultados finais.

Os autores concluem que, embora os modelos atuais estejam longe de serem uniformemente conscientes de processos, o benchmark identifica com sucesso as lacunas específicas e fornece um caminho para treinar VLMs para monitorar e avaliar melhor os processos de manipulação robótica.