Resumo Técnico: ProcVLM

Declaração do Problema

A manipulação robótica de longo horizonte requer sinais de feedback densos que reflitam com precisão o avanço da tarefa através de estágios procedimentais, em vez de depender exclusivamente de resultados binários de sucesso/fracasso no nível da trajetória. Modelos de recompensa existentes frequentemente dependem de rótulos terminais esparsos ou interpolação baseada em tempo. Os autores argumentam que essas abordagens falham em capturar estados críticos, como etapas inacabadas, estagnação e recuperação de falhas, pois o tempo decorrido não necessariamente correlaciona-se com o progresso real da tarefa em tarefas de manipulação complexas. Além disso, a maioria dos conjuntos de dados robóticos em grande escala carece de anotações explícitas da estrutura procedimental (por exemplo, limites de subtarefas e ações restantes), forçando modelos de recompensa a depender de supervisão indireta que confunde proxies temporais com progresso semântico.

Metodologia

1. Síntese de Supervisão Procedimental (ProcCorpus-60M)

Para abordar a falta de supervisão procedimental densa, os autores desenvolveram um pipeline escalável para sintetizar anotações ao nível de quadro a partir de trajetórias robóticas brutas.

• Anotação Hierárquica: Utilizando Grandes Modelos Visão-Linguagem (VLMs) como anotadores, o pipeline primeiro infere planos de tarefa de alto nível e intervalos temporais de subtarefas a partir do vídeo inteiro. Em seguida, expande esses segmentos em atribuições quadro a quadro, gerando pistas de raciocínio (raciocínio de estado, status de conclusão, ações restantes) em quadros-chave visualmente deduplicados.
• Construção do Conjunto de Dados: Este pipeline foi aplicado a 30 conjuntos de dados corporificados (incluindo DROID, BridgeData V2, Fractal e benchmarks de simulação), resultando no ProcCorpus-60M, contendo mais de 400 mil trajetórias e 60 milhões de quadros anotados.
• Rotulagem de Progresso: Alvos de progresso contínuo são derivados combinando a estrutura ao nível de subtarefa com o movimento visual intra-subtarefa. Um orçamento de progresso é atribuído a cada subtarefa com base em sua duração relativa, e esse orçamento é distribuído ao longo do tempo de acordo com mudanças visuais locais ($\|\dot{\phi}(\tau)\|$), evitando uma simples interpolação linear de tempo.

2. ProcVQA e Paradigma de Treinamento

As anotações são convertidas em ProcVQA, um corpus de treinamento de 20 bilhões de tokens centrado na estimativa de progresso da tarefa. O treinamento segue um paradigma de "raciocínio antes da estimativa", onde o modelo deve primeiro inferir o estágio atual de execução e as ações atômicas restantes antes de prever uma pontuação de progresso contínua.

• Famílias de Tarefas:
  • Previsão de progresso estruturado por subtarefa: O modelo gera subtarefas atômicas restantes seguidas por uma porcentagem de conclusão contínua envolta em tags <progress>.
  • Segmentação de ação: Previsão de limites temporais de ações atômicas.
  • Planejamento futuro: Previsão da sequência de ações restantes necessárias para completar a tarefa.
• Arquitetura: O ProcVLM é construído sobre uma base Qwen3-VL-2B-Instruct. Utiliza um cabeçalho padrão de modelagem de linguagem autoregressiva para geração de texto e um cabeçalho de valor de progresso dedicado (um MLP de 3 camadas) para regressão contínua.
• Objetivos de Treinamento: Uma função de perda conjunta combina a perda de modelagem de linguagem ($L_{LM}$) com uma perda de regressão ($L_{value}$) para a pontuação de progresso. Um mecanismo de ativação (gating) ativa o cabeçalho de valor apenas quando há supervisão de progresso presente.
• Treinamento em Duas Etapas:
  1. Pré-treinamento: Treinamento em grande escala no conjunto de dados completo ProcVQA (~20 bilhões de tokens) para aprender representações procedimentais gerais.
  2. Refinamento: Ajuste fino em um subconjunto curado e de alta qualidade (~2,8 bilhões de tokens) para aprimorar o alinhamento de subtarefas e a estimativa de progresso.

Contribuições Principais

1. ProcVLM: Um VLM corporificado consciente de progresso que prevê recompensas densas fundamentadas em procedimentos. Ele vincula a estimativa de progresso contínua à semântica de subtarefas, ações restantes e avanço dentro do estágio através de um paradigma de raciocínio antes da estimativa.
2. Pipeline de Supervisão Escalável: Um método para converter trajetórias de manipulação brutas em anotações ao nível de quadro, estruturadas por subtarefas, gerando o ProcCorpus-60M e o benchmark ProcVQA.
3. Avaliação Sistemática: Avaliação abrangente em compreensão consciente de procedimentos, modelagem de recompensa, adaptação entre tarefas e otimização de política a jusante.

Resultados Experimentais

Compreensão Procedimental Corporificada (ProcVQA)

Avaliado em divisões dentro da distribuição (ID) e fora da distribuição (OOD), o ProcVLM superou VLMs mainstream (incluindo GPT-5.4, Gemini 3.1 Pro e Qwen3.5) em segmentação de ação, planejamento futuro e estimativa de progresso da tarefa. Alcançou as pontuações mais altas em BF1@5, Sucesso, VOC (Correlação Valor-Ordem) e EPR@50 (Resolução de Progresso Efetivo).

Avaliação de Recompensa de Progresso Generalizável

• Comparação Zero-Shot: No subconjunto ProcVQA-OOD, o ProcVLM alcançou o melhor VOC, indicando ordenação de progresso interna à trajetória superior em comparação com baselines como Robometer e RoboDopamine.
• Adaptação One-Shot: No benchmark RoboFAC (análise de falhas em robôs reais), adicionar uma única demonstração bem-sucedida melhorou o VOC do ProcVLM em 85,7% e o MCC em 18,8%. Em contraste, baselines como Robometer mostraram melhoria mínima, sugerindo que supervisão de preferência esparsa é menos eficaz para adaptação com demonstração única.
• Estudos de Ablação: Remover o pré-treinamento consciente de procedimentos causou uma degradação severa (por exemplo, -88,8% no MAE para localização de falhas), confirmando que o pré-treinamento em grande escala é essencial para percepção de progresso transferível. Remover a supervisão formatada por raciocínio também levou a quedas consistentes, destacando a importância da estrutura explícita de subtarefas.

Otimização de Política a Jusante

Em experimentos de ajuste fino guiado por recompensa (RFT) usando o framework Evo-RL:

• Simulação (LIBERO-10): RFT com recompensas do ProcVLM produziu ganhos moderados (+0,4 a +1,2 pontos percentuais) sobre o ajuste fino supervisionado (SFT).
• Robô Real (Stack Bowls): O RFT demonstrou melhorias significativas, aumentando as taxas de sucesso em +25,0% em 5 mil passos e +12,5% em 10 mil passos em comparação com o SFT. Os autores atribuem isso à capacidade do ProcVLM de reduzir o peso de segmentos ruidosos (por exemplo, repetidas tentativas de agarrar) em dados teleoperados, estabilizando a otimização da política.

Significado e Alegações

O artigo afirma que a estimativa de progresso fundamentada em procedimentos é um habilitador crítico para modelagem de recompensa transferível em robótica. Ao fundamentar o progresso na estrutura procedimental em vez de proxies temporais, o ProcVLM fornece feedback discriminativo que apoia a melhoria estável da política, particularmente em cenários envolvendo dados ruidosos de robôs reais e tarefas de longo horizonte. O trabalho sugere que o pré-treinamento em grande escala consciente de procedimentos é uma rota promissora para desenvolver modelos de recompensa que possam generalizar entre tarefas e modos de falha, facilitando a otimização de política guiada por recompensa além de demonstrações offline.

Os autores reconhecem limitações, observando que as estimativas dependem da qualidade da decomposição de subtarefas e que o trabalho atual foca em um conjunto específico de configurações de otimização guiada por recompensa, em vez de cobrir exaustivamente todas as integrações baseadas em gradiente de política ou preferência.