Resumo Técnico: ROBOMETER

Declaração do Problema

Os atuais modelos de recompensa robótica de propósito geral enfrentam desafios significativos de escalabilidade e generalização. As abordagens existentes dependem exclusivamente de rótulos de progresso absoluto derivados de demonstrações de especialistas (por exemplo, interpolação linear do progresso de 0 a 1). Embora eficazes para trajetórias bem-sucedidas, esse paradigma falha em escalar para grandes conjuntos de dados heterogêneos por duas razões principais:

1. Ambiguidade em Trajetórias Falhas: Tentativas subótimas ou falhas, que são abundantes na coleta de dados do mundo real, carecem de rótulos de progresso absoluto bem definidos. O progresso nesses casos frequentemente flutua ou regride, tornando a supervisão ponto a ponto custosa e mal definida.
2. Generalização Limitada: Modelos treinados exclusivamente com supervisão de progresso local à trajetória lutam para generalizar entre diferentes corporificações robóticas, cenas e qualidades variadas de trajetória. Frequentemente, falham em distinguir entre comportamentos bem-sucedidos e subótimos quando as pontuações absolutas são ambíguas.

O artigo postula que a cognição humana depende de julgamentos comparativos em vez de escalas absolutas isoladas para internalizar progresso calibrado. Consequentemente, modelos de recompensa robótica exigem um sinal de supervisão que aproveite a ordenação relativa entre trajetórias diversas para aprender funções de recompensa robustas e generalizáveis.

Metodologia

1. O Framework ROBOMETER

ROBOMETER é um framework de modelagem de recompensa escalável que combina supervisão de progresso intra-trajetória com supervisão de preferência inter-trajetória. Utiliza uma receita de treinamento de dupla objetivo:

• Perda de Progresso por Quadro: Ancora a magnitude da recompensa aos dados de especialistas prevendo progresso denso, por quadro (discretizado em 10 bins sobre [0, 1]) e rótulos binários de sucesso. Isso garante que o modelo aprenda a estrutura temporal da conclusão da tarefa.
• Perda de Preferência de Comparação de Trajetória: Impõe restrições de ordenação global prevendo qual de duas trajetórias satisfaz melhor uma instrução em linguagem. Isso permite que o modelo aprenda a partir de comparações relativas sem exigir pontuações absolutas para trajetórias falhas.

2. Arquitetura

ROBOMETER é construído sobre uma espinha dorsal de Modelo Visão-Linguagem (VLM) pré-treinado, especificamente Qwen3-VL-4B-Instruct.

• Tokenização: O modelo processa tokens de texto e visuais intercalados. Para permitir estimativa densa de recompensa sem interromper representações pré-treinadas, insere tokens de progresso aprendíveis (<|prog token|>) após cada quadro da primeira trajetória e um único token de preferência (<|pref token|>) no final do prompt.
• Mascaramento Causal: A arquitetura usa mascaramento causal para garantir que os tokens de progresso atendam apenas aos quadros atuais e anteriores da primeira trajetória (permitindo inferência online), enquanto o token de preferência atende a ambas as trajetórias para fazer um julgamento relativo.
• Cabeças: Cabeças MLP leves são anexadas aos estados ocultos dos tokens de progresso (para previsão de progresso e sucesso) e do token de preferência (para classificação binária de preferência).

3. O Conjunto de Dados RBM-1M

Para suportar esse treinamento de dupla objetivo em escala, os autores curaram o RBM-1M, um conjunto de dados com mais de 1 milhão de trajetórias abrangendo 21 corporificações robóticas (incluindo manipuladores de braço único, bimanual e móveis) e cenas diversas.

• Composição: O conjunto de dados agrega demonstrações de especialistas (por exemplo, Open-X, AGIBotWorld), vídeos humanos (Epic-Kitchens), dados de simulação (LIBERO) e, crucialmente, trajetórias falhas e subótimas não rotuladas de rolagens automatizadas e conjuntos de dados de detecção de falhas.
• Estratégias de Aumento: Para construir pares de preferência sem anotação humana adicional, os autores empregam três estratégias:
  1. Comparações Baseadas em Progresso: Contrastando demonstrações de especialistas contra falhas não rotuladas ou trajetórias subótimas.
  2. Negativos de Instrução: Emparelhando trajetórias com instruções em linguagem distintas para garantir que as recompensas estejam fundamentadas no comando.
  3. Rebobinar Vídeo: Gerando falhas sintéticas invertendo segmentos de trajetórias bem-sucedidas para modelar "desfazer" o progresso.

Principais Contribuições

1. Receita de Treinamento de Duplo Objetivo: O artigo introduz um método para treinar modelos de recompensa usando tanto rótulos de progresso absoluto (para dados bem-sucedidos) quanto rótulos de preferência em pares (para todos os dados, incluindo falhas). Isso permite a utilização efetiva de dados subótimos anteriormente inutilizáveis.
2. Conjunto de Dados RBM-1M: A liberação de um conjunto de dados de grande escala e múltiplas corporificações contendo extensos dados de falha, especificamente projetado para treinar relações de preferência globalmente consistentes.
3. Generalização Escalável: O framework demonstra que a supervisão de preferência atua como um regularizador, induzindo uma representação de recompensa interna mais estruturada que melhora a capacidade do modelo de distinguir trajetórias bem-sucedidas de subótimas, mesmo quando treinado com dados de especialistas limitados.

Resultados Experimentais

Avaliação de Recompensa

ROBOMETER foi avaliado no RBM-EVAL-OOD, um conjunto de 976 trajetórias de 3 instituições e 6 corporificações (3 das quais não vistas durante o treinamento).

• Alinhamento de Recompensa: ROBOMETER alcançou uma Correlação de Ordem de Valor (VOC) de 0,94 em dados OOD, superando baselines do estado da arte (por exemplo, RoboReward-8B em 0,88, VLAC-8B em 0,38).
• Classificação de Trajetória: Ao distinguir trajetórias bem-sucedidas de falhas, ROBOMETER alcançou um Kendall-$\tau_a$ de 0,64 em dados OOD, superando significativamente o RoboReward-8B (0,47) e o ReWiND (0,01).
• Detecção de Falhas: Em tarefas de detecção de falhas zero-shot, ROBOMETER alcançou a maior pontuação F1 média (0,81), equilibrando efetivamente as taxas de verdadeiros positivos e verdadeiros negativos, enquanto baselines como VLAC sofreram com altos falsos positivos e baselines de incerteza de token sofreram com altos falsos negativos.

Aprendizado de Política a jusante

O artigo demonstra que as recompensas densas e bem calibradas do ROBOMETER melhoram o aprendizado robótico a jusante em quatro configurações:

1. RL Online Automático: Usar DSRL com ROBOMETER melhorou as taxas de sucesso de 20% para 85% em uma tarefa de estágio único e de 20% para 70% em uma tarefa de múltiplos estágios, superando o RoboReward em 2,5$\times$.
2. RL Offline: Em configurações de mistura de expertise (especialista + dados ruidosos), o ROBOMETER permitiu que políticas IQL alcançassem uma melhoria de 2,4$\times$ nas taxas de sucesso sobre a melhor baseline.
3. Filtragem e Recuperação de Dados: Quando usado para recuperar subtrajetórias relevantes para a tarefa para aprendizado por imitação, os dados filtrados pelo ROBOMETER renderam uma taxa de sucesso 4,5$\times$ maior em comparação com baselines como STRAP e SigLIP.
4. RL Baseado em Modelo: Integrar o ROBOMETER ao DreamZero melhorou as taxas de sucesso de 20% para 70% em um ambiente desordenado.

Estudos de Ablação

• Supervisão de Preferência: Adicionar perda de preferência ao treinamento apenas com progresso melhorou consistentemente as métricas de classificação (Kendall-$\tau$) e a separação sucesso-falha.
• Dados de Falha: Incorporar trajetórias de falha não rotuladas para treinamento de preferência forneceu os maiores ganhos na discriminação de recompensa.
• Esqueleto: Substituir a espinha dorsal VLM pré-treinada por uma arquitetura menor e não pré-treinada (variante ReWiND) resultou em degradação severa de desempenho, confirmando a necessidade de pré-treinamento multimodal em grande escala.

Significado e Alegações

O artigo alega que o ROBOMETER representa uma mudança da supervisão de progresso absoluto para a supervisão de preferência comparativa como um mecanismo para escalar o aprendizado de recompensa. Ao aproveitar comparações relativas, o framework pode utilizar efetivamente as vastas quantidades de dados subótimos e falhos que são ubíquos na robótica do mundo real, mas anteriormente descartados.

Os autores enfatizam que essa abordagem permite:

• Escalabilidade: Aprender de conjuntos de dados contendo milhões de trajetórias sem a necessidade de anotações absolutas densas em cada quadro.
• Generalização: Desempenho robusto em corporificações robóticas, cenas e pontos de vista de câmera não vistos.
• Utilidade Prática: Aplicabilidade imediata em RL online, RL offline, curadoria de dados para aprendizado por imitação e detecção automatizada de falhas.

O trabalho conclui que, embora os modelos atuais lutem com a ambiguidade da falha, uma abordagem de duplo objetivo ancorada pelo progresso de especialistas, mas guiada por preferências globais, permite que modelos de recompensa internalizem escalas calibradas de progresso da tarefa, acelerando assim o aprendizado robótico em ambientes complexos e do mundo real.