Resumo Técnico: Bons Modelos de Recompensa Incorporada Precisam de Dados de Comportamentos Ruins

Declaração do Problema

O artigo identifica uma lacuna crítica no desenvolvimento de modelos de recompensa incorporados (RMs) para a robótica. Embora os modelos de recompensa sejam centrais para o ciclo de vida dos modelos de fundação — permitindo o aprendizado por reforço (RL) pós-treinamento, computação em tempo de teste e avaliação em larga escala — os atuais RMs incorporados são sistematicamente otimistas demais.

Ao contrário dos domínios não incorporados (ex: LLMs), onde dados "ruins" (linguagem tóxica, falácias lógicas) são abundantes e baratos de gerar, a coleta de dados incorporados é limitada pelo tempo de execução (wall-clock time) e pela segurança do hardware. Consequentemente, os conjuntos de dados e modelos de recompensa de robótica existentes são treinados primordialmente em comportamentos bem-sucedidos (demonstrações de especialistas), com falhas, interações perigosas e execuções subótimas sendo filtradas ou retidas. Essa escassez de dados leva a modelos de recompensa que falham em penalizar comportamentos que humanos rejeitariam, tais como:

• Interações inseguras (ex: colisões).
• Má qualidade de execução (ex: derramar, deixar cair).
• Estratégias de "atalho" que satisfazem superficialmente uma tarefa enquanto violam restrições implícitas.

Os autores argumentam que, sem a exposição a dados de robôs "ruins", os modelos de recompensa não podem ser devidamente calibrados, criando um distanciamento crescente entre a capacidade do modelo e a habilidade de avaliar comportamentos físicos complexos.

Metodologia

Avaliação de Modelos de Estado da Arte (SOTA)

Os autores avaliaram três famílias distintas de modelos de recompensa incorporados de código aberto usando o benchmark RoboArena, que fornece rollouts de robôs reais e julgamentos de preferência pareada humana através de sete categorias de tarefas de complexidade crescente (de Pick/Place a Tool Use):

1. Baseado em preferência (ReWind): Treinado via negativos sintéticos gerados por perturbações em trajetórias de especialistas.
2. VLM Zero-shot (GVL): Aproveita Modelos de Linguagem-Visão para raciocinar sobre frames e gerar recompensas densas sem ajuste fino (fine-tuning).
3. VLM Ajustado (Dopamine): Realiza o ajuste fino de um VLM pré-treinado em rótulos de progresso de tarefa construídos heuristicamente.

Protocolo de Avaliação:
Em vez de depender da Correlação de Ordem de Valor (VOC), que apenas mede o progresso temporal, os autores utilizaram rankings de preferência pareada humana como a verdade fundamental (ground truth). Eles mediram a precisão da ordenação de preferência ($A$), calculando a fração de comparações pareadas preferidas por humanos corretamente classificadas pelo modelo de recompensa.

Intervenção: Injeção de Dados "Ruins"

Para testar a hipótesia de que dados "ruins" melhoram a calibração, os autores experimentaram com aprendizado em contexto (in-context learning) usando o modelo GVL. Eles injetaram progressivamente exemplos negativos no prompt do modelo:

1. Apenas texto: Resumos textuais concisos de modos de falha destilados a partir de feedback humano.
2. Texto + Vídeo: Emparelhamento de descrições de falhas com clipes de vídeo reais do robô durante a falha.
3. Texto + Vídeo + Recompensas Densas: Adição de rótulos de recompensa densos por passo de tempo (per-timestep), derivados via autodestilação guiada por preferência (selecionando sequências de recompensa que se alinham com as preferências A/B humanas).

Principais Resultados

1. Super-recompensa Sistemática de Falhas

Os modelos SOTA atuais apresentam um desempenho razoável em tarefas simples (Pick/Place, precisão ~0,72–0,77), mas degradam significativamente conforme a complexidade da tarefa aumenta.

• Uso de Ferramentas (Tool Use): A precisão cai para 0,52–0,62, mal acima do acaso.
• Falha Qualitativa: Em exemplos visuais, os modelos atribuíram altas recompensas a trajetórias onde o robô colidiu com objetos ou derramou itens, desde que o robô fizesse "progresso" em direção ao objetivo. Os modelos falharam em distinguir entre conclusão bem-sucedida e execução insegura ou de baixa qualidade.

2. Impacto da Injeção de Dados "Ruins"

A injeção de dados negativos melhorou significamente o alinhamento dos modelos de recompensa com as preferências humanas:

• Apenas texto: Proporcionou melhoria negligenciável, sugerindo que os VLMs têm dificuldade em ancorar (grounding) descrições textuais abstratas de falhas em comportamentos físicos específicos.
• Texto + Vídeo: Resultou em um aumento de ~8% na precisão em tarefas mais simples. O grounding visual ajudou o modelo a desambiguar comportamentos "ruins" (ex: errar uma preensão).
• Texto + Vídeo + Recompensas Densas: Gerou os maiores ganhos, particularmente em tarefas complexas como Tool Use e Pour Liquid, alcançando um aumento de ~10% na precisão. Traços de recompensa densos forneceram um sinal de calibração concreto para restrições sutis (ex: violações de segurança ocorrendo no meio da trajetória) que o texto ou o vídeo de frame único não conseguiam capturar.

Principais Contribuições

1. Demonstração Empírica de Viés de Dados: O artigo fornece evidência experimental de que os atuais modelos de recompensa incorporados são sistematicamente otimistas demais devido à falta de dados negativos de treinamento, falhando em penalizar comportamentos inseguros ou subótimos que humanos rejeitariam.
2. Quantificação do Gap: Através do benchmark RoboArena, os autores quantificam a degradação na precisão do modelo de recompensa conforme a complexidade da tarefa aumenta, mostrando que os modelos se aproximam do acaso em tarefas nuances.
3. Validação da Utilidade de Dados "Ruins": O estudo demonstra que mesmo uma modesta exposição a dados reais de falha de robôs (especificamente vídeo e rótulos de recompensa densos) melhora significativamente a calibração do modelo de recompensa e reduz falsos positivos.
4. Chamada à Ação da Comunidade: Os autores propõem quatro ações específicas para abordar o gap de dados:
   • Liberar conjuntos de dados de falhas curados: Indústria e academia devem parar de filtrar dados negativos e liberar conjuntos de dados de larga escala de falhas de robôs.
   • Geração Sintética: Desenvolver simuladores de alta fidelidade e modelos de geração de vídeo para criar trajetórias de falha diversas e interativas.
   • Avaliação Descentralizada: Escalar sistemas de avaliação física (como o RoboArena) com protocolos padronizados para coletar feedback humano diversificado.
   • Novos Benchmarks: Criar benchmarks para modelos de recompensa que dependam de rótulos densos e anotados por humanos, em vez de proxies esparsos ou heurísticos.

Significância e Alegações

O artigo argumenta que o caminho para uma IA incorporada confiável é bloqueado não apenas pela arquitetura do modelo, mas pelas práticas de curadoria de dados. Os autores afirmam que a dependência da comunidade em conjuntos de dados compostos apenas por "especialistas" criou um ponto cego para modos de falha.

A significância deste trabalho reside na sua afirmação de que a calibração requer contraste. Assim como os LLMs requerem exemplos negativos diversos para aprender segurança e alinhamento, os modelos de recompensa incorporados precisam de dados de robôs "ruins" para aprender as consequências físicas finas das falhas. O artigo postula que, sem uma mudança deliberada em direção à coleta e utilização de dados de robôs perigosos, falhos e ruidosos, a implantação de modelos de fundação em ambientes físicos permanecerá propensa a comportamentos inseguros e subótimos que os modelos de recompensa falham em detectar.