Resumo Técnico: Recompensa como um Agente para Modelos de Mundo Incorporados

Declaração do Problema

Embora o Aprendizado por Reforço (RL) tenha refinado com sucesso Grandes Modelos de Linguagem (LLMs) e Modelos de Visão-Linguagem (VLMs) utilizando sinais de recompensa confiáveis (ex: execução de código), sua aplicação a Modelos de Mundo Incorporados (Embodied World Models) permanece limitada. Métodos existentes dependem de estratégias de rollout conservadoras que permanecem próximas à distribuição de treinamento para evitar o ataque à recompensa (reward hacking).

Em tarefas incorporadas, as recompensas são frequentemente baseadas em proxies e subjetivas. Sem verificação robusta, a exploração expandida leva a políticas que exploram falhas na função de recompensa (ex: oclusão visual, degradação de movimento ou invalidação física) em vez de alcançar melhorias genuínas no realismo físico ou na conclusão da tarefa. O gargalo central identificado não é a exploração em si, mas a falta de estratégias de verificação confiáveis para suportar uma exploração mais ampla sob mudanças de distribuição.

Metodologia

O artigo propõe um framework unificado combinando um sistema de recompensa robusto com uma estratégia de exploração consciente da dinâmica para permitir o RL escalável para modelos de mundo.

1. Recompensa como um Agente

Para mitigar o ataque à recompensa, os autores redesenham a função de recompensa de um escalar estático para um framework de avaliação agêntico. Este sistema trata a avaliação como uma tarefa de múltiplos estágios realizada por um agente (construído sobre VLMs de escala de fronteira) em vez de depender de detectores de visão computacional rasos ou VLMs de domínio específico.

O framework opera através de quatro módulos principais:

• Planejamento: Uma avaliação global da qualidade do rollout que inicializa dinamicamente as prioridades das sub-recompensas antes da pontuação detalhada.
• Recompensa Baseada em Currículo: Uma ordem de avaliação hierárquica (Qualidade Visual $\to$ Seguimento de Instrução $\to$ Conclusão da Tarefa $\to$ Conformidade Física). Dimensões de nível inferior devem satisfazer critérios de limiar antes que as dimensões de nível superior sejam avaliadas, evitando que o modelo otimize recompensas avançadas enquanto falha em verificações de qualidade básicas.
• Mecanismo de Votação: Dimensões complexas (ex: conformidade física) são decompostas em componentes granulares (realismo de interação, deformação, penetração) avaliados via votação para penalizar falhas localizadas.
• Reflexão: Uma camada de confiabilidade onde o agente reavalia trajetórias com base em avaliações anteriores para verificar a consistência e revisar conclusões falhas.

O sistema avalia quatro dimensões principais: Qualidade Visual, Seguimento de Instrução, Conformidade Física e Conclusão da Tarefa.

2. Diversificação de Rollout Consciente da Dinâmica (DynDiff-GRPO)

Para abordar a subexploração de espaços dinâmicos no RL conservador, os autores introduzem o DynDiff-GRPO. Diferente do GRPO (Group Relative Policy Optimization) padrão, que suprime uniformemente a estocasticidade, este método realoca seletivamente a estocasticidade para regiões dinamicamente salientes, preservando a consistência da cena.

• Mecanismo: O método estima resíduos sensíveis à dinâmica a partir de variações temporais de amostras limpas previstas para gerar um mapa de intensidade dinâmica ($D$) e um prior de região dinâmica esparsa ($B$).
• Ruído Adaptativo: Esses mapas são combinados para criar um mask de rollout ($M_t$) que modula a escala de ruído ($\sigma_{noise}$). Regiões de alta dinâmica recebem exploração mais forte, enquanto regiões de baixa dinâmica mantêm a estabilidade.
• Otimização: A abordagem utiliza uma estimativa de verossimilhança Gaussiana total consciente de características, em vez de colapsar para uma variância escalar. Emprega uma regularização KL periódica livre de referência (usando parâmetros de distribuição em cache do buffer de rollout) para restringir o desvio da política sem o overhead de memória de um modelo de referência congelado.

Principais Contribuições

1. Framework Recompensa-como-um-Agente: Um sistema de avaliação estruturado de múltiplos estágios que substitui métricas estáticas por verificação agêntica adaptativa. Ele mitiga efetivamente o ataque à recompensa ao alinhar objetivos de proxy com metas incorporadas reais através de planejamento, currículo, votação e reflexão.
2. Rollout Consciente da Dinâmica (DynDiff-GRPO): Uma estratégia de rollout estocástica que expande a diversidade de trajetórias em regiões dinâmicas sem sacrificar a integridade estrutural ou a fidelidade visual, indo além de trajetórias conservadoras do tipo ODE.
3. Evidência de RL Escalável: A unificação desses componentes demonstra que o escalonamento de RL em modelos de mundo pode ir além de regimes conservadores, gerando ganhos significativos de precisão quando fundamentado em verificação robusta.

Resultados Experimentais

O método foi avaliado no subset de robótica do PAI-Bench usando dois modelos base: Cosmos-Predict2.5 (2B) e Kairos-3.0-Robot (4B).

• Ganhos de Desempenho: O DynDiff-GRPO alcançou melhorias significativas em Pontuações de Domínio (raciocínio e alinhamento de ação) e Pontuações Gerais.
  • Para o Cosmos-Predict2.5, a Pontuação Geral melhorou em +1.33 (de 79.42 para 80.75).
  • Para o Kairos-3.0-Robot, a Pontuação Geral melhorou em +1.53 (de 80.35 para 81.88), com um ganho notável de +3.08 na Pontuação de Domínio.
• Precisão do Sistema de Recompensa: Avaliado no dataset AgiBotWorld-Beta, o sistema "Recompensa como um Agente" alcançou 91.0% de alinhamento geral com julgamentos humanos. A precisão do planejamento foi a mais alta, com 98%, enquanto a Conformidade Física (a dimensão mais difícil) atingiu 82%.
• Estudos de Ablação:
  • Diversidade de Rollout: O DynDiff-GRPO manteve uma maior diversidade de trajetória (medida pela distância de cosseno DINOv3) comparado a baselines conservadores como o CPS.
  • Configuração: O estudo descobriu que a regularização KL no espaço de distribuição (sobre o espaço log-prob) e a redução do clipping de vantagem (2.5 vs 5) melhoraram a estabilidade. O Classifier-Free Guidance (CFG) melhorou o desempenho, mas com custo computacional; desativá-lo em altas resoluções manteve o desempenho competitivo enquanto melhorava o throughput.

Significância e Alegações

O artigo afirma que a limitação fundamental na aplicação de RL a modelos de mundo não é o mecanismo de exploração, mas o gap de verificação. Ao introduzir um sistema de recompensa robusto, baseado em agentes, que pode verificar comportamentos sob mudanças de distribuição, os autores demonstram que uma exploração mais ampla é viável e necessária para o avanço dos modelos de mundo incorporados.

O trabalho estabelece que a exploração e a verificação devem escalar em conjunto. Quando a exploração é ancorada por uma verificação multidimensional confiável (Recompensa como um Agente) e guiada por amostragem consciente da dinâmica (DynDiff-GRPO), o RL pode otimizar com sucesso modelos de mundo para dinâmicas físicas complexas, indo além das trajetórias estreitas e favorecidas pela recompensa dos regimes conservadores. Isso fornece um caminho para o sucesso de escalonamento de RL visto em modelos de fundação, agora aplicado ao domínio da IA incorporada.