ResWM: Residual-Action World Model for Visual RL

1. O Problema

O aprendizado de modelos de mundo a partir de observações visuais brutas é um desafio central no Aprendizado por Reforço (RL), especialmente para robótica e controle contínuo. As abordagens convencionais de RL baseado em modelos (MBRL) condicionam as previsões futuras diretamente sobre ações absolutas. Esta abordagem apresenta várias limitações críticas:

• Instabilidade de Otimização: As distribuições de ações ótimas são dependentes da tarefa, desconhecidas a priori e frequentemente levam a distribuições de alta variância.
• Comportamento Oscilatório: A previsão de ações absolutas tende a gerar trajetórias de controle erráticas ou oscilatórias, o que prejudica a eficácia do planejamento de longo prazo e introduz riscos de segurança em sistemas físicos.
• Ineficiência de Amostragem: A busca no espaço de ações absolutas é complexa e ineficiente, exigindo muitas interações com o ambiente para convergir.

Existe uma desconexão fundamental entre a estrutura algorítmica dos modelos de mundo existentes e a necessidade inerente de suavidade temporal e eficiência energética no controle de agentes físicos.

2. Metodologia

O artigo propõe o Residual-Action World Model (ResWM), um novo framework que reformula a variável de controle e a representação de observação. A metodologia baseia-se em dois princípios inovadores:

A. Política de Ação Residual (Residual-Action Policy)

Em vez de prever a ação absoluta $a_t$, a política prevê um ajuste incremental (resíduo) $\delta a_t$ em relação à ação anterior $a_{t-1}$.

• Formulação: A ação final é calculada como $a_t = \tanh(a_{t-1} + \delta a_t)$, onde $\delta a_t \sim \pi_\theta(\cdot | z_t, a_{t-1})$.
• Vantagem: Isso incorpora um prior de suavidade temporal forte, restringindo a busca de otimização a uma variedade local em torno da ação anterior, em vez de um espaço global descontrolado. Isso reduz a variância, estabiliza o aprendizado e gera trajetórias energeticamente mais eficientes.

B. Codificador de Diferença de Observação (Observation Difference Encoder - ODL)

Para alinhar a percepção com a ação residual, o ResWM introduz o ODL.

• Funcionamento: Diferente de empilhamento de frames (frame-stacking) que codifica quadros estáticos, o ODL codifica explicitamente as diferenças temporais entre quadros consecutivos ($o_t$ e $o_{t-1}$).
• Mecanismo: Utiliza redes neurais convolucionais (CNNs) para extrair características e calcular a diferença, normalizando o resultado para obter uma representação latente $z_t$.
• Benefício: Isso filtra redundâncias estáticas (como fundos) e foca apenas nas mudanças dinâmicas causais relevantes para a ação do agente, criando uma representação latente "consciente da dinâmica".

C. Dinâmica Latente e Otimização

O modelo é integrado a uma arquitetura estilo Dreamer (Recurrent State-Space Model - RSSM), mas com modificações cruciais:

• A função de transição é condicionada diretamente na ação residual $\delta a_t$ e não na ação absoluta.
• Tanto o "imaginário" (rollouts no espaço latente) quanto a otimização da política ocorrem inteiramente no espaço de ações residuais.
• Regularização: Inclui uma penalidade KL para manter a distribuição de resíduos próxima de uma Gaussiana de média zero e uma penalidade de energia opcional para limitar o esforço de atuação.

3. Principais Contribuições

1. Residual-Action World Model (ResWM): Um novo framework de MBRL que reparametriza o espaço de ações para incorporar um prior de suavidade temporal, reduzindo drasticamente a complexidade de aprendizado e aumentando a estabilidade.
2. Observation Difference Encoder (ODL): Uma arquitetura que forja representações latentes conscientes da dinâmica ao capturar explicitamente mudanças temporais em entradas visuais consecutivas, alinhando percepção e controle.
3. Validação Empírica Robusta: Demonstração de que o ResWM supera baselines de ponta (como Dreamer, TD-MPC, DeepRAD e ResAct) em eficiência de amostragem, desempenho assintótico e suavidade de controle, sem exigir hiperparâmetros adicionais.

4. Resultados Experimentais

Os experimentos foram conduzidos no DeepMind Control Suite (DMControl) e no benchmark Atari.

• Eficiência de Amostragem e Desempenho Assintótico (DMControl):
  • Em tarefas padrão (6 tarefas), o ResWM atingiu uma pontuação média de 828.7 em 100k passos (superando o DeepRAD em ~21%) e 925.0 em 500k passos, estabelecendo um novo estado da arte (SOTA).
  • Em tarefas "difíceis" (5 tarefas com observabilidade parcial e controle de alta precisão), o ResWM manteve a liderança, alcançando 644.8 em 1M de passos, superando consistentemente o ResAct e o TACO.
• Generalização (Atari):
  • No benchmark Atari, o ResWM alcançou uma pontuação média normalizada de 0.96, superando significativamente métodos concorrentes (ex: ResAct em 0.86), demonstrando eficácia tanto em controle contínuo quanto discreto.
• Análise de Ablação:
  • A remoção da política residual (V1) causou a maior queda de desempenho, falhando completamente em tarefas difíceis como Hopper, Hop.
  • A remoção do ODL (V2) também degradou o desempenho, confirmando a importância de focar nas mudanças temporais.
• Análise Qualitativa:
  • Mapas de atenção mostram que, enquanto o DeepRAD foca difusamente em contornos de membros, o ResWM (via ODL) concentra-se nitidamente nas articulações críticas e efetores, ignorando fundos estáticos.

5. Significado e Impacto

O ResWM oferece uma ponte prática entre avanços teóricos em RL e as exigências de sistemas robóticos do mundo real:

• Estabilidade e Segurança: Ao gerar trajetórias de controle mais suaves e menos oscilatórias, o modelo reduz o desgaste mecânico e o risco de falhas em robôs físicos.
• Eficiência Energética: A natureza incremental das ações residuais resulta em menor consumo de energia, um fator crítico para robôs autônomos.
• Simplicidade e Versatilidade: O framework pode ser integrado em arquiteturas existentes (como Dreamer) com modificações mínimas e sem custo computacional significativo de hiperparâmetros, tornando-o uma solução escalável e acessível.

Em suma, o ResWM demonstra que modelar ações como resíduos (mudanças incrementais) em vez de comandos absolutos é um princípio poderoso para resolver a complexidade do controle visual de longo prazo.