Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

1. Declaração do Problema

Agentes de Aprendizado por Reforço (RL) visual aprendem políticas diretamente de observações de pixels, mas são altamente vulneráveis a perturbações visuais dinâmicas (por exemplo, chuva, neve, desfoque de movimento, ruído do sensor e fundos em mudança). Benchmarks existentes frequentemente dependem de distrações de fundo estáticas ou corrupções fixas únicas, falhando em capturar a natureza não estacionária e variante no tempo de ambientes do mundo real, onde os tipos de corrupção alternam de forma imprevisível (por exemplo, o tempo mudando de chuva para neblina).

O artigo identifica dois modos de falha críticos nos métodos atuais:

1. Métodos sem Modelo: Codificadores confundem características de estado relevantes para a tarefa com artefatos de corrupção, levando à confusão da política quando as texturas de primeiro plano são ocluídas.
2. Métodos Baseados em Modelo (Modelos de Mundo): Objetivos baseados em reconstrução (por exemplo, no DreamerV3) forçam o estado latente a codificar características específicas da corrupção para minimizar o erro de reconstrução. Sob alternância dinâmica, isso "emaranha" a perturbação na representação latente, contaminando as simulações imaginadas usadas para planejamento e causando quedas catastróficas de desempenho.

Soluções existentes, como aumento de dados ou aprendizado de representação invariante, falham porque ou ainda alimentam pixels corrompidos ao agente ou não conseguem recuperar informações perdidas no nível do pixel (por exemplo, primeiros planos ocluídos).

2. Metodologia: ACO-MoE

Os autores propõem Observações Centradas no Agente com Mistura de Especialistas (ACO-MoE), um framework de pré-processamento plug-and-play projetado para desacoplar a percepção da perturbação antes que o agente de RL processe a entrada.

Componentes Principais:

• Pré-processador Plug-and-Play: O ACO-MoE situa-se entre o ambiente e o backbone de RL (codificador). Ele recebe uma observação corrompida $x_t$ e produz uma observação limpa e centrada no agente $\tilde{x}_t$.
• Arquitetura de Mistura de Especialistas (MoE):
  • Codificador Compartilhado: Extrai características multiescala da entrada corrompida.
  • Roteador: Um módulo leve que seleciona dinamicamente um dos $|K|$ especialistas especializados com base nas características de entrada. Crucialmente, ele opera sem rótulos de oráculo do tipo de corrupção durante a inferência.
  • Especialistas de Restauração: Cada especialista é especializado para um tipo específico de degradação (por exemplo, chuva, desfoque, ruído).
• Saída de Duplo Fluxo: Cada especialista selecionado produz duas saídas:
  1. Resíduo RGB: Restaura os pixels de primeiro plano corrompidos.
  2. Máscara de Primeiro Plano: Segmenta o agente e os objetos relevantes para a tarefa do fundo.
• Composição Centrada no Agente: A observação final é construída compondo o primeiro plano restaurado sobre um fundo preto uniforme. Isso elimina distrações de fundo e garante que o agente de RL veja apenas o estado relevante para a tarefa.
• Estratégia de Treinamento: A MoE é pré-treinada offline em dados pareados limpos/corrompidos com máscaras pseudo. Durante o treinamento de RL, o módulo ACO-MoE é congelado, impedindo a deriva de observação e garantindo aprendizado de política estável.

3. Análise Teórica

O artigo fornece uma análise formal de teoria da informação para justificar a abordagem:

• Proposição 5.1 (Contaminação de Representação): Prova que, para modelos de mundo baseados em reconstrução, minimizar o erro de reconstrução inevitavelmente força a representação latente $Z_t$ a codificar o modo de corrupção $K_t$. Especificamente, $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$. Uma reconstrução precisa implica alto emaranhamento com o ruído.
• Corolário 5.2 (Primeiro Plano como Âncora IB): Demonstra que extrair o primeiro plano limpo $F_t$ atua como um substituto de Gargalo de Informação (IB). Como o primeiro plano é uma função determinística do estado $S_t$ e independente da corrupção exógena $K_t$, usar $F_t$ como entrada ($Z_t = F_t$) alcança invariância exata a incômodos ($I(Z_t; K_t | Y_t) = 0$) enquanto preserva a suficiência da tarefa.

4. Benchmark: Visual Degraded Control Suite (VDCS)

Para avaliar sistematicamente este problema, os autores introduzem o VDCS, uma extensão do DeepMind Control Suite (DMC).

• Perturbações Dinâmicas: Diferente de benchmarks estáticos, o VDCS utiliza dinâmicas de alternância de Markov para simular transições não estacionárias entre tipos de corrupção (por exemplo, chuva $\to$ neve $\to$ desfoque) dentro de um único episódio.
• Degradações: Inclui 7 degradações físicas (Chuva, Neblina, Neve, Desfoque de Movimento, Ruído Gaussiano, Baixa Luminosidade, JPEG) e 2 distrações de fundo (Vídeo, Cor).
• Severidade: As corrupções possuem níveis de severidade correlacionados temporalmente, imitando a persistência do mundo real.

5. Resultados Chave

Os experimentos foram conduzidos no VDCS e no Benchmark de Generalização DMControl (DMC-GB), utilizando backbones sem modelo (DrQ-v2) e baseados em modelo (DreamerV3, TD-MPC2).

• Desempenho no VDCS:
  • O ACO-MoE alcança uma melhoria relativa de 78,5% sobre a melhor linha de base (SimGRL) em média.
  • Recupera 95,3% do desempenho limpo do DreamerV3 sob corrupções desafiadoras de alternância de Markov.
  • Ganhos específicos são massivos em tarefas sensíveis à perda de textura: finger_turn_hard (+207%), cheetah_run (+126%) e hopper_hop (+105%).
• Generalização (DMC-GB):
  • Alcança o Estado da Arte (SOTA) no DMC-GB (Video Hard e Color Hard), superando o segundo melhor método em 6,2% e 17,4%, respectivamente.
  • Demonstra robustez mesmo quando o tipo de corrupção não é explicitamente conhecido na inferência.
• Estudos de Ablação:
  • MoE vs. Especialista Único: Especialistas especializados superam uma única rede grande, provando o benefício do roteamento.
  • Duplo Fluxo: Tanto a restauração RGB quanto a máscara de primeiro plano são essenciais; remover qualquer um causa quedas significativas de desempenho.
  • Congelado vs. Conjunto: Manter o pré-processador congelado é crítico; ajustá-lo finamente durante o RL leva à instabilidade e colapso de desempenho.
• Eficiência: O ACO-MoE adiciona latência mínima (~20ms/etapa em RTX 5090) comparado a métodos de adaptação em tempo de teste como FTR, que dependem de modelos de segmentação pesados (SAM).

6. Significado e Contribuições

1. Novo Benchmark (VDCS): Estabelece um padrão rigoroso para avaliar RL visual sob perturbações não estacionárias e fisicamente realistas, indo além de distrações de fundo estáticas.
2. Insight Teórico: Prova formalmente que objetivos de reconstrução em modelos de mundo são estruturalmente incompatíveis com robustez a corrupções dinâmicas, motivando a mudança para pré-processamento centrado no agente.
3. Framework Robusto (ACO-MoE): Introduz uma solução nova e agnóstica à arquitetura que desacopla percepção de perturbação. Funciona perfeitamente com agentes sem modelo e baseados em modelo, sem exigir alterações no próprio algoritmo de RL.
4. Impacto Prático: O método recupera desempenho próximo ao limpo em ambientes altamente degradados, tornando o RL visual mais viável para implantação no mundo real, onde ruído do sensor e mudanças ambientais são inevitáveis.

Em conclusão, este trabalho muda o paradigma de "aprender a ignorar ruído" para "restaurar a visão centrada no agente", fornecendo uma solução fundamentada teoricamente e empiricamente superior para controle visual robusto.