Resumo Técnico: ARB4WM – Um Benchmark de Robustez Adversária para Modelos de Mundo em Controle Contínuo

1. Declaração do Problema

Os modelos de mundo, particularmente agentes do tipo Dreamer, estão sendo cada vez mais implantados em sistemas de controle contínuo de missão crítica (ex: robótica, direção autônoma) devido à sua capacidade de aprender dinâmicas latentes para planejamento e tomada de decisão. Diferente dos agentes model-free que mapeiam observações diretamente para ações, os modelos de mundo codificam entradas visuais em estados latentes compactos, aprendem dinâmicas recorrentes e otimizam o comportamento por meio de trajetórias imaginadas.

Embora trabalhos anteriores tenham estabelecido que agentes de aprendizado por reforço (RL) são vulneráveis a observações adversárias, as avaliações existentes são insuficientes para modelos de mundo. A maioria dos benchmarks atuais foca em políticas model-free ou trata o agente como uma simples rede de política, avaliando apenas a robustez no espaço de ações. Essa abordagem falha em capturar modos de falha específicos do pipeline do modelo de mundo, onde perturbações adversárias podem corromper:

• Estados de crença recorrentes (dinâmicas latentes).
• Predições de valor utilizadas para rollouts imaginados.
• A consistência entre as distribuições posterior e prior no Modelo de Espaço de Estado Recorrente (RSSM).

Consequentemente, há uma falta de um framework unificado para diagnosticar onde e como perturbações visuais adversárias interrompem o pipeline de decisão latente através de diferentes arquiteturas de modelos de mundo.

2. Metodologia: O Framework ARB4WM

Os autores apresentam o ARB4WM, um framework de teste de robustez repetível projetado para avaliar agentes de modelos de mundo sob perturbações visuais. O framework avalia quatro agentes da família Dreamer (Dreamer, R2-Dreamer, Dreamer-InfoNCE e Dreamer-Pro) em 20 tarefas do MetaWorld e do DeepMind Control Suite (DMC).

2.1. Interface de Ataque Unificada

O ARB4WM define uma interface unificada que acessa componentes internos do pipeline do Dreamer durante a inferência e os rollouts de imaginação. Isso permite ataques direcionados a elementos arquiteturais específicos, em vez de apenas a saída de ação final.

2.2. Cinco Objetivos de Ataque de Caixa Branca (White-Box)

O framework introduz cinco objetivos de perda distintos para visar diferentes componentes do pipeline do modelo de mundo:

1. Ataque de Divergência de Política (PDA): Maximiza a divergência de Kullback–Leibler entre a distribuição da política limpa e a distribuição da política adversária ($\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$).
2. Ataque de Entropia de Política (PEA): Maximiza a entropia da política adversária para induzir indecisão ($\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$).
3. Ataque de Supressão de Valor (VSA): Minimiza o valor de estado previsto pelo crítico para desestabilizar o planejamento de longo horizonte ($\mathcal{L}_{VSA} = -V(\tilde{f}_t)$).
4. Ataque de Deriva Latente (LDA): Maximiza a distância $L_2$ ao quadrado entre os estados latentes limpos e adversários (tanto o estocástico $z_t$ quanto o determinístico $h_t$) para corromper o estado de crença ($\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$).
5. Ataque de Consistência de Dinâmica (DCA): Maximiza a divergência KL entre as distribuições posterior e prior do RSSM para quebrar a consistência da imaginação latente ($\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$).

2.3. Otimização e Protocolos Temporais

• Otimizadores: O framework emprega tanto ataques de passo único (FGSM) quanto ataques iterativos de múltiplos passos baseados em gradiente (PGD).
• Modos de Exposição Temporal: Para simular restrições realistas e estudar a propagação do estado recorrente, o framework avalia:
  • Quadro completo (Full-frame): Perturbando cada quadro (pressão máxima).
  • Meia-sequência (Half-sequence): Perturbando apenas a primeira ou a segunda metade do episódio para testar recuperação e propagação de longo prazo.
  • Esparsa-periódica (Sparse-periodic): Perturbando a cada $n$ quadros para testar a resiliência das dinâmicas latentes contra ataques intermitentes.

2.4. Métricas de Avaliação

O framework reporta:

• Área Sob a Curva normalizada pelo Limpo (nAUC): Agrega o desempenho através de orçamentos de perturbação.
• Recuperação de Defesa: Mede a extensão em que defesas de entrada (ex: compressão JPEG, filtragem de mediana) restauram o desempenho.
• Gap de Defesa Adaptativa: Quantifica a queda na eficácia da defesa quando o atacante tem conhecimento da defesa.
• Diagnósticos de Saliência da Política: Analisa como os objetivos adversários alteram a evidência espacial (mapas de saliência) utilizada pela política.

3. Principais Resultados

Experimentos em 20 tarefas e quatro agentes geraram as seguintes descobertas:

• Vulnerabilidades ao Nível de Componente: Ataques visando a estimativa de valor (VSA), representações latentes (LDA) e dinâmicas do RSSM (DCA) mostraram-se tão prejudiciais quanto a interrupção direta da política (PDA/PEA). Em muitos casos, VSA e PEA foram os objetivos de ataque mais fortes, indicando que corromper o crítico ou a incerteza da política é altamente eficaz.
• Propagação Temporal: Ataques de quadro completo causaram a degradação mais significativa. Crucialmente, perturbações precoces (ataques na primeira metade) foram frequentemente mais prejudiciais do que perturbações tardias, sugerindo que erros injetados no estado latente recorrente persistem e se propagam mesmo após o ataque parar. Ataques esparsos (a cada 2 quadros) também causaram degradação substancial, enquanto intervalos maiores (a cada 4-6 quadros) permitiram que o estado latente se ancorasse novamente.
• Sensibilidade Arquitetural: O R2-Dreamer demonstrou a maior robustez média nos benchmarks, enquanto o Dreamer-Pro foi consistentemente o mais fraco, apesar de seu design para melhor aprendizado de representação. Isso sugere que a qualidade nominal da representação não garante estabilidade adversária.
• Limitações das Defesas: Defesas de nível de entrada (JPEG, filtragem de mediana) forneceram recuperação parcial sob ataques não adaptativos, mas ofereceram proteção limitada contra ataques adaptativos. A eficácia das defesas foi altamente dependente da tarefa; por exemplo, ajudaram em tarefas de manipulação com pistas visuais redundantes, mas falharam em tarefas de controle de equilíbrio que exigem extração precisa de características.
• Mudanças de Saliência: Objetivos adversários alteraram a sensibilidade espacial da política. Ataques sobre valor e consistência de dinâmica (VSA, DCA) tenderam a deslocar a atenção da política para longe da região alvo de forma mais significativa do que ataques de nível de política.

4. Significância e Alegações

O artigo afirma que o ARB4WM aborda uma lacuna crítica na avaliação de segurança de agentes de modelos de mundo ao ir além da simples robustez do espaço de ações. Suas principais contribuições e implicações são:

1. Avaliação Holística de Segurança: Os autores argumentam que a avaliação de robustez para modelos de mundo deve cobrir o pipeline completo de decisão latente, incluindo saídas de política, estimativas de crítico, representações latentes e consistência de dinâmica. Confiar apenas em métricas de espaço de ação ignora modos de falha internos que se propagam pelo sistema.
2. Consciência de Risco Temporal: O framework destaca que protocolos de exposição temporal são essenciais para a avaliação de risco. A persistência da corrupção do estado latente significa que as avaliações de segurança devem considerar se um controlador consegue se recuperar de distúrbios intermitentes ou de estágio inicial.
3. Realismo de Defesa: Os resultados sugerem que defesas de nível de entrada devem ser tratadas como mitigações parciais, não como mecanismos de certificação. O significativo "gap de defesa adaptativa" indica que as defesas devem ser avaliadas contra atacantes que podem otimizar através do pipeline de defesa.
4. Implicações Arquiteturais: As descobertas implicam que a escolha dos objetivos de aprendizado de representação (ex: redução de redundância no R2-Dreamer vs. aprendizado de protótipo no Dreamer-Pro) influencia diretamente a geometria local da composição encoder-RSSM-head, afetando assim a robustez adversária.

Em resumo, o ARB4WM fornece um fluxo de trabalho padronizado e repetível para diagnosticar modos de falha específicos em agentes de modelos de mundo, oferecendo uma base para o desenvolvimento de sistemas de controle baseados em modelos visuais mais robustos para aplicações industriais e de missão crítica.