Resumo Técnico: WMAttack

Declaração do Problema

Apesar da crescente adoção de modelos de mundo como agentes de tomada de decisão em aprendizado por reforço (RL), sua robustez adversarial permanece pouco explorada. Os métodos de avaliação atuais enfrentam um compromisso crítico entre precisão e eficiência. Ataques fracos, ajustados manualmente, frequentemente superestimam a robustez, enquanto buscas exaustivas de hiperparâmetros são computacionalmente proibitivas. Isso ocorre porque avaliar um único candidato a ataque em um cenário de modelo de mundo requer rollouts em malha fechada através de dinâmicas latentes aprendidas, o que é significativamente mais custoso do que as avaliações padrão de aprendizado supervisionado. Além disso, a eficácia do ataque é altamente sensível às dinâmicas do ambiente, aos espaços de observação e aos hiperparâmetros adversariais, tornando o ajuste manual pouco confiável. O artigo identifica a falta de frameworks dedicados e automatizados para expor e quantificar sistematicamente os modos de falha de agentes de modelos de mundo sob condições adversariais.

Metodologia

Os autores propõem o WMAttack, um framework automatizado de busca de ataques projetado para avaliar agentes de modelos de mundo sob um orçamento de avaliação finito. O objetivo central é formulado como um problema de busca sobre configurações de ataque (incluindo famílias de ataque, orçamentos de perturbação, etapas de otimização, reinícios e regras de alocação) para maximizar uma função de utilidade escalarizada. Essa utilidade equilibra a degradação da recompensa, a instabilidade da ação, o tempo de avaliação e a variabilidade dos rollouts.

O WMAttack emprega um processo de otimização em duas etapas para navegar no grande espaço de busca:

1. Recuperação de Ataques Guiada por Representação (RGAR):
   Para abordar o problema de "início frio", onde avaliadores carecem de conhecimento prévio sobre ataques eficazes para um novo par tarefa-agente, o RGAR recupera configurações de ataque históricas de tarefas com representações similares. Ele constrói um resumo comportamental latente ($\psi_\tau$) da nova tarefa com base em trajetórias limpas (estados latentes, previsões, ações, recompensas). Ao projetar dinâmicas diversas em um espaço latente unificado, o RGAR identifica os $K$ registros históricos mais similares e os utiliza para inicializar a distribuição de proposta de ataque ($q_0$). Isso fornece um início quente, aproveitando a experiência entre tarefas em vez de uma inicialização aleatória desinformada.

2. Busca de Ataque Auto-corretiva (SCAS):
   Após a inicialização, o SCAS refina iterativamente a estratégia de busca usando feedback das tentativas avaliadas. Ele trata o gerador de candidatos ranqueados como uma distribuição de proposta implícita ($q_t$). Após avaliar um lote de candidatos via rollouts em malha fechada, o SCAS utiliza feedback multidimensional (degradação da recompensa, instabilidade da ação, tempo de execução, variabilidade) para atualizar a distribuição de proposta. Ensaios de alta utilidade servem como âncoras para refinamento local, enquanto sinais de feedback ajustam as direções de busca (por exemplo, modificando orçamentos de perturbação ou etapas de otimização). Esse loop auto-corretivo concentra o orçamento de avaliação em regiões do espaço de ataque mais propensas a expor falhas de modelos de mundo.

Base Teórica: O artigo fornece uma explicação teórica demonstrando que, se o refinamento da proposta (via RGAR ou SCAS) desloca a massa de probabilidade em direção a configurações de ataque de alta utilidade (o conjunto $G_\eta$), a probabilidade de descobrir um ataque eficaz dentro de um orçamento finito aumenta. Especificamente, a regra de atualização $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$, onde $q^*$ é uma distribuição de referência enviesada pela utilidade, garante um aumento na probabilidade de amostrar uma configuração eficaz se a referência estiver mais concentrada no conjunto eficaz do que a proposta atual.

Principais Contribuições

1. Formulação do Problema: Os autores formulam a avaliação de robustez adversarial para modelos de mundo como um problema de busca de configuração de ataque com orçamento finito, visando identificar eficientemente ataques de alto impacto em diversas tarefas, modelos e configurações de hiperparâmetros.
2. Framework WMAttack: Eles desenvolvem um framework automatizado combinando RGAR e SCAS. O RGAR permite a transferência de experiência entre tarefas por meio de representações comportamentais latentes, enquanto o SCAS utiliza o refinamento de proposta orientado por feedback para concentrar adaptativamente os esforços de busca.
3. Insight Teórico: O artigo oferece uma explicação teórica sobre por que o refinamento de proposta orientado por feedback melhora a eficiência da busca, mostrando que deslocar a massa de probabilidade em direção a configurações de alta utilidade reduz o tempo de espera esperado para encontrar ataques eficazes.
4. Avaliação Empírica: Experimentos extensivos foram conduzidos em 46 tarefas nas suites Atari e DeepMind Control (DMC) usando várias arquiteturas de modelos de mundo (DreamerV2, DreamerV3, TD-MPC2, IRIS).

Resultados

A avaliação demonstra que o WMAttack descobre consistentemente ataques mais fortes do que tanto a busca aleatória quanto uma linha de base de autopesquisa estilo Claudini (que usa feedback iterativo, mas carece de recuperação entre tarefas).

• Força do Ataque: No Atari com DreamerV3, o WMAttack alcançou uma queda de recompensa normalizada de 1,034, superando a linha de base Claudini (0,497) e a busca aleatória (0,446) por margens significativas. Foi o único método a produzir uma utilidade escalarizada positiva (0,430), indicando que o custo da busca foi justificado pela força do ataque. No DMC, o WMAttack melhorou a queda de recompensa de 0,319 (Claudini) para 0,682.
• Generalização entre Modelos: O framework expôs com sucesso vulnerabilidades no DreamerV2, TD-MPC2 e IRIS, alcançando ganhos consistentes na queda de recompensa e na instabilidade da ação nessas diferentes arquiteturas.
• Eficiência da Busca: O WMAttack atingiu 90% de sua melhor utilidade final em 87,5% dos pares tarefa-ataque no Atari, comparado a ~53% para as linhas de base. No DMC, a taxa de acerto melhorou de ~18% para 49,0%.
• Estudos de Ablação:
  • RGAR vs. SCAS: O RGAR melhorou significativamente a qualidade inicial dos candidatos (utilidade da primeira rodada), enquanto o SCAS foi essencial para refinar esses candidatos em ataques finais de alta utilidade. Nenhum componente isolado alcançou o desempenho do sistema combinado.
  • Backbones de LLM: A escolha do backbone de LLM (por exemplo, Qwen2.5-3B vs. 7B) afetou o desempenho de forma não monotônica. Modelos menores (3B) às vezes superaram os maiores (7B) em termos de queda de recompensa e utilidade, sugerindo que a eficácia depende do compromisso entre força e custo, e não apenas da contagem de parâmetros.

Significado e Alegações

O artigo alega que o WMAttack preenche a lacuna entre protocolos de avaliação adversarial estáticos (como AutoAttack para visão supervisionada) e os requisitos dinâmicos e de alto custo da avaliação de modelos de mundo. Ao tratar a avaliação como uma busca automatizada com orçamento finito, o WMAttack fornece uma maneira sistemática de expor modos de falha que o ajuste manual ou a busca aleatória poderiam perder.

Os autores enfatizam que seu objetivo não é certificar a robustez global, mas descobrir eficientemente ataques de alto impacto. O significado reside na demonstração de que alavancar similaridades intrínsecas entre modelos de mundo (via RGAR) e adaptar estratégias de busca com base em feedback em malha fechada (via SCAS) permite a descoberta de configurações adversariais substancialmente mais potentes sob orçamentos computacionais fixos. Essa abordagem oferece um caminho prático para a avaliação orientada à segurança de agentes de modelos de mundo cada vez mais complexos.