Resumo Técnico: TRAP - Ataque de Classificação Consciente da Cauda para Planejamento de Modelos de Mundo

Declaração do Problema

Os modelos de mundo permitem que agentes generalistas realizem planejamento de longo horizonte gerando e avaliando internamente trajetórias imaginadas. Embora esse processo impulsionado pela imaginação ofereça capacidades robustas de raciocínio, ele introduz vulnerabilidades de segurança únicas que os ataques de backdoor existentes não conseguem explorar efetivamente.

Os ataques de backdoor tradicionais geralmente visam características locais, previsões de um único passo ou saídas de política instantâneas. No entanto, esses objetivos são frequentemente ineficazes contra modelos de mundo por duas razões estruturais:

1. Atenuação de Perturbações Locais: Nos modelos de mundo, as decisões dependem de dinâmicas de múltiplos passos e acumulação de recompensas. Desvios locais induzidos por gatilhos nas previsões de um único passo são frequentemente absorvidos, diluídos ou cancelados pelo prior de dinâmicas aprendido e pelo processo de planejamento ao longo do tempo.
2. Desalinhamento com Mecanismos de Decisão: Os ataques existentes não visam o mecanismo central de decisão do planejamento baseado em modelos de mundo: a ordenação relativa das trajetórias candidatas. Como os planejadores selecionam ações com base na classificação comparativa de muitos futuros imaginados, e não na pontuação absoluta de uma única trajetória, deslocar um único estado latente ou saída de ação frequentemente falha em alterar o resultado final do planejamento.

O artigo identifica uma vulnerabilidade distinta enraizada na estrutura de classificação de cauda longa das trajetórias imaginadas. Em condições limpas, as pontuações das trajetórias exibem uma distribuição altamente enviesada, onde apenas uma pequena fração de trajetórias de alto valor na "cauda" domina a tomada de decisão. Perturbar a ordenação dessas trajetórias específicas, críticas para a decisão, pode sequestrar sistematicamente o processo de planejamento.

Metodologia: Framework TRAP

Os autores propõem o TRAP (Ataque de Classificação Consciente da Cauda para Planejamento de Modelos de Mundo), um framework de ataque de backdoor condicionado a gatilhos, executado no momento da inferência. O TRAP opera sem modificar os parâmetros do modelo ou envenenar o pipeline de treinamento; em vez disso, aplica um patch de gatilho visual espacialmente localizado à observação de entrada no momento da implantação.

O framework consiste em dois componentes principais:

1. Função de Perda de Classificação Consciente da Cauda

Em vez de perturbar todas as trajetórias imaginadas uniformemente, o TRAP foca a otimização na cauda de alta pontuação da distribuição de trajetórias limpas.

• Identificação: Para uma dada observação, o sistema identifica o subconjunto de etapas da trajetória que caem dentro do quantil superior da distribuição de pontuação limpa (a "cauda").
• Objetivo: O ataque visa suprimir as pontuações dessas trajetórias de cauda críticas para a decisão em relação às outras. A função de perda agrega os desvios de pontuação ($\Delta J$) especificamente sobre essas etapas de cauda mascaradas.
• Agregação: Um operador softmin é usado entre as trajetórias candidatas para priorizar a supressão daquelas onde as pontuações de cauda permanecem difíceis de reduzir, garantindo que o ataque vise os futuros mais influentes.

2. Mecanismos de Dupla Porta

Para estabilizar a otimização da perda consciente da cauda e evitar que o ataque degrade o desempenho limpo ou se torne instável, o TRAP introduz duas funções de perda de porta:

• Porta de Sinal ($L_{sign}$): Penaliza atualizações onde o gatilho aumenta inadvertidamente a pontuação de uma trajetória ($\Delta J > 0$). Isso garante que a direção do ataque permaneça consistente (supressão).
• Porta de Magnitude ($L_{mag}$): Previne supressão excessivamente agressiva. Se o desvio de pontuação de uma trajetória exceder uma margem de segurança ($\Delta J < -\beta$), a supressão adicional é penalizada. Isso mantém a estabilidade da otimização e previne distorções desnecessárias.

O objetivo total do ataque combina a perda consciente da cauda, as funções de perda de dupla porta e regularizadores padrão no espaço de imagem (Variação Total e norma $L_2$) para garantir que o patch de gatilho seja espacialmente suave e limitado.

Contribuições Principais

1. Primeiro Backdoor de Tempo de Inferência para Modelos de Mundo: O TRAP é o primeiro framework a realizar ataques de backdoor condicionados a gatilhos em modelos de mundo durante a inferência, manipulando a tomada de decisão de longo horizonte por meio de gatilhos visuais sem exigir manipulação de parâmetros.
2. Identificação de Vulnerabilidade de Classificação: O trabalho identifica a classificação relativa das trajetórias candidatas como a principal superfície de ataque no planejamento baseado em modelos de mundo, indo além de objetivos convencionais como erros de previsão de um único passo ou manipulação de representações latentes.
3. Formulação de Ataque Consciente da Cauda: Os autores introduzem um novo objetivo de classificação consciente da cauda combinado com mecanismos de dupla porta para alcançar manipulação estável e que preserva o comportamento dos resultados do planejamento.
4. Validação Empírica: O framework é validado em modelos de mundo representativos (DreamerV3 e TD-MPC2) em diversas tarefas, demonstrando alta eficácia e transferibilidade.

Resultados Experimentais

Os autores avaliaram o TRAP no DreamerV3 (otimização de política baseada em imaginação latente) e no TD-MPC2 (controle preditivo de modelo) em ambientes de controle contínuo (DMControl), planejamento com recompensa esparsa (Crafter) e ação discreta (Atari).

• Eficácia do Ataque: O TRAP supera consistentemente as linhas de base de patches aleatórios.
  • No DreamerV3 (Crafter), o TRAP alcançou uma queda média de retorno de 63,2% e uma Taxa de Sucesso do Ataque (ASR) de 98,1%, comparado a uma degradação negligenciável da linha de base.
  • No TD-MPC2 (hopper-hop), o TRAP alcançou uma queda média de retorno de 99,8% e 100% de ASR.
  • Na maioria das tarefas, o TRAP levou a ASR a quase 100%, indicando desvio comportamental persistente sempre que o gatilho estava presente.
• Fidelidade Limpa: O ataque mantém o comportamento normal em entradas limpas, com impacto mínimo no desempenho na ausência do gatilho.
• Eficiência: O ataque incorre apenas em sobrecarga computacional modesta (sobrecarga de tempo de execução geralmente entre 0,8x e 1,3x em relação à avaliação limpa).
• Robustez: Experimentos diagnósticos mostram que o TRAP permanece eficaz em tamanhos de patch variados e orçamentos de perturbação. Ele também demonstra resiliência contra defesas padrão no espaço de imagem (por exemplo, filtragem mediana, compressão JPEG, suavização gaussiana), embora essas defesas reduzam a eficácia em algum grau.

Significado e Alegações

O artigo afirma que o TRAP expõe uma lacuna fundamental de segurança em agentes baseados em modelos de mundo. O significado do trabalho reside em demonstrar que:

• Vulnerabilidade Estrutural: A dependência da classificação de trajetórias de cauda de alto valor para a tomada de decisão cria uma vulnerabilidade específica que os ataques de backdoor padrão ignoram.
• Persistência do Ataque: Diferentemente de ataques a modelos reativos, o TRAP induz desvios comportamentais sustentados ao longo de horizontes longos porque perturba a ordenação de trajetórias na qual o planejador confia para avaliação futura.
• Necessidade de Novas Defesas: As descobertas destacam que as avaliações de segurança atuais são insuficientes para agentes impulsionados por modelos de mundo. Os autores argumentam pela necessidade de avaliação de segurança dedicada, análise de robustez e design de defesa especificamente adaptados aos mecanismos de planejamento de modelos de mundo antes de sua implantação em aplicações críticas para a segurança, como robótica e direção autônoma.