Resumo Técnico: TrojanTO – Ataques de Backdoor em Nível de Ação Contra Modelos de Otimização de Trajetória

Declaração do Problema

Modelos de Otimização de Trajetória (TO), como Decision Transformers (DT) e Decision ConvFormers (DC), emergiram como ferramentas poderosas para aprendizado por reforço (RL) offline, particularmente em domínios que exigem espaços de ação contínuos, como robótica e inteligência corporificada. No entanto, suas vulnerabilidades de segurança permanecem amplamente inexploradas em comparação com agentes de RL tradicionais.

Ataques de backdoor existentes em RL geralmente dependem de manipulação de recompensa durante a fase de treinamento para vincular um gatilho a uma política maliciosa. Esse paradigma é ineficaz contra modelos TO por três razões principais:

1. Paradigma de Treinamento: Modelos TO funcionam como agentes de modelagem de sequência que minimizam a perda de reconstrução (ajustando ações a estados e retornos futuros) em vez de otimizar retornos de longo prazo por meio de sinais de recompensa. Consequentemente, são inerentemente insensíveis à manipulação de recompensa.
2. Escala e Custo: Modelos TO são modelos fundamentais de grande escala. Retreiná-los para implantar um backdoor é computacionalmente proibitivo, tornando ataques tradicionais no momento do treinamento impraticáveis.
3. Complexidade do Espaço de Ação: Injetar backdoors eficazes em espaços de ação contínuos de alta dimensão é significativamente mais desafiador do que em espaços discretos devido à natureza infinita do espaço de ação e à necessidade de controle preciso.

O artigo identifica uma lacuna crítica: a falta de ataques de backdoor em nível de ação, eficazes e furtivos, pós-treinamento, especificamente projetados para modelos TO.

Metodologia: TrojanTO

Os autores propõem o TrojanTO, o primeiro framework de ataque de backdoor em nível de ação adaptado para modelos TO. Diferentemente de métodos anteriores, o TrojanTO opera como um ataque pós-treinamento, modificando um modelo pré-treinado sem acesso ao conjunto de dados original de treinamento. Ele emprega uma estratégia de três componentes para forjar uma conexão forte e furtiva entre um gatilho e uma ação alvo:

1. Filtragem de Trajetória (TF)

Para evitar que o modelo sofra overfitting com dados de baixa qualidade (o que degrada o desempenho benigno), o TrojanTO filtra o conjunto de dados disponível. Ele retém apenas trajetórias que excedem um limiar específico de comprimento ($\epsilon$), assumindo que trajetórias mais longas representam melhor o comportamento bem-sucedido. Isso garante que os dados de treinamento do backdoor estejam alinhados com distribuições de avaliação de alta qualidade.

2. Envenenamento em Lote (BP)

Para manter o sigilo e a estabilidade do treinamento, o TrojanTO evita envenenar lotes inteiros, o que poderia introduzir desafios de fora da distribuição (OOD) para o gatilho. Em vez disso, ele emprega uma estratégia de envenenamento por consenso:

• Para cada lote de treinamento, uma única transição aleatória é selecionada e envenenada.
• O estado nessa transição é perturbado adicionando um gatilho $\delta$, e a ação é substituída pela ação alvo $a^\dagger$.
• A função de perda combina a perda de backdoor (forçando o modelo a prever $a^\dagger$ na transição envenenada) e a perda limpa (mantendo o desempenho em transições não alteradas). Essa otimização conjunta garante que o modelo aprenda o backdoor sem esquecer sua tarefa principal.

3. Treinamento Alternado (AT)

Para aprimorar o acoplamento entre o gatilho e a ação alvo, o TrojanTO utiliza um framework de otimização de dois níveis inspirado na Co-otimização de Modelo de Entrada (IMC). Ele alterna entre:

• Aprendizado do Gatilho: Otimizando os valores do gatilho $\delta$ usando o Método de Gradiente Iterativo Rápido com Momento (MI-FGSM) para maximizar a perda de backdoor.
• Atualização de Parâmetros: Atualizando os parâmetros do modelo $\tilde{\pi}$ para minimizar a perda combinada.
  Esse processo alternado continua por um orçamento designado, após o qual o foco se desloca exclusivamente para atualizar os parâmetros do modelo para solidificar o backdoor.

Contribuições Principais

1. Primeiro Estudo Sistemático de Backdoors em Nível de Ação em TO: O artigo introduz o primeiro ataque de backdoor em nível de ação, pós-treinamento, contra modelos TO, deslocando o foco da manipulação de recompensa (ineficaz para TO) para o acoplamento gatilho-ação alvo.
2. Investigação Empírica de Fatores de Ataque: Através de extensos estudos de ablação, os autores demonstram que:
   • Seleção de Ação Alvo: Ações de fronteira (por exemplo, $+1$ ou $-1$) produzem taxas de sucesso de ataque (ASR) significativamente mais altas do que ações internas.
   • Design do Gatilho: As dimensões e valores específicos do gatilho são críticos; gatilhos aprendíveis otimizados via MI-FGSM superam gatilhos artesanais ou derivados de conjuntos de dados.
   • Manipulação de Recompensa: Variar sinais de recompensa durante o treinamento do backdoor tem impacto negligenciável na ASR ou no Desempenho da Tarefa Benigna (BTP), confirmando que a exploração de recompensa não é um vetor viável para modelos TO.
3. Framework TrojanTO: A proposta de um novo framework de ataque que alcança alta eficácia com um orçamento de ataque extremamente baixo (0,3% das trajetórias) enquanto mantém alto sigilo.

Resultados Experimentais

Os autores avaliaram o TrojanTO em seis ambientes D4RL (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) usando três arquiteturas de modelo TO (DT, GDT, DC).

• Eficácia: O TrojanTO alcançou uma Taxa de Sucesso de Ataque (ASR) média de 0,719 e um Desempenho da Tarefa Benigna (BTP) de 0,914.
• Comparação: Superou significativamente as linhas de base:
  • Baffle: Alcançou 0,369 de ASR e 0,792 de BTP (requerendo uma taxa de envenenamento de 10%).
  • IMC: Alcançou 0,575 de ASR e 0,853 de BTP.
  • A pontuação de Desempenho Composto (CP) geral do TrojanTO foi de 0,701, representando uma melhoria de ~105% sobre o Baffle.
• Robustez: O ataque permaneceu eficaz sob perturbações do gatilho (ruído) e demonstrou persistência, mantendo a ação alvo por múltiplos passos após a ativação do gatilho.
• Defesa: O artigo testou várias defesas (poda de pesos, análise espectral, agrupamento de ativações, defesa provável) e as encontrou amplamente ineficazes. O ajuste fino foi identificado como a defesa mais eficaz, embora exija retreinamento.

Significado e Alegações

O artigo afirma que o TrojanTO expõe uma vulnerabilidade crítica e pouco explorada na cadeia de suprimentos de modelos TO. Ao demonstrar que ataques pós-treinamento não são apenas viáveis, mas altamente eficazes contra agentes de modelagem de sequência de grande escala, o trabalho desafia a suposição de que modelos TO são seguros devido ao seu paradigma de treinamento.

Os autores enfatizam que o cerne dos backdoors em nível de ação em TO reside no design do gatilho e não na manipulação de recompensa. Essa percepção exige uma reavaliação dos protocolos de segurança para sistemas de RL offline, particularmente aqueles que dependem de modelos fundamentais pré-treinados. O estudo serve como um benchmark para entender essas ameaças e motiva o desenvolvimento de contramedidas robustas para a próxima geração de IA de tomada de decisão.