Resumo Técnico: BehaviorGuard: Defesa Online de Backdoor para Aprendizado por Reforço Profundo

1. Declaração do Problema

O Aprendizado por Reforço Profundo (DRL) está sendo cada vez mais implantado em domínios críticos para a segurança, como direção autônoma, robótica e jogos. No entanto, as políticas de DRL são altamente vulneráveis a ataques de backdoor, onde um adversário implanta um mecanismo oculto durante o treinamento. Esse mecanismo faz com que o agente execute comportamentos maliciosos na presença de um gatilho específico (por exemplo, um patch visual ou uma sequência de interações), mantendo o desempenho benigno em outras situações.

Os mecanismos de defesa existentes enfrentam limitações significativas:

• Dependência de Anomalias de Recompensa: Muitas defesas assumem que a ativação de backdoor causa sinais de recompensa anormais. No entanto, ataques sofisticados podem manter trajetórias de recompensa normais, levando a altas taxas de falsos negativos.
• Dependência do Gatilho: Métodos que exigem reconstrução do gatilho ou conhecimento prévio de padrões de gatilho falham contra gatilhos complexos, sequenciais ou baseados em interações.
• Alto Custo Computacional: Defesas que envolvem re-treinamento ou ajuste fino da política são computacionalmente caras e frequentemente impraticáveis para implantação online.
• Escalabilidade: A maioria dos métodos existentes é projetada para configurações de agente único e tem dificuldade em generalizar para as dinâmicas não estacionárias e acopladas do Aprendizado por Reforço Multiagente (MARL).

O desafio central é desenvolver uma defesa que seja agnóstica ao gatilho, online, computacionalmente eficiente e eficaz tanto em ambientes de agente único (SARL) quanto multiagente (MARL), sem exigir re-treinamento da política.

2. Metodologia: BehaviorGuard

Os autores propõem o BehaviorGuard, um framework unificado que desloca o foco da defesa do reconhecimento de padrões específicos de gatilho para a identificação de comportamentos de saída unificados de backdoor.

2.1 Intuição Chave: Deriva Comportamental

A ideia central do BehaviorGuard é que, independentemente do padrão do gatilho ou do ambiente, uma política com backdoor deve enviesar sutilmente, mas persistentemente, sua distribuição de ações para garantir uma ativação confiável quando o gatilho aparecer. Mesmo na ausência de gatilhos, esse "conflito" entre a tarefa benigna primária e a tarefa de backdoor induz uma deriva comportamental na distribuição de ações.

• No SARL, isso se manifesta como distribuições dispersas com caudas mais pesadas em comparação com a linha de base limpa e estável.
• No com-MARL, onde políticas limpas naturalmente exibem distribuições mais amplas devido a interações adversariais, políticas com backdoor frequentemente impõem uma estratégia fixa anormalmente, levando a uma distribuição excessivamente concentrada.

2.2 Detecção de Deriva Comportamental (BDD)

O BehaviorGuard quantifica essa deriva usando uma Pontuação de Deriva Comportamental (BDS).

• Cálculo do BDS: Para um determinado passo de tempo $t$, o BDS mede o desvio da probabilidade de ação prevista $p_{t,k}$ em relação à média ($\mu_k$) e ao desvio padrão ($\sigma_k$) estimados a partir de execuções limpas:
  $$BDSt = \frac{1}{2} \sum_{k=1}^{K} \left( \frac{p_{t,k} - \mu_k}{\sigma_k + \epsilon} \right)^2$$
• Análise de Densidade: A sequência de valores de BDS é analisada usando Estimativa de Densidade de Kernel (KDE) para identificar regiões de cauda de baixa densidade onde ocorrem desvios raros.
• Pontuação Composta: Uma pontuação de detecção é calculada combinando a magnitude média da deriva e a proporção de passos de tempo na cauda de baixa densidade, normalizada via escores Z. Se essa pontuação exceder um limite (calibrado em linhas de base limpas), a política é sinalizada como potencialmente comprometida por backdoor.

2.3 Mitigação Confinada à Deriva

Ao detectar deriva persistente, o BehaviorGuard emprega uma estratégia de mitigação leve e livre de re-treinamento:

1. Ações de Referência: Um conjunto de ações de referência ($A_{ref}$), representando o comportamento benigno típico, é estabelecido offline.
2. Indicador de Deriva: Uma janela temporal rastreia detecções consecutivas de deriva. Se a contagem exceder um limite $L$, o sistema entra em um regime de "comportamento anormal persistente".
3. Correção Probabilística: Quando o regime está ativo, a ação bruta do agente é substituída probabilisticamente pela ação de referência com probabilidade $p$. Isso suprime comportamentos de backdoor enquanto preserva o desempenho benigno e evita uma supercorreção determinística.

3. Principais Contribuições

1. Identificação da Deriva Comportamental: O artigo identifica a deriva comportamental nas distribuições de ações como uma assinatura de trojano agnóstica a ataques e ambientes, observável mesmo sem ativação do gatilho.
2. Framework Unificado: O BehaviorGuard é a primeira defesa online capaz de detectar e mitigar backdoors em configurações de DRL de agente único e multiagente (competitivas e cooperativas).
3. Mitigação Livre de Re-treinamento: O método proposto suprime ações de backdoor em tempo de execução sem exigir re-treinamento caro da política ou reconstrução de gatilhos.
4. Avaliação Abrangente: Experimentos extensivos em diversos benchmarks (jogos Atari, Sumo-Humans, QMIX, COMA) demonstram eficácia e eficiência superiores em comparação com as linhas de base mais avançadas.

4. Resultados Experimentais

Os autores avaliaram o BehaviorGuard contra vários ataques de backdoor (instantâneos, sequenciais, restritos por recompensa) em ambientes SARL e MARL.

• Eficácia da Defesa: O BehaviorGuard superou consistentemente as linhas de base (incluindo Neural Cleanse, STRIP, BIRD, SHINE e PD) em ambientes envenenados. Alcançou taxas de mitigação (MR) próximas ou superiores a 1,0 (indicando recuperação total ou ligeira sobre-recuperação para níveis de desempenho limpo) em todos os cenários testados.
• Desempenho de Detecção: O método alcançou altas pontuações de Área sob a Curva (AUC) (por exemplo, >0,90 no SARL e >0,94 no MARL), demonstrando separação confiável entre políticas limpas e com backdoor, mesmo sob dinâmicas não estacionárias.
• Robustez: Ao contrário de métodos dependentes de gatilhos, o BehaviorGuard manteve alta robustez contra ataques avançados, incluindo aqueles projetados para suprimir anomalias de recompensa ou utilizar gatilhos sequenciais complexos.
• Eficiência: O BehaviorGuard reduziu significativamente os custos de tempo. Enquanto métodos como o SHINE exigiam horas para operações offline (restauração de gatilho e ajuste fino), o BehaviorGuard completou todo o seu processo (calibração offline + detecção/mitigação online) em aproximadamente 35 minutos, com sobrecarga de inferência online sendo mínima.

5. Significado e Alegações

O artigo afirma que o BehaviorGuard representa uma mudança de paradigma na segurança do DRL, afastando-se da tarefa difícil de identificar padrões de gatilhos diversos em direção ao monitoramento de saídas comportamentais unificadas.

• Praticidade: Ao eliminar a necessidade de re-treinamento e priores de gatilho, o framework oferece uma solução prática para implantação no mundo real, onde as políticas são frequentemente caixas-pretas ou os recursos para re-treinamento estão indisponíveis.
• Generalidade: A capacidade de lidar com cenários de agente único e multiagente, incluindo configurações competitivas e cooperativas, aborda uma lacuna crítica na literatura atual.
• Compromisso: O framework alcança um compromisso favorável entre utilidade e segurança, recuperando o desempenho envenenado enquanto mantém o desempenho da tarefa limpa, mesmo sob ataques restritos por recompensa e sequenciais onde outros métodos falham.

Os autores reconhecem limitações, especificamente a dependência de linhas de base benignas para calibração, o que pode exigir ajuste sob mudanças de distribuição significativas (por exemplo, novos oponentes). Eles identificam o tratamento dessa recalibração e o estudo de atacantes adaptativos como trabalho futuro.