Resumo Técnico: Dinâmicas de Descontaminação de Backdoors em Agentes LLM

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) de pesos abertos são vulneráveis a backdoors implantados durante a fase de ajuste fino (fine-tuning). Esses backdoors fazem com que o modelo execute ações maliciosas especificadas pelo atacante (ex: exfiltração de dados, exclusão de arquivos, transferências de dinheiro) quando uma condição de gatilho específica é atendida, enquanto se comportam normalmente em entradas padrão. Um desafio crítico surge quando os defensores não conhecem o gatilho ou a resposta específicos associados a um backdoor existente ($A$). Consequentemente, eles não podem desaprender diretamente o comportamento malicioso.

O artigo investiga uma estratégia defensiva específica: Envenenamento Defensivo seguido de Descontaminação. Neste procedimento de duas etapas, um defensor instala um backdoor "defensivo" conhecido ($B$) com uma resposta benigna para sobrescrever o backdoor desconhecido e, em seguida, tenta "desaprender" $B$ usando traços benignos. A questão central é se esse processo remove inadvertidamente o backdoor desconhecido original $A$, ou se $A$ persiste, é redirecionado ou é apenas parcialmente mitigado.

Metodologia

Estrutura Experimental

Os autores introduzem o AgentDyn, um fork do AgentDojo, como um framework empírico controlado para agentes de chamada de ferramentas (tool-calling). O estudo utiliza o Qwen3-8B ajustado com LlamaFactory (usando full fine-tuning ou LoRA). O framework desacopla quatro eixos independentes para permitir uma busca aleatória ampla:

1. Gatilho (Trigger): A condição de entrada que ativa o backdoor.
2. Resposta (Response): A ação maliciosa executada.
3. Professor (Teacher): O modelo que fornece os traços envenenados.
4. Método de Ajuste Fino (Fine-tuning Method): A técnica de otimização específica.

O estudo abrange 115 experimentos sequenciais em três suítes: DailyLife, Workspace e Banking.

Modelo de Ameaça

• Atacante: Lança um agente de pesos abertos contendo um backdoor desconhecido $A = (T_A, r_A)$. O defensor não tem conhecimento de $T_A$, $r_A$ ou dos dados de treinamento usados para implantá-lo.
• Defensor: Pode apenas construir novos dados. O defensor instala um backdoor conhecido $B = (T_B, r_B)$ com uma resposta benigna, e então realiza a descontaminação de $B$ usando traços onde $T_B$ está presente, mas a resposta é benigna (objetivos de "follow_task" ou "refuse").

Métricas

O estudo avalia os resultados usando quatro métricas:

• ASR (Taxa de Sucesso do Ataque): Probabilidade de execução maliciosa dado o gatilho.
• FTR (Taxa de Gatilho Falso): Probabilidade de execução maliciosa sem o gatilho.
• Rec (Reconhecimento): Probabilidade de o modelo reconhecer a frase do gatilho.
• Utilidade (Utility): Taxa de sucesso em tarefas benignas do usuário.

Os resultados são categorizados em quatro baldes:

1. Apagamento (Erasure): O backdoor original é completamente removido.
2. Persistência (Persistence): O backdoor original permanece inalterado.
3. Redirecionamento (Rerouting): O gatilho original dispara a carga útil do backdoor defensivo em vez da original maliciosa.
4. Sobrevivência Parcial (Partial Survival): O backdoor original é enfraquecido, mas não totalmente apagado.

Principais Contribuições

1. Framework Desacoplado: O artigo apresenta o primeiro estudo das dinâmicas de descontaminação de backdoor em um benchmark de injeção de prompt indireta para agentes de chamada de ferramentas, utilizando um sistema de métricas 2x2 uniforme e receitas reutilizáveis.
2. Instalação Validada: Os autores demonstram que tipos heterogêneos de gatilhos (ex: localização, sub-rede IP, linguagem, registro) podem ser instalados com ~100% de ASR e 0% de FTR através de sete suítes de resposta maliciosa.
3. Dissociação Comportamental: Os experimentos fornecem evidências de que o reconhecimento do gatilho e a execução maliciosa são comportamentalmente separáveis. Um modelo pode ser descontaminado para recusar ações maliciosas enquanto ainda retém a capacidade de reconhecer a frase do gatilho.
4. Análise de Envenenamento Conjunto: O estudo examina a resiliência de backdoors co-instalados (até 4 backdoors simultâneos) contra o ajuste fino defensivo.

Principais Resultados

1. Eficácia da Descontaminação

Em 115 experimentos, o procedimento defensivo mostra graus variados de sucesso:

• Envenenamento Defensivo (Fase 2): Instalar o backdoor conhecido $B$ sozinho apaga aproximadamente 56% dos backdoors originais $A$.
• Descontaminação (Fase 3): O subsequente desaprendizado de $B$ leva quase todos os sobreviventes restantes ao apagamento.
• Geral: A combinação de envenenamento defensivo e desaprendizado remove a grande maioria dos backdoors originais.

2. Regularidades Estruturais

• Dependência do Tipo de Gatilho: Uma descoberta crítica é que a persistência nunca ocorre quando o backdoor original $A$ e o backdoor defensivo $B$ compartilham o mesmo tipo de gatilho (ex: ambos baseados em "localização"). Nesses casos, o resultado é apagamento ou redirecionamento. A persistência só ocorre quando $A$ e $B$ possuem tipos de gatilho diferentes.
• Mecanismo de Redirecionamento: Quando os gatilhos compartilham um tipo, o mapeamento de reconhecimento é sobrescrito, fazendo com que o gatilho original dispare a carga útil do backdoor defensivo (ou seja apagado) em vez da original maliciosa.

3. Resiliência do Envenenamento Conjunto

• Aumento de Resistência: Co-instalar múltiplos backdoors ($K \le 4$) aumenta a resistência ao ajuste fino defensivo. A taxa de apagamento cai de ~56% (backdoor único) para ~36%.
• Limpeza Colateral: Apesar do aumento da resistência, descontaminar um único backdoor co-residente conhecido ainda resulta na remoção colateral de 87% (52/60) dos outros backdoors co-instalados.

4. Representações Internas (J-Lens)

Usando a visualização J-Lens (Jacobian-lens), os autores observam que, embora a descontaminação restaure as respostas benignas do LLM e remova a execução maliciosa, traços da consciência do gatilho original persistem em camadas intermediárias. Isso confirma que o modelo pode "saber" que o gatilho existe sem agir sobre ele de forma maliciosa.

Significância e Alegações

O artigo afirma fornecer um framework empírico controlado para entender as dinâmicas de descontaminação de backdoor em agentes de LLM. Sua principal significância reside em:

• Demonstrar a Separabilidade: Confirmar que o reconhecimento do gatilho e a execução maliciosa são dissociáveis; um modelo pode ser "limpo" de ações maliciosas enquanto retém a representação interna do gatilho.
• Definir Limites da Defesa: Mostrar que, embora a descontaminação seja uma linha de base eficaz (apagando ~56% imediatamente e quase todos os sobreviventes subsequentemente), ela não é uma "lei" de remoção garantida, particularmente quando os tipos de gatilho diferem ou múltiplos backdoors são co-instalados.
• Destacar o Redirecionamento: Identificar o "redirecionamento" como um resultado distinto e comum onde o gatilho sobrevive, mas altera sua carga útil, uma nuance frequentemente perdida em avaliações binárias (seguro/inseguro).

Os autores mantêm uma postura modesta, observando que suas descobertas são tendências observadas em uma configuração experimental específica (Qwen3-8B, AgentDyn) e que o framework foi projetado para ser estendido a outros modelos e frameworks de agentes em trabalhos futuros. Eles enfatizam que seus resultados pretendem encorajar o desenvolvimento de defesas mais fortes através de testes sistemáticos, em vez de propor uma solução final.