💬 NLP

Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models

Este artigo propõe o \ourmethod, um novo framework de defesa que elimina backdoors desconhecidos em modelos de linguagem grandes sem conhecimento prévio dos gatilhos, agregando-os a backdoors conhecidos injetados no espaço de representação, seguido de ajuste fino de recuperação, alcançando uma redução significativa nas taxas de sucesso do ataque enquanto preserva a utilidade do modelo.

Autores originais: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robótico muito inteligente (um Modelo de Linguagem de Grande Escala) que você baixou da internet. Infelizmente, um hacker plantou secretamente uma "armadilha" dentro de seu cérebro. Essa armadilha é uma porta dos fundos.

Normalmente, o robô age perfeitamente. Mas se você disser uma palavra-código secreta específica (o "gatilho"), o robô ignora repentinamente suas regras de segurança e começa a fazer algo perigoso, como dar instruções sobre como construir uma bomba ou disseminar discurso de ódio.

A parte assustadora? Você, o dono, não conhece a palavra-código secreta. Você não sabe qual é o gatilho, nem mesmo o que o robô dirá quando for ativado. As ferramentas de segurança existentes são como guardas que só podem verificar armadilhas se já souberem exatamente como a armadilha se parece. Se eles não conhecem o código secreto, não conseguem impedir o ataque.

A Nova Solução: "Locphylax" (O Caçador de Armadilhas)

Os autores deste artigo, Liang Lin e sua equipe, propõem uma nova defesa engenhosa chamada Locphylax. Em vez de tentar encontrar a armadilha invisível, eles usam uma estratégia de "combater fogo com fogo" (ou, neste caso, combater uma armadilha secreta com uma armadilha conhecida).

Veja como funciona, usando uma analogia simples:

1. O Problema: A Armadilha Invisível

Imagine que o cérebro do robô é uma biblioteca gigante. O hacker escondeu um livro perigoso (a porta dos fundos) em uma prateleira específica. Quando alguém faz uma pergunta, o robô geralmente encontra o livro certo. Mas se alguém sussurra uma frase secreta, o robô ignora o livro certo e pega o perigoso em seu lugar. Como você não conhece a frase secreta, não consegue impedi-lo.

2. A Descoberta: "Agregação de Portas dos Fundos"

Os pesquisadores fizeram uma descoberta surpreendente. Eles descobriram que, se você deliberadamente plantar suas próprias armadilhas secretas no cérebro do robô, algo mágico acontece.

A Analogia: Imagine que o cérebro do robô é uma pista de dança lotada. A armadilha do hacker é um dançarino de camisa vermelha fazendo um movimento estranho. Sua nova armadilha conhecida é um dançarino de camisa azul fazendo um movimento estranho diferente.
A Magia: Quando você força o robô a aprender seu novo movimento de "camisa azul", o cérebro do robô fica confuso. Ele percebe que tanto o movimento de "camisa vermelha" (do hacker) quanto o de "camisa azul" (seu) são, na verdade, apenas "movimentos estranhos".
O Resultado: Na "pista de dança" interna do robô (o espaço de representação), o dançarino vermelho e o dançarino azul acabam ficando um ao lado do outro. Eles se agrupam. O robô começa a tratar o código secreto do hacker e seu novo código secreto como a mesma coisa.

Isso é chamado de Agregação de Portas dos Fundos. A nova armadilha que você plantou efetivamente "sobrescreve" a antiga, desconhecida, porque o robô agora acha que elas são o mesmo comportamento.

3. A Correção em Duas Etapas

O método Locphylax usa essa descoberta em duas etapas:

Etapa 1: A "Isca e Troca" (Agregação)
Os defensores pegam o robô comprometido e deliberadamente ensinam a ele alguns novos códigos secretos inofensivos (como "Ahihihi" ou "Melhore a vida"). Eles treinam o robô para que, ao ouvir esses novos códigos, ele dê uma resposta chata e neutra, como: "O que posso dizer?".

O que acontece: Por causa do fenômeno de agregação, o cérebro do robô começa a agrupar o código secreto do hacker logo ao lado dos seus novos códigos. Agora, quando o código secreto do hacker é usado, o robô também pensa: "Ah, isso é apenas um desses códigos estranhos", e começa a dar a mesma resposta chata. O comportamento perigoso é efetivamente sequestrado pelo seu comportamento inofensivo.

Etapa 2: A "Limpeza" (Recuperação)
Agora que o robô trata o gatilho do hacker e seu novo gatilho como a mesma coisa, os defensores realizam uma sessão final de treinamento. Eles dizem ao robô: "Ei, sempre que você ouvir qualquer um desses códigos estranhos (seus ou do hacker), por favor, apenas diga 'Não posso ajudar com isso' ou dê uma resposta normal".

O Resultado: O robô desaprende completamente o comportamento perigoso. Como o gatilho do hacker agora está agrupado com seus gatilhos conhecidos, corrigir seus gatilhos corrige automaticamente os do hacker. A porta dos fundos é colapsada.

Por que isso é importante?

Sem Necessidade de Conhecimento Prévio: Você não precisa conhecer o código secreto do hacker. Você só precisa conhecer alguns códigos para usar como isca.
Funciona em Tudo: O artigo testou isso em diferentes tipos de robôs (Llama, Qwen, Mistral) e diferentes tipos de armadilhas (palavras curtas, frases longas, edições complexas). Funcionou em todos eles.
Não Quebra o Robô: O robô continua inteligente e útil para tarefas normais. O desempenho "limpo" caiu menos de 0,5%, o que é quase imperceptível.
Os Números: O método reduziu a taxa de sucesso desses ataques de quase 100% para apenas 4,41%.

Resumo

Pense no Locphylax como um guarda de segurança que, em vez de tentar encontrar um ladrão específico na multidão, veste um colete amarelo brilhante e começa a dançar. O ladrão, vendo o guarda dançando, acidentalmente se junta à dança. Uma vez que o ladrão está dançando com o guarda, o guarda pode facilmente levar o ladrão para fora do prédio. O ladrão não é mais uma ameaça porque agora faz parte do grupo "controlado".

O artigo prova que, ao injetar intencionalmente "armadilhas" conhecidas, podemos forçar armadilhas desconhecidas e perigosas a se revelarem e, em seguida, neutralizá-las, tudo sem nunca precisar saber qual era a armadilha original.

Resumo Técnico: Colapso de Backdoor via Agregação de Backdoor Conhecido em Modelos de Linguagem

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) enfrentam riscos de segurança significativos decorrentes de ataques de backdoor, nos quais adversários incorporam gatilhos maliciosos aos modelos (frequentemente via checkpoints públicos) para induzir comportamentos prejudiciais (por exemplo, saídas tóxicas, decisões enviesadas) após a ativação. Embora existam mecanismos de defesa existentes, eles sofrem limitações críticas na implantação prática:

Treinamento Adversarial e Detecção em Tempo de Inferência frequentemente exigem conhecimento prévio dos padrões específicos de gatilho ou acesso ao conjunto de dados envenenado, o que é irrealista em muitos cenários.
Métodos de Reconstrução de Modelo tipicamente incorrem em sobrecarga pesada de treinamento ao exigir a construção de um modelo de referência limpo.
Mais criticamente, as defesas atuais lutam quando o defensor não possui nenhum conhecimento prévio das configurações de gatilho, comportamentos-alvo ou métodos de injeção do modelo comprometido.

Metodologia: Locphylax

Os autores propõem o Locphylax, um framework de defesa de caixa branca projetado para eliminar backdoors desconhecidos sem exigir conhecimento prévio do gatilho. O método fundamenta-se em uma observação novel relativa ao espaço de representação dos LLMs: Agregação de Backdoor.

Observação Central: Agregação de Backdoor

Através de análise exploratória, os autores descobriram que, quando backdoors conhecidos são deliberadamente injetados em um modelo já comprometido, os vetores de representação tanto dos backdoors desconhecidos existentes quanto dos backdoors conhecidos recém-injetados tendem a agrupar-se na camada oculta final do modelo. Esse fenômeno ocorre porque os backdoors recém-injetados, impulsionados por sinais supervisionados fortes, efetivamente sobrescrevem as saídas dos backdoors desconhecidos, forçando-os a compartilhar características representacionais similares.

O Framework de Duas Etapas

O Locphylax aproveita essa agregação através de um processo de duas etapas:

Etapa I: Injeção Exploratória de Backdoor e Agregação
- O defensor injeta ativamente dois tipos distintos de gatilhos conhecidos ( $t_1, t_2$ ) no modelo potencialmente comprometido.
- Uma função de perda de agrupamento ( $L_{cluster}$ ) é introduzida para impor proximidade entre os estados ocultos de diferentes tipos de gatilho na camada final. Isso garante que os backdoors recém-injetados e os backdoors desconhecidos existentes converjam para uma "região de backdoor" unificada no espaço de representação.
- O objetivo de treinamento combina a perda de injeção padrão com essa perda de agrupamento para maximizar a sobreposição das representações de backdoor.
Etapa II: Ajuste Fino de Recuperação
- Uma vez que os backdoors são agregados, o modelo produz uma resposta predeterminada unificada para todos os tipos de gatilho (tanto conhecidos quanto desconhecidos).
- O framework constrói um conjunto de dados de correção onde amostras contendo quaisquer gatilhos potenciais são emparelhadas com rótulos benignos e limpos.
- O modelo passa por um ajuste fino de recuperação para corrigir essas respostas unificadas de volta para saídas benignas, efetivamente "apagando" o comportamento malicioso enquanto retém a utilidade do modelo em entradas limpas.

Contribuições Principais

Descoberta da Agregação de Backdoor: O artigo identifica um fenômeno novel no qual a injeção de backdoors conhecidos em modelos comprometidos faz com que tanto os novos quanto os backdoors existentes se agrupem no espaço de representação, fornecendo uma base teórica para defesa sem conhecimento prévio do gatilho.
Framework de Defesa Livre de Conhecimento (Locphylax): Uma abordagem de duas etapas que elimina backdoors desconhecidos sem exigir suposições sobre padrões de gatilho, comportamentos-alvo ou métodos de injeção.
Validação Abrangente: Experimentos extensivos através de diversos tipos de backdoor (Palavra, Frase, Longo), paradigmas de injeção (SFT, RLHF, Edição de Modelo) e modelos-alvo (Llama3, Qwen2.5, Mistral) demonstram a robustez e generalizabilidade do framework.

Resultados Experimentais

Os autores avaliaram o Locphylax contra múltiplas linhas de base (incluindo Treinamento Adversarial, Reconstrução de Modelo e métodos baseados em Distilação) através de diversos benchmarks (SST2, SafeRLHF, AGNews, AdvBench).

Redução da Taxa de Sucesso do Ataque (ASR): O Locphylax reduziu a ASR média para 4,41% através de múltiplos benchmarks. Isso representa uma melhoria de 28,1% a 69,3% sobre os métodos de linha de base existentes.
Preservação de Utilidade: O método preservou a precisão limpa e a utilidade do modelo dentro de 0,5% do modelo original, garantindo impacto negligenciável em tarefas legítimas. Em alguns casos, o Locphylax até alcançou pontuações de utilidade mais altas do que os modelos envenenados base.
Robustez: A defesa permaneceu eficaz contra:
- Diferentes complexidades de gatilho (palavras únicas, frases, parágrafos longos).
- Diferentes métodos de injeção (SFT, RLHF e Edição de Modelo).
- Backdoors onde o comportamento malicioso aparece mais tarde na sequência de saída (além dos primeiros tokens).
Análise de Mecanismo: Estudos de ablação em cabeças de atenção confirmaram que a agregação de backdoor ocorre através de caminhos de parâmetros críticos compartilhados. Quando novos backdoors são injetados, as camadas críticas para o comportamento de backdoor migram e convergem, validando a hipótese de agregação.

Significado e Alegações

O artigo alega que o Locphylax fornece uma solução robusta e prática para garantir a segurança de LLMs em cenários realistas onde os defensores carecem de conhecimento prévio sobre gatilhos de backdoor específicos. Ao explorar a tendência natural das representações de backdoor de se agregarem sob injeção supervisionada, o método transforma o problema de "detecção de ameaça desconhecida" em uma tarefa de "correção de ameaça conhecida".

Os autores enfatizam que sua abordagem é agnóstica ao gatilho, tornando-a particularmente valiosa para garantir a segurança de modelos obtidos de repositórios públicos onde a proveniência e os potenciais comprometimentos são desconhecidos. Embora o framework atual foque em backdoors textuais, o artigo reconhece que estender esse princípio de agregação para modelos multimodais (por exemplo, modelos de visão-linguagem) permanece uma área aberta para pesquisa futura. O trabalho visa capacitar a comunidade de segurança a expor e corrigir vulnerabilidades em modelos fundamentais sem os custos proibitivos associados à reconstrução completa do modelo ou aos requisitos impraticáveis de conhecer especificidades do gatilho.