💻 computer science

Lilith: Backdoor Generalization under Training-Inference Trigger Shift

Este artigo apresenta o Lilith, um framework de caixa-preta que demonstra como ataques de backdoor podem se generalizar de uma única âncora de tempo de treinamento para toda uma família de gatilhos de tempo de inferência através do alinhamento da geometria de representação, expondo, assim, um ponto cego crítico em avaliações existentes que dependem da reutilização exata do gatilho.

Autores originais: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer gatos. Você mostra a ele milhares de imagens e, eventualmente, ele fica muito bom em dizer "miau" sempre que vê um felino peludo. Isso é a magia do aprendizado de máquina: sistemas que aprendem com dados para tomar decisões. Mas e se alguém colocar um adesivo minúsculo, quase invisível, em algumas dessas imagens de treinamento? Se o robô aprender a associar esse adesivo a um "cachorro", ele pode começar a latir para todo gato que tiver o adesivo. Isso é chamado de "ataque de backdoor". O robô ainda funciona perfeitamente para gatos normais, mas se você mostrar a ele um gato com aquele adesivo específico, ele será enganado para tomar uma decisão errada e perigosa.

Por muito tempo, especialistas em segurança pensaram que a melhor maneira de impedir esses ataques era encontrar e banir aquele adesivo específico. Se o atacante usasse uma estrela vermelha, os defensores buscariam por estrelas vermelhas. Mas este artigo faz uma pergunta assustadora: e se o atacante não usar apenas um adesivo? E se eles ensinarem o robô a reagir a toda uma família de adesivos — diferentes formas, cores ou tamanhos — que o robô nunca viu antes, mas que todos disparam o mesmo "latido"? Este é o problema do "deslocamento de gatilho" (trigger shift). O artigo explora se um backdoor pode ser plantado de forma tão inteligente que funcione não apenas para o padrão exato usado durante o treinamento, mas para um novo conjunto de padrões que aparecem mais tarde, quando o robô está sendo realmente usado no mundo real.

Os pesquisadores por trás deste estudo, liderados por Zhou Feng e colegas, introduzem um novo método chamado Lilith. Pense na Lilith como um mestre espião que não apenas planta um único código secreto, mas planta uma "zona de vulnerabilidade" dentro do céreço do robô. Crucialmente, este espião opera sob uma restrição de caixa preta (black-box constraint): eles não têm absolutamente nenhum acesso ao código interno do robô, aos seus dados de treinamento ou à sua arquitetura. Eles só podem ver as respostas finais que o robô dá.

Eis como a Lilith funciona, usando uma analogia simples: Imagine que o cérebro do robô é um mapa gigante com diferentes bairros para diferentes animais. O bairro dos "Gatos" é seguro e ensolarado. O bairro dos "Cachorros" é onde o robô late. Normalmente, um atacante de backdoor tenta construir um túnel pequeno e secreto do bairro dos Gatos para o bairro dos Cachorros, mas o túnel só abre se você bater em uma porta muito específica (o gatilho). Se o defensor encontrar essa porta e trancá-la, o ataque falha.

A Lilith faz algo diferente. Em vez de construir um único túnel para uma porta específica, o atacante usa uma "âncora de treinamento" — uma única chave secreta — para esculpir toda uma zona segura (ou "bacia") dentro do bairro dos Cachorros. Esta zona é projetada de modo que qualquer chave que se pareça um pouco com a chave secreta original possa abrir a porta. Mas aqui está o truque: como o espião não pode tocar diretamente no cérebro do robô, eles usam recursos substitutos disjuntos (disjoint surrogate resources). Eles constroem um cópia de um robô (um substituto/surrogate) usando seus próprios dados e ferramentas separadas. Eles praticam a escultura da zona de vulnerabilidade nessa cópia até que ela esteja perfeita. Então, eles apenas enviam a única "âncora de treinamento" para o robô real. Porque a zona de vulnerabilidade é geometricamente robusta, o robô real aprende o mesmo bairro oculto, embora nunca tenha visto as sessões de prática do espião ou as outras chaves. O atacante então cria uma "família" de novas chaves (os gatilhos de inferência) que são diferentes da original, mas que ainda se encaixam dentro dessa zona segura. Mesmo que o robô nunca tenha sido treinado com essas novas chaves, ele ainda as reconhece como válidas porque elas caem no mesmo bairro oculto.

O artigo descobre que isso não é apenas uma teoria; na verdade, funciona. Os pesquisadores testaram a Lilith em vários conjuntos de dados (como CIFAR-10 e ImageNet) e diferentes cérebros de robôs (como ResNet e ViT). Eles descobriram que, mesmo quando o atacante envenenava apenas uma pequena fração dos dados de treinamento (tão baixa quanto 0,5%), o backdoor ainda poderia ser ativado com sucesso com uma família inteira de novos gatilhos não vistos. Em muitos casos, a taxa de sucesso para esses novos gatilhos foi superior a 90%, e a diferença entre o sucesso do gatilho original e o sucesso da nova família foi muito pequena.

Crucialmente, o artigo argumenta contra a ideia de que você precisa saber exatamente como o atacante gera esses novos gatilhos. Eles descobriram que o segredo não é a forma específica das novas chaves, mas sim que elas permanecem "alinhadas" com a geometria da zona secreta original. É como se você ensinasse um cachorro a sentar quando você levanta a mão de uma determinada maneira; se você levantar a mão de forma um pouco diferente mais tarde, mas ainda no mesmo movimento geral, o cachorro pode ainda sentar. O artigo mostra que, desde que os novos gatilhos permaneçam dentro do "alcance geométrico" da âncora de treinamento original, o backdoor funciona.

Os pesquisadores também verificaram se este novo método é difícil de detectar. Eles descobriram que a Lilith é muito furtiva. Os novos gatilhos parecem muito semelhantes a imagens normais para olhos humanos, e as ferramentas de segurança padrão que procuram por padrões estranhos ou mudanças súbitas no pensamento do robô frequentemente falham em detectá-los. Mesmo quando a entrada do robô é alterada por coisas como inverter a imagem, adicionar ruído ou comprimi-la (como quando você envia uma foto por uma conexão de internet lenta), o backdoor ainda funciona.

Em resumo, este artigo sugere que a antiga maneira de defender contra backdoors — que é procurar por um gatilho específico — está incompleta. Se um atacante pode plantar um backdoor que se generaliza para uma família inteira de gatilhos, simplesmente bloquear o gatilho conhecido não é suficiente. Os autores concluem que precisamos mudar a forma como testamos e defendemos esses sistemas, olhando não apenas para o "adesivo" específico que um atacante usa, mas para o "bairro" mais amplo que eles podem estar tentando acessar. Embora isso não signifique que toda a IA esteja quebrada, sugere que o cenário de ameaças é mais amplo e flexível do que pensávamos anteriormente.

Resumo Técnico: Lilith – Generalização de Backdoor sob Deslocamento de Gatilho entre Treinamento e Inferência

1. Definição do Problema e Motivação

As avaliações atuais de ataques de backdoor dependem predominantemente da reutilização exata do gatilho, onde o gatilho usado na inferência é idêntico ao usado durante o envenenamento. Alternativamente, alguns estudos exploram a diversidade que já está exposta durante o treinamento (ex: gatilhos específicos para amostras) ou variações ao longo de eixos predefinidos (ex: tamanho ou opacidade). Essas abordagens deixam um ponto cego crítico: elas não avaliam se um backdoor aprendido a partir de um único gatilho durante o treinamento pode se generalizar para uma família de gatilhos durante a inferência que nunca foram vistos durante o treinamento da vítima.

Este artigo formula o problema como Generalização de Backdoor sob Deslocamento de Gatilho entre Treinamento e Inferência. O desafio central é determinar se um atacante, operando em um cenário de caixa-preta de apenas envenenamento (sem acesso aos internos da vítima, sem controle sobre o treinamento), pode:

Envenenar um modelo vítima usando um único gatilho "âncora".
Construir uma família limitada de gatilhos não vistos para implantação.
Garantir que toda a família ative o comportamento malicioso enquanto preserva a utilidade benigna e a furtividade.

Os autores argumentam que as limitações existentes (L1: Reutilização de Gatilho, L2: Diversidade Exposta no Treinamento, L3: Falta de Critérios de Preservação) obscurecem uma ameaça de maior liberdade, onde o comportamento malicioso se generaliza através de um deslocamento no suporte do gatilho, em vez de depender da memorização de um artefato específico.

2. Metodologia: O Framework Lilith

Lilith é um framework de caixa-preta de âncora-para-família que opera utilizando recursos substitutos disjuntos (um conjunto de dados e um modelo substituto separados da vítima). Ele consiste em dois módulos sequenciais:

Módulo I: Indução de Vulnerabilidade da Âncora

O objetivo é selecionar uma única âncora de treinamento ( $\theta_A$ ) que induza uma vulnerabilidade compacta e direcionada ao alvo no modelo substituto, a qual espera-se que se transfira para a vítima.

Objetivo Geométrico: O módulo otimiza o Clareamento da Âncora (Anchor Clearance). Ele busca um gatilho que concentre as representações em uma região compacta no lado do alvo da fronteira de decisão, maximizando ao mesmo tempo a margem ( $\gamma$ ) entre a classe alvo e outras classes.
Mecanismo: Otimiza conjuntamente a consistência do alvo, a concentração de representação (minimizando o raio $r$ da distribuição disparada) e a furtividade perceptual.
Base Teórica: Sob suposições de Lipschitz local, um clareamento positivo ( $\gamma > 2Lr$ ) garante que as representações disparadas permaneçam dentro da região de decisão do alvo com alta probabilidade.

Módulo II: Construção de Família Alinhada por Representação

Uma vez fixada a âncora, este módulo constrói uma família de gatilhos limitada e exclusiva de inferência ( $Q_{te}$ ) que exclui a âncora.

Restrição Geométrica: O módulo gera variantes candidatas dentro de um subespaço limitado e as filtra com base em sua relação geométrica com a região induzida pela âncora.
Critérios de Seleção: As variantes são retidas apenas se seu "alcance de representação" (distância do centro da âncora mais seu raio de concentração interna) permanecer dentro da margem de clareamento da âncora.
Mecanismo: Utiliza o alinhamento de características e a projeção em um subespaço admissível para garantir que as variantes não vistas preservem a geometria da âncora. O mecanismo de proposta (ex: gerador aprendido, amostragem aleatória) é secundário à triagem geométrica.
Base Teórica: O artigo deriva condições suficientes para a ativação por família. Se a transferência geométrica substituto-vítima for limitada ( $\kappa_{tr}$ ), e o alcance da família satisfizer desigualdades específicas em relação ao clareamento da âncora, a família ativará a decisão do alvo no modelo da vítima.

3. Principais Contribuições

Formulação do Problema: Os autores definem e formalizam a Generalização de Backdoor sob Deslocamento de Gatilho, mudando o foco da robustez do instância-do-gatilho para a generalização do comportamento malicioso através de suportes de gatilho não vistos.
Framework Lilith: Eles introduzem um framework de caixa-preta que utiliza um único gatilho âncora para induzir uma vulnerabilidade e constrói uma família de inferência limitada que preserva essa vulnerabilidade através do alinhamento de representação.
Análise Teórica: O artigo caracteriza o ataque através do Clareamento da Âncora e do Alcance da Família. Derivam condições suficientes para a ativação bem-sucedida da família sob discrepância limitada entre substituto e vítima e suposições de regularidade local.
Validação Empírica: Experimentos extensos demonstram que o Lilith alcança altas taxas de sucesso de ataque por família (ASR) com um pequeno Gap de Generalização de Gatilho (TGG) em vários conjuntos de dados (CIFAR-10/100, TinyImageNet, SVHN, ImageNet-1K), arquiteturas (ResNet, ViT, etc.) e taxas de envenenamento.

4. Resultados Experimentais

Efetividade (RQ1): Em 75 configurações, o Lilith mantém uma alta ativação de família ( $ASR_F$ ), frequentemente excedendo 90% mesmo com baixas taxas de envenenamento (0,5%), com um TGG pequeno (tipicamente de dígitos únicos percentuais).
Comparação (RQ2): Ao contrário dos ataques de estado da arte (ex: BadNets, WaNet, IAD) que sofrem quedas significativas de desempenho quando o gatilho de inferência difere do gatilho de treinamento, o Lilith mantém sua capacidade de ativação, demonstrando uma generalização superior de singleton-para-família.
Mecanismo (RQ3): Estudos de ablação confirmam que o alinhamento de representação é o fator decisivo. Variantes geradas sem triagem geométrica (fora do subespaço) falham, enquanto aquelas filtradas pela geometria têm sucesso, independentemente do mecanismo de proposta (aprendido vs. aleatório).
Furtividade e Detecção (RQ4): Os gatilhos são perceptualmente sutis (baixo MSE, alto PSNR) e variam em seus mapas de atenção. Detectores padrão (IBD-PSC, Beatrix, SCALE-UP, STRIP) falham em distinguir os gatilhos do Lilith de entradas benignas com alta confiança.
Robustez (RQ5): O ataque permanece eficaz sob perturbações de implantação (inversão, ruído, compressão JPEG, redimensionamento) e é resiliente à purificação de entrada, embora defesas centradas em representação (ex: FST, DBD) mostrem capacidades de supressão mais fortes.

5. Significância e Alegações

O artigo afirma que seu trabalho expõe um ponto cego fundamental nas avaliações de backdoor atuais: a suposição de que um backdoor está vinculado a um artefato de gatilho específico. Ao demonstrar que um único gatilho de treinamento pode induzir uma vulnerabilidade generalizável para toda uma família de gatilhos não vistos, os autores argumentam que:

Protocolos de Avaliação Devem Evoluir: Avaliações de gatilho exato padrão são insuficientes para avaliar o risco real de backdoors em ambientes de ML-as-a-Service (MLaaS).
Implicações para Defesa: Defesas que focam em identificar ou remover um padrão de gatilho específico podem ser inadequadas. A mitigação eficaz requer intervenções ao nível de representação que abordem a vulnerabilidade geométrica subjacente (o "balde da âncora") em vez de artefatos de superfície.
Expansão do Modelo de Ameaça: O estudo destaca uma ameaça mais ampla onde o comportamento malicioso persiste mesmo quando o gatilho específico usado no treinamento nunca é implantado, desafiando a sustentabilidade das metodologias atuais de detecção de backdoor.

Os autores mantêm uma postura modesta, observando que sua análise depende de regularidade local e suposições de transferência limitada, e que a "sustentabilidade" do ataque depende das restrições operacionais específicas do ambiente da vítima. Eles não afirmam ter resolvido todos os problemas de detecção de backdoor, mas sim que identificaram um vetor de generalização específico e negligenciado que exige novos padrões de avaliação.