💻 computer science

Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection

Este artigo investiga como os ataques de evasão e envenenamento, tipicamente projetados para comprometer classificadores de malware, afetam de forma única a operação combinada de detectores de deriva de dados e classificadores de malware, revelando que as características distintas dos detectores de deriva alteram a eficácia e o comportamento desses ataques adversários.

Autores originais: Mingyue Yang, David Lie, Nicolas Papernot

Publicado 2026-08-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingyue Yang, David Lie, Nicolas Papernot

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o segurança de uma boate tecnológica e massiva. Seu trabalho é identificar encrenqueiros (malware) e mantê-los do lado de fora, enquanto deixa os bons convidados (software benigno) entrarem. Por muito tempo, você usou uma lista de rostos de encrenqueiros conhecidos para fazer isso. Mas os encrenqueiros são sorrateiros; eles mudam o cabelo, usam disfarces ou deixam a barba crescer para parecerem pessoas comuns. Para acompanhar isso, você contratou uma IA inteligente para ajudar você a reconhecer a vibe de um encrenqueiro, mesmo que ele pareça diferente.

No entanto, há um porém. Com o tempo, a multidão muda. A "vibe" do bairro se desloca, e a IA começa a ficar confusa porque as pessoas que entram não se parecem com as pessoas de quem ela aprendeu há anos. Isso é chamado de concept drift (deriva de conceito). Para resolver isso, a boate contrata uma segunda IA, um "Detector de Drift". Esta segunda IA não se importa se alguém é um encrenqueiro ou um bom convidado; ela apenas observa se alguém parece estranhamente diferente da multidão habitual. Se alguém parecer estranho demais, o Detector de Drift sinaliza para um segurança humano verificar. A ideia é que, se um encrenqueiro tentar se disfarçar, ele pode parecer tão estranho que o Detector de Drift o pegará de qualquer maneira.

Mas aqui está a reviravolta: e se os encrenqueiros souberem de ambos os seguranças? E se eles conseguirem enganar a IA principal para que ela pense que são bons convidados, e também enganar o Detector de Drift para que ele pense que eles parecem normais? Este artigo pergunta exatamente isso. Os pesquisadores queriam ver se agentes mal-intencionados poderiam realizar um duplo golpe: enganar o sistema que pega os caras malvados e, ao mesmo tempo, enganar o sistema que pega os esquisitos. Eles testaram isso tentando infiltrar convidados "envenenados" (que entram sorrateiramente na lista de treinamento) e convidados "disfarçados" (que tentam passar pela porta).

O Assalto de Duplo Blindagem

Os pesquisadores montaram um assalto digital para ver como esses dois sistemas de segurança trabalham juntos contra um atacante. Eles usaram dados do mundo real de dois "bairros" diferentes (datasets chamados Bodmas e Androzoo) contendo milhares de amostras de software. A vítima (o dono da boate) tinha duas ferramentas principais: um Classificador de Malware (o segurança principal) e um Detector de Drift (o observador de esquisitice). O objetivo do atacante era simples, mas traiçoeiro: fazer um malware parecer um aplicativo inofensivo para o segurança, e também garantir que ele não pareça "estranho" o suficiente para ser sinalizado pelo observador de esquisitice.

O atacante tinha algumas regras a seguir, assim como um criminoso real tentando passar despercebido. Eles não podiam quebrar a funcionalidade do malware (o aplicativo ainda precisava funcionar) nem alterar o formato do arquivo. Eles só podiam ajustar certas características, como adicionar espaço extra ou mudar alguns números, mas não podiam deletar coisas que fizessem o arquivo funcionar. Eles também não tinham acesso total às câmeras de segurança da boate; eles conheciam apenas 10% dos convidados e tiveram que construir seus próprios modelos "substitutos" (sistemas de segurança falsos) para praticar seus truques antes de tentá-los no sistema real.

Os Resultados Surpreendentes

Os pesquisadores testaram dois tipos principais de ataques: Evasão (fazer o malware deslizar past pelos seguranças usando um disfarce) e Envenenamento (infiltrar convidados falsos "bons" na lista de treinamento para que os seguranças aprendam as lições erradas).

A Surpresa da Evasão:
Quando os pesquisadores tentaram passar o malware pelo sistema adicionando pequenas "perturbações" (mudanças ínfimas) aos arquivos, descobriram algo contraintuitivo. Normalmente, no mundo da IA, mudanças maiores facilitam o engano de um classificador. Se você muda um rosto o suficiente, a IA para de reconhecê-lo. Mas aqui, o Detector de Drift agiu como um segurança rigoroso que odeia qualquer mudança.

Quando os atacantes faziam o malware parecer diferente demais para enganar o classificador principal, o Detector de Drift ficava desconfiado. Ele via esses arquivos fortemente modificados como "fora de distribuição" — ou seja, não se pareciam em nada com a multidão normal. O Detector de Drift os sinalizava como estranhos, e o segurança humano os pegava. O artigo descobriu que para sistemas que utilizam um tipo específico de Detector de Drift chamado CADE (que usa um autoencoder contrastivo), tornar a perturbação maior na verdade prejudicava o ataque. Quanto maior o disfarce, maior a probabilidade de o Detector de Drift detectá-lo. Os atacantes tiveram que ser incrivelmente precisos, encontrando um "ponto ideal" onde o malware parecesse normal o suficiente para o Detector de Drift, mas ainda assim enganasse o classificador principal.

O Paradoxo do Envenenamento:
O ataque de envenenamento foi ainda mais interessante. O atacante tentou infiltrar malware com "backdoor" (porta dos fundos) disfarçado de aplicativos inofensivos. A ideia era que, se o dono da boate retreinasse seu sistema de segurança usando esses convidados falsos, o novo sistema deixaria o malware real entrar mais tarde.

No entanto, os pesquisadores descobriram que adicionar mais convidados envenenados nem sempre ajudava. Na verdade, para o Detector de Drift baseado em CADE, adicionar amostras envenenadas demais fazia o ataque falhar. Por quê? Porque o "mapa" interno (espaço de incorporação/embedding) do Detector de Drift tem espaço limitado. Quando muitas amostras envenenadas eram espremidas na área de "bons convidados", o sistema ficava confuso. Para dar sentido a todas essas novas amostras ligeiramente diferentes, o Detector de Drift começou a empurrá-las para longe do centro da multidão de "bons convidados" para mantê-las organizadas. Isso fez com que as amostras envenenadas parecessem estranhas novamente, fazendo com que o Detector de Drift as sinalizasse. O artigo sugere que quanto mais você tenta socar dentro do sistema, mais o sistema empurra o que é ruim para fora.

O Que Isso Significa para o Futuro

O artigo conclui que atacar um sistema com um classificador e um detector de drift é um equilíbrio delicado. Não se trata apenas de fazer o malware parecer um cara legal; trata-se de garantir que ele não pareça estranho demais em relação à multidão.

Os pesquisadores descobriram que o tipo de Detector de Drift importa muito. Sistemas como o Transcendent (que usa um método diferente baseado em confiança estatística) eram mais fáceis de enganar com grandes mudanças do que o CADE. Mas, para o CADE, os atacantes tiveram que ser muito cuidadosos. Se eles empurrassem o malware demais para o lado "benigno", ele se afastava demais do "centro" da multidão benigna e era pego.

Em última análise, o artigo mostra que, embora os atacantes possam ser muito astutos, a maneira única como esses Detectores de Drift funcionam cria um novo tipo de defesa. O próprio mecanismo que ajuda o sistema a se adaptar a novas ameaças (ao notar quando as coisas parecem diferentes) também torna mais difícil para os atacantes se esconderem à vista de todos. O estudo sugere que, para quebrar essa defesa, um atacante precisaria escolher suas ferramentas (modelos substitutos) e seus truques (funções de perda) com extrema precisão, alinhando-se perfeitamente com a forma como o Detector de Drift vê o mundo. É um jogo de gato e rato onde o rato precisa ser apenas estranho o suficiente para ser invisível, mas não tão estranho que seja pego.

Resumo Técnico: Análise Empírica de Evasão e Envenenamento Contra Detecção de Drift de Dados de Malware

Declaração do Problema

Classificadores de malware baseados em aprendizado de máquina (ML) enfrentam o desafio do concept drift (deriva de conceito), onde a evolução de malwares e softwares benignos faz com que os modelos se tornem obsoletos. Para mitigar isso, detectores de drift de dados (ex: CADE, Transcendent) foram desenvolvidos para identificar amostras que se desviam da distribuição dos dados de treinamento. Esses detectores são usados para rejeitar amostras potencialmente classificadas incorretamente ou para disparar o retreinamento.

Embora ataques de evasão e envenenamento contra classificadores de malware baseados em ML sejam amplamente estudados, permanece incerto como esses ataques funcionam quando um sistema emprega tanto um classificador de malware quanto um detector de drift de dados. O problema central abordado é que os detectores de drift de dados possuem objetivos, funções de perda e arquiteturas diferentes em comparação aos classificadores. Consequentemente, um ataque bem-sucedido contra um classificador pode falhar contra um detector de drift, ou vice-versa. Este artigo investiga a eficácia de ataques de evasão e envenenamento ao visar o sistema combinado de um classificador de malware e um detector de drift de dados.

Metodologia

Modelo de Ameaça e Configuração

Sistema Vítima: A vítima utiliza um MLP para classificação de malware e o CADE (baseado em Autoencoder Contrastivo) ou o Transcendent (baseado em Predição Conformal) para detecção de drift de dados.
Objetivos do Atacante: O atacante visa criar amostras de malware que sejam:
1. Classificadas incorretamente como benignas pelo classificador de malware.
2. Não selecionadas como as top- $k$ amostras com drift pelo detector de drift de dados (evitando assim a inspeção humana).
Conhecimento do Atacante: O atacante possui acesso limitado (10% dos dados de treinamento) e constrói modelos substitutos (MLP ou CAE) para gerar ataques que se transfiram para a vítima.
Restrições:
- Funcionalidade: As modificações não devem quebrar a funcionalidade ou o formato do arquivo do malware.
- Restrições de Características: Para o conjunto de dados Bodmas, apenas 17 de 2.381 características são modificáveis. Para o Androzoo, características significativas são selecionadas via RFE.
- Limites de Perturbação: As perturbações são limitadas para evitar conspicuidade.
- Tipo de Envenenamento: Assume-se envenenamento de rótulo limpo (clean-label); o atacante não pode alterar os rótulos, mas pode injetar amostras com gatilhos de backdoor (perturbações universais) derivados de benignware.

Métodos de Ataque

Os autores geram perturbações universais usando duas funções de perda distintas baseadas em modelos substitutos:

Substituto MLP: Minimiza a perda de entropia cruzada para empurrar as amostras de malware através da fronteira de decisão para a classe benigna.
Substituto CAE: Minimiza o Erro Quadrático Médio (MSE) entre o embedding da amostra de malware e o centroide benigno no espaço latente.

Essas perturbações são aplicadas em dois cenários:

Evasão: Adicionando perturbações às amostras de malware no momento da inferência.
Envenenamento: Injetando amostras benignas contendo o gatilho de backdoor no conjunto de treinamento para retreinar os modelos da vítima.

Métricas de Avaliação

A métrica primária é a Taxa de Sucesso de Ataque Global (ASR $_{overall}$ ), definida como a proporção de amostras de malware que simultaneamente:

São classificadas incorretamente como benignas.
Possuem um escore de drift inferior ao da $k$ -ésima amostra com maior drift (para o CADE, baseado em escores OOD; para o Transcendent, baseado em escores de credibilidade+confiança).

Resultados Principais

1. Ataques de Evasão

Apenas Classificação de Malware: Perturbações de substitutos MLP e CAE evadem efetivamente classificadores de malware, com taxas de sucesso aumentando conforme a magnitude da perturbação aumenta.
Sistema Combinado (Classificador + Detector de Drift):
- CADE: Existe um trade-off contraintuitivo. Embora perturbações maiores aumentem a evasão contra o classificador, elas frequentemente diminuem o ASR global contra o sistema combinado. Grandes perturbações criam características que o CADE interpreta como "padrões não vistos", afastando as amostras do centroide benigno no espaço de embedding. O CADE então identifica corretamente essas amostras como amostras com drift, fazendo com que sejam sinalizadas para inspeção.
- Transcendent: Diferente do CADE, o Transcendent (que utiliza um SVM no espaço de embedding do CAE) pode alcançar ASRs mais altas com grandes perturbações geradas por substitutos MLP. Como o Transcendent depende da distância até a fronteira de decisão do SVM, em vez de apenas o centroide, amostras empurradas para longe na região benigna (mas longe do centroide) ainda podem ser consideradas "sem drift".
- Escolha do Substituto: A escolha do modelo substituto é importante. Substitutos MLP frequentemente falham contra o CADE porque otimizam a confiança da classificação sem respeitar as restrições geométricas do espaço de embedding do CAE.

2. Ataques de Envenenamento

Impacto do Volume de Amostras: Aumentar o número de amostras de envenenamento não melhora linearmente o sucesso do ataque.
Limitações do CADE: À medida que mais amostras de envenenamento (benignware com gatilhos) são injetadas, o modelo CAE tem dificuldade em reconstruir essas amostras com precisão dentro do espaço limitado. Para minimizar a perda de reconstrução, o CAE aprende a mapear essas amostras com gatilho para áreas mais distantes do centroide benigno. Consequentemente, o modelo envenenado começa a sinalizar essas amostras como tendo drift, reduzindo o ASR global.
Restrições de Capacidade: Essa degradação é mais pronunciada em modelos CADE com espaços de embedding menores ou ao atacar conjuntos de dados com alta dimensionalidade de características (ex: Androzoo). Nesses casos, ataques de envenenamento baseados em MLP superam os baseados em CAE, pois as perdas baseadas em CAE deliberadamente aglomeram o centroide benigno, exacerbando o problema de reconstrução.

Contribuições Principais

Análise de Ataque de Alvo Duplo: O artigo avalia empiricamente ataques de evasão e envenenamento contra a combinação de classificadores de malware e detectores de drift de dados, observando que, até onde os autores sabem, nenhum trabalho existente atacou anteriormente detectores de drift de dados de malware.
Caracterização do Comportamento do Detector: Os autores demonstram que os detectores de drift de dados comportam-se fundamentalmente de forma diferente dos classificadores sob ataque. Especificamente, eles mostram que perturbações eficazes para classificação (grande magnitude) podem ser prejudiciais para a evasão de drift devido às propriedades geométricas dos espaços de embedding (ex: centroides de CAE).
Dinâmica de Envenenamento: O estudo revela que, em cenários de envenenamento de rótulo limpo envolvendo detectores de drift baseados em CAE, aumentar o volume de dados envenenados pode inadvertidamente fortalecer a capacidade do detector de sinalizar o ataque, devido às restrições de reconstrução dos autoencoders.

Significância e Alegações

O artigo alega que as características únicas dos detectores de drift de dados — especificamente sua dependência da geometria do espaço de embedding e das perdas de reconstrução — criam uma interação complexa com perturbações adversárias.

Para Atacantes: O sucesso requer calibração cuidadosa. Simplesmente maximizar o tamanho da perturbação para enganar um classificador pode disparar o detector de drift. Atacantes devem alinhar seus modelos substitutos e funções de perda com a arquitetura específica do detector de drift (ex: evitar substitutos CAE para detectores baseados em CAE se o espaço de embedding estiver congestionado).
Para Defensores: As descobertas sugerem que os detectores de drift de dados fornecem uma segunda camada de defesa robusta. Eles podem detectar amostras maliciosas que conseguem evadir o classificador primário, particularmente quando essas amostras exibem características "fora da distribuição" causadas por perturbações adversárias agressivas. No entanto, a eficácia depende da arquitetura e da capacidade do detector.

Os autores concluem que, embora altas taxas de sucesso de ataque sejam alcançáveis contra classificadores, a presença de um detector de drift de dados altera significativamente o cenário de ataque, frequentemente reduzindo a taxa de sucesso global das tentativas de evasão e envenenamento.