💻 computer science

Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection

Questo articolo investiga come gli attacchi di evasione e di avvelenamento, tipicamente progettati per compromettere i classificatori di malware, influenzino in modo unico l'operazione combinata dei rilevatori di drift dei dati e dei classificatori di malware, rivelando che le caratteristiche distinte dei rilevatori di drift alterano l'efficacia e il comportamento di tali attacchi avversari.

Autori originali: Mingyue Yang, David Lie, Nicolas Papernot

Pubblicato 2026-08-05

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mingyue Yang, David Lie, Nicolas Papernot

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il buttafuori di un enorme nightclub tecnologico. Il tuo compito è individuare i rompiscatole (malware) e tenerli fuori, lasciando entrare invece i buoni ospiti (software benigni). Per molto tempo, hai usato una lista di volti di rompiscatole noti per farlo. Ma i rompiscatole sono subdoli; cambiano i capelli, indossano travestimenti o si fanno crescere la barba per sembrare persone normali. Per stare al passo, hai assunto un'IA intelligente che ti aiuti a riconoscere la vibrazione di un rompiscatole, anche se appare diverso.

Tuttavia, c'è un problema. Con il tempo, la folla cambia. La "vibrazione" del quartiere si sposta e l'IA inizia a confondersi perché le persone che entrano non somigliano a quelle che ha imparato a conoscere anni fa. Questo si chiama concept drift (deriva concettuale). Per risolvere il problema, il club assume una seconda IA, un "Rilevatore di Drift". Questa seconda IA non si cura di sapere se qualcuno sia un rompiscatole o un buon ospite; osserva semplicemente se qualcuno sembra stranamente diverso dalla folla abituale. Se qualcuno sembra troppo strano, il Rilevatore di Drift lo segnala a una guardia umana per un controllo. L'idea è che se un rompiscatole prova a travestirsi, potrebbe sembrare così strano che il Rilevatore di Drift lo beccherà comunque.

Ma ecco il colpo di scena: cosa succederebbe se i rompiscatole conoscessero entrambi i guardiani? Cosa succederebbe se potessero ingannare l'IA principale facendo credere di essere buoni ospiti, e allo stesso tempo ingannare il Rilevatore di Drift facendo credere di sembrare normali? Questo articolo si pone esattamente questa domanda. I ricercatori volevano vedere se i malintenzionati potessero compiere un doppio gioco: ingannare il sistema che cattura i cattivi e, contemporaneamente, ingannare il sistema che cattura gli eccentrici. Hanno testato questo scenario cercando di far infiltrarsi "ospiti avvelenati" (che si intrufolano nella lista di addestramento) e "ospiti travestiti" (che cercano di scivolare oltre la porta).

Il colpo doppio cieco

I ricercatori hanno allestito un colpo digitale per vedere quanto bene questi due sistemi di sicurezza lavorino insieme contro un attaccante. Hanno utilizzato dati del mondo reale provenienti da due diversi "quartieri" (dataset chiamati Bodmas e Androzoo) contenenti migliasamente di campioni di software. La vittima (il proprietario del club) aveva due strumenti principali: un Classificatore di Malware (il buttafuori principale) e un Rilevatore di Drift (l'osservatore delle stranezze). L'obiettivo dell'attaccante era semplice ma complicato: far sembrare un malware un'app innocua, e assicurarsi che non sembri troppo "strano" da far scattare l'allarme del guardiano delle stranezze.

L'attaccante doveva seguire alcune regole, proprio come un vero criminale che cerca di non farsi notare. Non poteva rompere la funzionalità del malware (l'app doveva comunque funzionare) né cambiare il formato del file. Poteva solo modificare certe caratteristiche, come aggiungere spazio extra o cambiare alcuni numeri, ma non poteva eliminare elementi che rendevano il file funzionante. Inoltre, non aveva accesso completo alle telecamere di sicurezza del club; conosceva solo il 10% degli ospiti e doveva costruire i propri "modelli surrogati" (sistemi di sicurezza falsi) per fare pratica con i suoi trucchi prima di provarli sul sistema reale.

I risultati sorprendenti

I ricercatori hanno testato due tipi principali di attacchi: Evasione (far scivolare un malware travestito oltre le guardie) e Avvelenamento (intrufolare falsi "buoni ospiti" nella lista di addestramento, affinché le guardie imparino lezioni sbagliate).

La sorpresa dell'Evasione:
Quando i ricercatori hanno cercato di far passare il malware attraverso il sistema aggiungendo piccole "perturbazioni" (minime modifiche) ai file, hanno scoperto qualcosa di controintuitivo. Di solito, nel mondo dell'IA, cambiamenti più grandi rendono più facile ingannare un classificatore. Se cambi abbastanza un volto, l'IA smette di riconoscerlo. Ma qui, il Rilevatore di Drift agiva come un buttafuori severo che odia qualsiasi cambiamento.

Quando gli attaccanti rendevano il malware troppo diverso per ingannare il classificatore principale, il Rilevatore di Drift diventava sospettoso. Vedeva questi file pesantemente modificati come "fuori distribuzione" (out of distribution), ovvero non somigliavano affatto alla folla normale. Il Rilevatore di Drift li segnalava come strani, e la guardia umana li intercettava. Il documento ha scoperto che per i sistemi che utilizzano un tipo specifico di Rilevatore di Drift chiamato CADE (che utilizza un autoencoder contrastivo), rendere la perturbazione più grande in realtà ostacolava l'attacco. Più grande era il travestimento, più probabile era che il Rilevatore di Drift lo scoprisse. Gli attaccanti dovevano essere incredibilmente precisi, trovando un "punto di equilibrio" in cui il malware sembrasse abbastanza normale per il Rilevatore di Drift ma riuscisse comunque a ingannare il classificatore principale.

Il paradosso dell'Avvelenamento:
L'attacco di avvelenamento è stato ancora più interessante. L'attaccante ha cercato di introdurre malware con "backdoor" travestiti da app innocue. L'idea era che, se il proprietario del club avesse riaddestrato il suo sistema di sicurezza usando questi falsi ospiti, il nuovo sistema avrebbe permesso l'ingresso al vero malware in seguito.

Tuttavia, i ricercatori hanno scoperto che aggiungere più ospiti avvelenati non aiutava sempre. In effetti, per il Rilevatore di Drift basato su CADE, aggiungere troppi campioni avvelenati rendeva l'attacco fallimentare. Perché? Perché la "mappa" interna (lo spazio di embedding) del Rilevatore di Drift ha uno spazio limitato. Quando troppi campioni avvelenati venivano stipati nell'area degli "ospiti buoni", il sistema si confondeva. Per dare un senso a tutti questi nuovi campioni leggermente diversi, il Rilevatore di Drift iniziava a spingerli lontano dal centro della folla dei "buoni ospiti" per mantenerli organizzati. Questo faceva sì che i campioni avvelenati sembrassero strani di nuovo, causando la segnalazione da parte del Rilevatore di Drift. Il documento suggerisce che più cerchi di stipare nel sistema, più il sistema spinge fuori le cose cattive.

Cosa significa per il futuro

Il documento conclude che attaccare un sistema dotato sia di un classificatore che di un rilevatore di drift è un delicato gioco di equilibrio. Non si tratta solo di far sembrare il malware un bravo ragazzo; si tratta di assicurarsi che non sembri troppo diverso dalla folla.

I ricercatori hanno scoperto che il tipo di Rilevatore di Drift è fondamentale. I sistemi come Transcendent (che utilizza un metodo diverso basato sulla fiducia statistica) erano più facili da ingannare con grandi cambiamenti rispetto a CADE. Ma per CADE, gli attaccanti dovevano essere molto cauti. Se spingevano il malware troppo verso il lato "benigno", questo si allontanava troppo dal "centro" della folla benigna e veniva catturato.

In definitiva, questo studio dimostra che, sebbene gli attaccanti possano essere molto astuti, il modo unico in cui funzionano questi Rilevatori di Drift crea un nuovo tipo di difesa. Lo stesso meccanismo che aiuta il sistema ad adattarsi alle nuove minacce (notando quando le cose sembrano diverse) rende anche più difficile per gli attaccanti nascondersi in piena vista. Lo studio suggerisce che, per rompere questa difesa, un attaccante dovrebbe scegliere i suoi strumenti (modelli surrogati) e i suoi trucchi (funzioni di perdita) con estrema precisione, allineandosi perfettamente con il modo in cui il Rilevatore di Drift vede il mondo. È un gioco del gatto col topo in cui il topo deve essere solo abbastanza strano da essere invisibile, ma non così strano da essere catturato.

Sintesi Tecnica: Analisi Empirica di Evasione e Avvelenamento contro il Rilevamento del Data Drift nei Malware

Definizione del Problema

I classificatori di malware basati sul machine learning (ML) affrontano la sfida del concept drift, dove l'evoluzione di malware e software benigni può rendere obsoleti i modelli. Per mitigare questo problema, sono stati sviluppati dei rilevatori di data drift (ad esempio, CADE, Transcendent) per identificare campioni che deviano dalla distribuzione dei dati di addestramento. Questi rilevatori vengono utilizzati per rifiutare campioni potenzialmente classificati erroneamente o per innescare il riaddestramento.

Sebbene gli attacchi di evasione e avvelenamento contro i classificatori di malware basati su ML siano ben studiati, rimane poco chiaro come questi attacchi funzionino quando un sistema impiega sia un classificatore di malware che un rilevatore di data drift. Il problema centrale affrontato è che i rilevatori di data drift hanno obiettivi, funzioni di perdita e architetture differenti rispetto ai classificatori. Di conseguenza, un attacco efficace contro un classificatore potrebbe fallire contro un rilevatore di drift, o viceversa. Questo articolo investiga l'efficacia degli attacchi di evasione e avvelenamento quando mirano al sistema combinato di un classificatore di malware e un rilevatore di data drift.

Metodologia

Modello di Minaccia e Setup

Sistema Vittima: La vittima utilizza un MLP per la classificazione del malware e sia CADE (Contrastive Autoencoder-based) che Transcendent (basato su Conformal Prediction) per il rilevamento del data drift.
Obiettivi dell'Attaccante: L'attaccante mira a creare campioni di malware che siano:
1. Classificati erroneamente come benigni dal classificatore di malware.
2. Non selezionati come i primi $k$ campioni in deriva dal rilevatore di data drift (evitando così l'ispezione umana).
Conoscenza dell'Attaccante: L'attaccante ha un accesso limitato (10% dei dati di addestramento) e costruisce modelli surrogati (MLP o CAE) per generare attacchi che si trasferiscano sulla vittima.
Vincoli:
- Funzionalità: Le modifiche non devono compromettere la funzionalità o il formato del malware.
- Restrizioni sulle Feature: Per il dataset Bodmas, solo 17 delle 2.381 feature sono modificabili. Per Androzoo, vengono selezionate le feature significative tramite RFE.
- Limiti di Perturbazione: Le perturbazioni sono limitate per evitare l'eccessiva sospettabilità.
- Tipo di Avvelenamento: Si assume un avvelenamento clean-label; l'attaccante non può cambiare le etichette ma può iniettare campioni con trigger di backdoor (perturbazioni universali) derivati da benignware.

Metodi di Attacco

Gli autori generano perturbazioni universali utilizzando due funzioni di perdita distinte basate su modelli surrogati:

Surrogato MLP: Minimizza la perdita di cross-entropy per spingere i campioni di malware oltre il confine di decisione verso la classe benigna.
Surrogato CAE: Minimizza l'Errore Quadratico Medio (MSE) tra l'embedding del campione di malware e il centroide benigno nello spazio latente.

Queste perturbazioni vengono applicate in due scenari:

Evasione: Aggiunta di perturbazioni ai campioni di malware durante l'inferenza.
Avvelenamento: Iniezione di campioni benigni contenenti il trigger della backdoor nel set di addestramento per riaddestrare i modelli della vittima.

Metriche di Valutazione

La metrica primaria è l'Overall Attack Success Rate (ASR $_{overall}$ ), definita come la proporzione di campioni di malware che simultaneamente:

Sono classificati erroneamente come benigni.
Hanno un punteggio di drift inferiore al $k$ -esimo campione più deviante (per CADE, basato su punteggi OOD; per Transcendent, basato su punteggi cred+conf).

Risultati Chiave

1. Attacchi di Evasione

Solo Classificazione Malware: Le perturbazioni dei surrogati MLP e CAE evadono efficacemente i classificatori di malware, con tassi di successo che aumentano all'aumentare dell'entità della perturbazione.
Sistema Combinato (Classificatore + Rilevatore di Drift):
- CADE: Esiste un trade-off controintuitivo. Sebbene perturbazioni più grandi aumentino l'evasione contro il classificatore, esse spesso diminuiscono l'ASR complessivo contro il sistema combinato. Le perturbazioni ampie creano feature che CADE interpreta come "pattern non visti", allontanando i campioni dal centroide benigno nello spazio di embedding. CADE li identifica quindi correttamente come campioni in deriva, causandone l'identificazione per l'ispezione.
- Transcendent: A differenza di CADE, Transcendent (che utilizza un SVM sullo spazio di embedding del CAE) può raggiungere ASR più elevati con perturbazioni ampie generate da surrogati MLP. Poiché Transcendent si basa sulla distanza dal confine di decisione dell'SVM piuttosto che solo dal centroide, i campioni spinti profondamente nella regione benigna (ma lontani dal centroide) possono comunque essere considerati "non in deriva".
- Scelta del Surrogato: La scelta del modello surrogato è fondamentale. I surrogati MLP spesso falliscono contro CADE perché ottimizzano la confidenza della classificazione senza rispettare i vincoli geometrici dello spazio di embedding del CAE.

2. Attacchi di Avvelenamento

Impatto del Volume di Campioni: L'aumento del numero di campioni di avvelenamento non migliora linearmente il successo dell'attacco.
Limitazioni di CADE: Man mano che vengono iniettati più campioni di avvelenamento (benignware con trigger), il modello CAE fatica a ricostruirli accuratamente all'interno dello spazio limitato vicino al centroide benigno. Per minimizzare la perdita di ricostruzione, il CAE impara a mappare questi campioni con trigger in aree più lontane dal centroide benigno. Di conseguenza, il modello avvelenato inizia a segnalare questi campioni come in deriva, riducendo l'ASR complessivo.
Vincoli di Capacità: Questo degrado è più pronunciato nei modelli CADE con spazi di embedding più piccoli o quando si attaccano dataset con alta dimensionalità delle feature (es. Androzoo). In questi casi, gli attacchi di avvelenamento basati su MLP superano quelli basati su CAE, poiché le perdite basate su CAE affollano deliberatamente il centroide benigno, esacerbando il problema della ricostruzione.

Contributi Chiave

Analisi di Attacco a Doppio Target: Il documento valuta empiricamente gli attacchi di evasione e avvelenamento contro la combinazione di classificatori di malware e rilevatori di data drift, notando che, a quanto noto agli autori, nessun lavoro esistente ha precedentemente attaccato i rilevatori di data drift per il malware.
Caratterizzazione del Comportamento del Rilevatore: Gli autori dimostrano che i rilevatori di data drift si comportano in modo fondamentalmente diverso dai classificatori sotto attacco. Nello specifico, mostrano che le perturbazioni efficaci per la classificazione (di grande entità) possono essere dannose per l'evasione del drift a causa delle proprietà geometriche degli spazi di embedding (es. i centroidi CAE).
Dinamiche di Avvelenamento: Lo studio rivela che negli scenari di avvelenamento clean-label che coinvolgono rilevatori di drift basati su CAE, l'aumento del volume di dati avvelenati può involontariamente rafforzare la capacità del rilevatore di segnalare l'attacco, a causa dei vincoli di ricostruzione degli autoencoder.

Significato e Assertions

Il documento afferma che le caratteristiche uniche dei rilevatori di data drift — specificamente la loro dipendenza dalla geometria dello spazio di embedding e dalle perdite di ricostruzione — creano un'interazione complessa con le perturbazioni avversarie.

Per gli Attaccanti: Il successo richiede una calibrazione attenta. Semplicemente massimizzare la dimensione della perturbazione per ingannare un classificatore può innescare il rilevatore di drift. Gli attaccanti devono allineare i propri modelli surrogati e le funzioni di perdita con l'architettura specifica del rilevatore di drift (ad esempio, evitando i surrogati CAE per i rilevatori basati su CAE se lo spazio di embedding è affollato).
Per i Difensori: Le scoperte suggeriscono che i rilevatori di data drift forniscono uno strato di difesa secondario robusto. Possono rilevare campioni malevoli che riescono ad evadere il classificatore primario, in particolare quando tali campioni presentano feature "fuori distribuzione" causate da perturbazioni avversarie aggressive. Tuttavia, l'efficacia dipende dall'architettura e dalla capacità del rilevatore.

Gli autori concludono che, sebbene sia possibile ottenere elevati tassi di successo negli attacchi contro i classificatori, la presenza di un rilevatore di data drift altera significativamente il panorama degli attacchi, riducendo spesso il tasso di successo complessivo dei tentativi di evasione e avvelenamento.