Robust Ensemble of Selectively Strengthened and Augmented Predictors

Sintesi Tecnica: Robust Ensemble of Selectively Strengthened and Augmented Predictors (RESSAP)

Problematica
I classificatori di machine learning, pur essendo efficaci in vari domini, possiedono "punti ciechi" intrinseci nei loro confini decisionali che possono essere sfruttati da attacchi di evasione avversaria. In questi attacchi, gli avversari manipolano i dati di input al momento dell'inferenza per causare una classificazione errata senza alterare il processo di addestramento. I meccanismi di difesa esistenti soffrono spesso di una limitata generalizzabilità, richiedendo cambiamenti architettonici significativi o restringendo la scelta degli algoritmi di apprendimento. Inoltre, molte difese sono valutate sotto scenari di attacco ristretti, non riuscendo a fornire una robustezza sistematica contro diverse minacce. Esiste una critica necessità di un framework model-agnostic che migliori la robustezza contro gli attacchi di evasione mantenendo un'alta accuratezza sui dati benigni e integrandosi perfettamente nei pipeline di ML esistenti (ad es. SecDevOps).

Metodologia
Gli autori propongono RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors), un framework che trasforma un singolo classificatore pre-addestrato ($clf_0$) in un ensemble di sub-modelli specializzati. La metodologia consiste in quattro componenti primari:

1. Selezione delle Caratteristiche e Generazione di Sottoinsiemi:
   Il framework introduce una Metrica di Resilienza composita ($FSRI$) per guidare la selezione delle caratteristiche. Questa metrica combina due punteggi distinti per ogni caratteristica $j$:

   • Importanza della Caratteristica ($FSI$): Calcolata tramite l'importanza di permutazione, misura il calo dell'accuratezza di base quando i valori delle caratteristiche vengono rimescolati.
   • Robustezza della Caratteristica ($FSR$): Calcolata misurando la sensibilità dell'accuratezza di base a piccole perturbazioni di rumore casuale aggiunte alla caratteristica.
   • Resilienza ($FSRI$): Definita come la somma della $FSI$ normalizzata e della $FSR$.

   Utilizzando queste metriche, il framework genera $t$ diversi sottoinsiemi di caratteristiche ($s_l$). Per garantire la diversità, i sottoinsiemi sono costruiti selezionando le caratteristiche con il ranking più alto basandosi su tre strategie: la metà dei sottoinsiemi privilegia la $FSRI$ (resilienza), un quarto privilegia la $FSI$ (importanza) e il restante quarto privilegia la $FSR$ (robustezza).

2. Data Augmentation (Aumento dei Dati):
   Per ogni sottoinsieme di caratteristiche, i corrispondenti dati di addestramento vengono tagliati verticalmente. Viene quindi applicata l'augmentation dei dati basata sul rumore a questi sottoinsiemi, aggiungendo rumore Gaussiano ($\epsilon \sim N(0, \sigma)$). Questo processo simula variazioni naturali e piccole perturbazioni avversarie, incoraggiando i sub-modelli a imparare confini decisionali più stabili e generalizzabili.

3. Addestramento dell'Ensemble:
   Un classificatore debole ($f_l$) viene addestrato indipendentemente su ciascun sottoinsieme di caratteristiche aumentato. Questo crea un ensemble di $t$ classificatori, ciascuno operante su uno spazio di caratteristiche distinto e resiliente.

4. Inferenza Randomizzata:
   Al momento dell'inferenza, il sistema non utilizza tutti i classificatori. Invece, viene selezionato un sottoinsieme casuale di $k$ classificatori per formare l'insieme di predizione $P$. La predizione finale è derivata dall'aggregazione dei vettori di probabilità dei classificatori selezionati e dalla scelta della classe con la massima probabilità aggregata. Questa randomizzazione aumenta l'imprevedibilità del sistema, costringendo gli avversari a interrogare il sistema più frequentemente per mappare i confini decisionali.

Contributi Chiave
L'articolo delinea tre contributi primari:

1. Framework RESSAP: Un'innovativa architettura ensemble che migliora la robustezza avversaria integrando la diversità a livello di caratteristica con la randomizzazione a livello di classificatore, operando come un passaggio di potenziamento post-addestramento.
2. Selezione delle Caratteristiche Basata sulla Resilienza: Un nuovo approccio alla selezione delle caratteristiche che unifica l'importanza di permutazione e la robustezza in una singola metrica ($FSRI$) per guidare la formazione di sottoinsiemi di caratteristiche diversi e resilienti.
3. Validazione Empirica: La validazione sperimentale su dataset sintetici dimostra che il framework migliora significativamente la resistenza agli attacchi di evasione preservando l'accuratezza sui dati puliti.

Risultati
Gli autori hanno valutato RESSAP su un dataset sintetico ($n=600$ istanze, $d=10$ caratteristiche) utilizzando una strategia di attacco Multi-Line Search (MLS). I risultati sono stati confrontati con un baseline Support Vector Machine (SVM) e versioni ablate di RESSAP:

• Tasso di Successo dell'Attacco (Attack Success Rate): Il modello RESSAP completo ha ridotto il tasso di successo dell'attacco avversario al 32,49%, un miglioramento significativo rispetto al baseline SVM (100%) e alle varianti ablate (che oscillavano tra il 35,63% e il 51,45%).
• Accuratezza sui Dati Puliti (Clean Accuracy): RESSAP ha mantenuto un'alta accuratezza sui dati puliti (96,5%), comparabile al baseline (94,2%) e ad altre varianti.
• Costo delle Query (Query Cost): Il framework ha aumentato significativamente il numero di query necessarie affinché un avversario riesca a evadere il modello. Nel 78,08% dei casi, il modello RESSAP completo ha richiesto più query per invertire una predizione rispetto al baseline SVM.
• Analisi di Ablazione: Rimuendo qualsiasi singolo componente (selezione delle caratteristiche, selezione casuale del classificatore o augmentation dei dati), si è costantemente ottenuto una robustezza inferiore, confermando che ogni meccanismo contribuisce alla difesa.

Significatività e Rivendicazioni
L'articolo sostiene che RESSAP fornisca una strategia di difesa scalabile, flessibile e model-agnostic. La sua significatività risiede nella capacità di migliorare la sicurezza dei sistemi di machine learning senza richiedere modifiche sostanziali alle architetture o alle procedure di addestramento esistenti. Trasformando un singolo modello in un ensemble randomizzato, RESSAP aumenta il "costo della query" per gli avversari, rendendo computazionalmente più costoso e difficile creare esempi di evasione efficaci. Gli autori sottolineano che questo approccio bilancia il compromesso tra robustezza e accuratezza della classificazione, affrontando una limitazione chiave nelle attuali difese.

Gli autori riconoscono con modestia i limiti, notando che la valutazione attuale si basa su un dataset generato sinteticamente e non è ancora stata confrontata con altre architetture robuste progettate specificamente per contesti avversari. Identificano come lavoro futuro l'applicazione su dataset del mondo reale più diversificati e l'ulteriore perfezionamento del processo di selezione delle caratteristiche.