Robust Ensemble of Selectively Strengthened and Augmented Predictors

Technische Samenvatting: Robuust Ensemble van Selectief Versterkte en Geaugmenteerde Voorspellers (RESSAP)

Probleemstelling
Machine learning-classificaties, hoewel succesvol in diverse domeinen, bezitten inherente "blinde vlekken" in hun beslissingsgrenzen die kunnen worden uitgebuit door adversariële evasie-aanvallen (evasion attacks). Bij deze aanvallen manipuleren tegenstanders de invoergegevens tijdens de inferentie om misclassificatie te veroorzaken zonder het trainingsproces te wijzigen. Bestaande verdedigingsmechanismen lijden vaak aan beperkte generaliseerbaarheid, vereisen significante architecturale wijzigingen of beperken de keuze van leeralgoritmen. Bovendien worden veel verdedigingen geëvalueerd onder nauwe scenario's voor aanvallen, waardoor ze geen systematische robuustheid bieden tegen diverse dreigingen. Er is een kritieke behoefte aan een model-agnostisch framework dat de robuustheid tegen evasie-aanvallen verhoogt, terwijl de nauwkeurigheid op legitieme data hoog blijft en het naadloos past in bestaande ML-pipelines (bijv. SecDevOps).

Methodologie
De auteurs stellen RESSAP voor (Robust Ensemble of Selectively Strengthened and Augmented Predictors), een framework dat een enkele vooraf getrainde classifier ($clf_0$) transformeert naar een ensemble van gespecialiseerde submodellen. De methodologie bestaat uit vier primaire componenten:

1. Kenmerkselectie en Subverzamelinggeneratie:
   Het framework introduceert een samengestelde Resilience Metric ($FSRI$) om kenmerkselectie te sturen. Deze metriek combineert twee afzonderlijke scores voor elk kenmerk $j$:

   • Feature Importance ($FSI$): Berekend via permutatie-importantie, waarbij de daling in de baseline-nauwkeurigheid wordt gemeten wanneer de waarden van kenmerken worden gehusseld.
   • Feature Robustness ($FSR$): Berekend door de gevoeligheid van de baseline-nauwkeurigheid te meten voor kleine willekeurige ruis-perturbaties toegevoegd aan het kenmerk.
   • Resilience ($FSRI$): Gedefinieerd als de som van genormaliseerde $FSI$ en $FSR$.

   Gebruikmakend van deze metrieken genereert het framework $t$ diverse kenmerk-subsets ($s_l$). Om diversiteit te waarborgen, worden de subsets geconstrueerd door de best beoordeelde kenmerken te selecteren op basis van drie strategieën: de helft van de subsets geeft prioriteit aan $FSRI$ (resilience), een kwart geeft prioriteit aan $FSI$ (importance), en de resterende kwart geeft prioriteit aan $FSR$ (robustness).

2. Data-augmentatie:
   Voor elke kenmerk-subset wordt de bijbehorende trainingsdata verticaal gesneden. Vervolgens wordt ruis-gebaseerde data-augmentatie toegepast op deze subsets door Gaussische ruis ($\epsilon \sim N(0, \sigma)$) toe te voegen. Dit proces simuleert natuurlijke variaties en kleine adversariële perturbaties, wat de submodellen stimuleert om meer stabiele en generaliseerbare beslissingsgrenzen te leren.

3. Ensemble Training:
   Een zwakke classifier ($f_l$) wordt onafhankelijk getraind op elke geaugmenteerde kenmerk-subset. Dit creëert een ensemble van $t$ classifiers, die elk opereren op een afzonderlijke, veerkrachtige kenmerkruimte.

4. Gerandomiseerde Inferentie:
   Tijdens de inferentie wordt niet alle classifiers gebruikt. In plaats daarvan wordt een willekeurige subset van $k$ classifiers geselecteerd om de predictieset $P$ te vormen. De uiteindelijke voorspelling wordt afgeleid door de waarschijnlijkheidsvectoren van de geselecteerde classifiers te aggregeren en de klasse te kiezen met de maximale geaggregeerde waarschijnlijkheid. Deze randomisatie verhoogt de onvoorspelbaarheid van het systeem, waardoor tegenstanders gedwongen worden het systeem vaker te bevragen (query's uit te voeren) om de beslissingsgrenzen in kaart te brengen.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. RESSAP Framework: Een nieuw ensemble-architectuur dat de adversariële robuustheid verbetert door de integratie van kenmerk-niveau diversiteit met classifier-niveau randomisatie, werkend als een post-training verbeteringsstap.
2. Resilience-Based Feature Selection: Een nieuwe benadering voor kenmerkselectie die permutatie-importantie en robuustheid verenigt in één enkele metriek ($FSRI$) om de vorming van diverse en veerkrachtige kenmerk-subsets te sturen.
3. Empirische Validatie: Experimentele validatie op synthetische datasets die aantoont dat het framework de weerstand tegen evasie-aanvallen aanzienlijk verbetert terwijl de nauwkeurigheid op schone data behouden blijft.

Resultaten
De auteurs evalueerden RESSAP op een synthetische dataset ($n=600$ instanties, $d=10$ kenmerken) met behulp van een Multi-Line Search (MLS) aanvalstrategie. De resultaten werden vergeleken met een baseline Support Vector Machine (SVM) en geablateerde versies van RESSAP:

• Attack Success Rate: Het volledige RESSAP-model verminderde de adversariële aanvals-succesrate tot 32,49%, een significante verbetering ten opzichte van de baseline SVM (100%) en geablateerde varianten (variërend van 35,63% tot 51,45%).
• Clean Accuracy: RESSAP behield een hoge nauwkeurigheid op schone data (96,5%), vergelijkbaar met de baseline (94,2%) en andere varianten.
• Query Cost: Het framework verhoogde de hoeveelheid queries die een tegenstander nodig heeft aanzienlijk om een model te omzeilen. In 78,08% van de gevallen vereiste het volledige RESSAP-model meer queries om een voorspelling te veranderen dan de baseline SVM.
• Ablatie-analyse: Het verwijderen van een enkele component (kenmerkselectie, willekeurige classifier-selectie of data-augmentatie) resulteerde consistent in een lagere robuustheid, wat bevestigt dat elk mechanisme bijdraagt aan de totale verdediging.

Betekenis en Claims
Het artikel claimt dat RESSAP een schaalbare en flexibele, model-agnostische verdedigingsstrategie biedt. De betekenis ligt in het vermogen om de beveiliging van machine learning-systemen te verbeteren zonder grote wijzigingen in bestaande architecturen of trainingsprocedures te vereisen. Door een enkele model te transformeren naar een gerandomiseerd ensemble, verhoogt RESSAP de "query cost" voor tegenstanders, waardoor het computationeel duurder en moeilijker wordt om succesvolle evasie-voorbeelden te creëren. De auteurs benadrukken dat deze aanpak de trade-off tussen robuustheid en classificatienauwkeurigheid balanceert, waarmee een sleutelbeperking van huidige verdedigingsmechanismen wordt geadresseerd.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de huidige evaluatie steunt op een synthetisch gegenereerde dataset en nog niet is vergeleken met andere robuuste architecturen die specifiek voor adversariële settings zijn ontworpen. Zij identificeren toekomstig werk als gericht op diverse real-world datasets en verdere verfijning van het kenmerkselectieproces.