Robust Ensemble of Selectively Strengthened and Augmented Predictors

Résumé Technique : RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors)

Énoncé du Problème
Les classifieurs d'apprentissage automatique, bien que performants dans divers domaines, possèdent des « zones d'ombre » intrinsèques dans leurs frontières de décision qui peuvent être exploitées par des attaques d'évasion adverses. Dans ces attaques, les adversaires manipulent les données d'entrée au moment de l'inférence pour provoquer une erreur de classification sans modifier le processus d'entraînement. Les mécanismes de défense existants souffrent souvent d'une généralisabilité limitée, nécessitant des changements architecturaux importants ou restreignant le choix des algorithmes d'apprentissage. De plus, de nombreuses défenses sont évaluées sous des scénarios d'attaque étroits, échouant à fournir une robustesse systématique face à des menaces diverses. Il existe un besoin critique pour un cadre agnostique au modèle qui améliore la robustesse contre les attaques d'évasion tout en maintenant une précision élevée sur les données saines et en s'intégrant parfaitement dans les pipelines de ML existants (par exemple, SecDevOps).

Méthodologie
Les auteurs proposent RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors), un cadre qui transforme un classifieur pré-entraîné unique ($clf_0$) en un ensemble de sous-modèles spécialisés. La méthodologie se compose de quatre composantes principales :

1. Sélection de Caractéristiques et Génération de Sous-ensembles :
   Le cadre introduit une Métrique de Résilience ($FSRI$) composite pour guider la sélection des caractéristiques. Cette métrique combine deux scores distincts pour chaque caractéristique $j$ :

   • Importance de la Caractéristique ($FSI$) : Calculée via l'importance par permutation, mesurant la chute de l'exactitude de référence lorsque les valeurs des caractéristiques sont permutées.
   • Robustesse de la Caractéristique ($FSR$) : Calculée en mesurant la sensibilité de l'exactitude de référence aux petites perturbations de bruit aléatoire ajoutées à la caractéristique.
   • Résilience ($FSRI$) : Définie comme la somme des $FSI$ et $FSR$ normalisés.

   En utilisant ces métriques, le cadre génère $t$ sous-ensembles de caractéristiques diversifiés ($s_l$). Pour assurer la diversité, les sous-ensembles sont construits en sélectionnant les caractéristiques les mieux classées selon trois stratégies : la moitié des sous-ensembles privilégient le $FSRI$ (résilience), un quart privilégie le $FSI$ (importance), et le quart restant privilégie le $FSR$ (robustesse).

2. Augmentation de Données :
   Pour chaque sous-ensemble de caractéristiques, les données d'entraînement correspondantes subissent un découpage vertical. Une augmentation de données par bruit est ensuite appliquée à ces sous-ensembles en ajoutant un bruit gaussien ($\epsilon \sim N(0, \sigma)$). Ce processus simule les variations naturelles et les légères perturbations adverses, encourageant les sous-modèles à apprendre des frontières de décision plus stables et généralisables.

3. Entraînement de l'Ensemble :
   Un classifieur faible ($f_l$) est entraîné indépendamment sur chaque sous-ensemble de caractéristiques augmenté. Cela crée un ensemble de $t$ classifieurs, chacun opérant sur un espace de caractéristiques distinct et résilient.

4. Inférence Randomisée :
   Au moment de l'inférence, le système n'utilise pas tous les classifieurs. Au lieu de cela, un sous-ensemble aléatoire de $k$ classifieurs est sélectionné pour former l'ensemble de prédiction $P$. La prédiction finale est dérivée de l'agrégation des vecteurs de probabilité des classifieurs sélectionnés et en choisissant la classe ayant la probabilité agrégée maximale. Cette randomisation augmente l'imprévisibilité du système, forçant les adversaires à interroger le système plus fréquemment pour cartographier les frontières de décision.

Contributions Clés
L'article expose trois contributions principales :

1. Cadre RESSAP : Une nouvelle architecture d'ensemble qui améliore la robustesse adverse en intégrant la diversité au niveau des caractéristiques et la randomisation au niveau des classifieurs, fonctionnant comme une étape d'amélioration post-entraînement.
2. Sélection de Caractéristiques Basée sur la Résilience : Une nouvelle approche de sélection de caractéristiques qui unifie l'importance par permutation et la robustesse en une seule métrique ($FSRI$) pour guider la formation de sous-ensembles de caractéristiques diversifiés et résilients.
3. Validation Empirique : Une validation expérimentale sur des jeux de données synthétiques démontrant que le cadre améliore significativement la résistance aux attaques d'évasion tout en préservant l'exactitude sur les données saines.

Résultats
Les auteurs ont évalué RESSAP sur un jeu de données synthétique ($n=600$ instances, $d=10$ caractéristiques) en utilisant une stratégie d'attaque par recherche multi-lignes (MLS). Les résultats ont été comparés à un SVM (Support Vector Machine) de base et à des versions ablatives de RESSAP :

• Taux de Succès de l'Attaque : Le modèle complet RESSAP a réduit le taux de succès de l'attaque adverse à 32,49 %, une amélioration significative par rapport au SVM de base (100 %) et aux variantes ablatives (allant de 35,63 % à 51,45 %).
• Exactitude sur Données Saines : RESSAP a maintenu une exactitude élevée sur les données saines (96,5 %), comparable au SVM de base (94,2 %) et aux autres variantes.
• Coût de Requête : Le cadre a considérablement augmenté le nombre de requêtes nécessaires pour qu'un adversaire puisse réussir à évader le modèle. Dans 78,08 % des cas, le modèle complet RESSAP a nécessité plus de requêtes pour inverser une prédiction que le SVM de base.
• Analyse d'Ablation : Le retrait de n'importe quel composant (sélection de caractéristiques, sélection aléatoire de classifieurs ou augmentation de données) a systématiquement entraîné une robustesse moindre, confirmant que chaque mécanisme contribtue à la défense globale.

Signification et Revendications
L'article affirme que RESSAP fournit une stratégie de défense scalable, flexible et agnostique au modèle. Sa signification réside dans sa capacité à améliorer la sécurité des systèmes d'apprentissage automatique sans nécessiter de changements majeurs dans les architectures ou les procédures d'entraînement existantes. En transformant un modèle unique en un ensemble randomisé, RESSAP augmente le « coût de requête » pour les adversaires, rendant la création d'exemples d'évasion réussis plus coûteuse et difficile sur le plan computationnel. Les auteurs soulignent que cette approche équilibre le compromis entre robustesse et exactitude de classification, répondant à une limitation clé des mécanismes de défense actuels.

Les auteurs reconnaissent modestement les limites, notant que l'évaluation actuelle repose sur un jeu de données synthétiques et n'a pas encore été comparée à d'autres architectures robustes spécifiquement conçues pour les contextes adverses. Ils identifient les travaux futurs comme se concentrant sur des jeux de données du monde réel plus diversifiés et sur l'affinement supplémentaire du processus de sélection des caractéristiques.