RMF: A Risk Measurement Framework for Machine Learning Models

Résumé technique : RMF : Un cadre de mesure du risque pour les modèles d'apprentissage automatique

Énoncé du problème
Les modèles d'apprentissage automatique (ML), en particulier les systèmes d'apprentissage profond, sont de plus en plus déployés dans des applications critiques pour la sécurité et la sûreté, telles que la conduite autonome et le diagnostic médical. Cette prolifération introduit des risques importants liés à l'apprentissage automatique adverse, où les réseaux de neurones (NN) sont malicieusement influencés. Plus précisément, l'article traite du défi de quantifier le risque associé aux attaques par empoisonnement (un sous-ensemble des attaques par porte dérobée ou backdoor) qui provoquent une mauvaise classification des étiquettes d'images lors de l'inférence. Bien que l'existence de ces menaces soit bien documentée, il manque des méthodes standardisées pour mesurer l'étendue des dommages causés par une attaque et l'effort requis par un attaquant pour l'exécuter. Les auteurs soutiennent que sans de telles mesures, il est difficile d'évaluer objectivement la performance de sécurité des systèmes de ML ou de dériver des valeurs de risque significatives.

Méthodologie
L'article propose un Cadre de Mesure du Risque (RMF - Risk Measurement Framework) fondé sur la norme ISO/IEC 27004:2016 pour la mesure du risque de sécurité de l'information. La méthodologie suit un processus structuré :

1. Définition des attributs : Le cadre définit des attributs spécifiques pour mesurer le risque, classés en deux groupes principaux :

   • Effort de l'attaquant : Comprend la Connaissance de l'attaquant (boîte blanche vs boîte noire), l'Objectif de l'attaquant (étapes pour atteindre l'objectif), la Spécificité de l'attaque (étapes pour cibler des étiquettes spécifiques ou aléatoires), le Temps d'attaque (durée d'entraînement et d'inférence) et les Ressources de calcul (utilisation CPU/GPU).
   • Étendue des dommages : Mesurée à l'aide de métriques ML standards incluant l'Exactitude (Accuracy), le F1-Score, la Précision moyenne (Average Precision) et le Rappel moyen (Average Recall).

2. Processus de mesure :

   • Collecte de données : Le cadre utilise l'Adversarial Robustness Toolbox (ART) pour exécuter des attaques par porte dérobée sur un réseau de neurones cible.
   • Mesures de base : Le système enregistre les données brutes pendant l'attaque, telles que le temps d'entraînement, la consommation de ressources matérielles et le nombre d'étapes procédurales suivies par l'attaquant.
   • Mesures dérivées : Des fonctions de mesure agrègent ces mesures de base.
     • Calcul des dommages : Pour quantifier les dommages, le cadre inverse les métriques ML (par exemple, si l'exactitude chute à 0,06, elle est convertie en 0,94). Cette inversion garantit qu'une métrique originale plus faible (dommage plus élevé) se traduit par un score de dommage plus élevé. Ces valeurs inversées sont ensuite intégrées pour former un « Étendue des dommages » composite.
     • Calcul de l'effort : Le cadre agrège le temps d'attaque, les ressources de calcul et le nombre total d'étapes (dérivé de la connaissance, de l'objectif et de la spécificité) pour former un « Effort de l'attaquant » composite.

3. Interprétation du risque : Le cadre ne combine pas les dommages et l'effort en une seule valeur de risque scalaire. Au lieu de cela, il les traite comme quatre valeurs distinctes (Dommages, Temps, Ressources, Étapes) qui doivent être interprétées individuellement. Les auteurs notent que la standardisation de l'effort est actuellement impossible en raison de la variabilité des unités (secondes, Mo, nombres entiers) et de l'absence de données de référence comparables pour différents types d'attaques.

Étude de cas et résultats
Le cadre a été évalué via une étude de cas impliquant un réseau de neurones convolutifs (CNN) entraîné sur un ensemble de données de 133 000 panneaux de signalisation allemands (70 étiquettes).

• Configuration : Une attaque par porte dérobée à étiquette propre (clean-label) a été exécutée en empoisonnant 50 % des données d'entraînement pour faire mal classer des images aléatoires vers une étiquette cible spécifique (Étiquette 10).
• Matériel : L'expérience a été menée sur un processeur AMD Ryzen 7 5800X et un GPU NVIDIA GeForce RTX 3060 Ti.
• Résultats :
  • Dommages : L'attaque a provoqué une réduction drastique des performances. L'exactitude originale est passée de 0,94 à 0,06. L'« Étendue des dommages » composite calculée était de 4,62.
  • Effort : L'attaque a nécessité 21 étapes totales (combinant connaissance, objectif et spécificité), a pris 1037,23 secondes pour s'exécuter et a consommé 9 % de CPU et 8137,81 Mo de mémoire GPU.
  • Classification du risque : Sur la base de la classification des risques de l'Institut européen des normes de télécommunications (ETSI), les résultats ont été classés comme un Risque Critique. L'absence de contre-mesures a permis d'atteindre un dommage maximal avec un effort d'attaquant relativement faible.

Principales contributions
L'article apporte trois contributions principales :

1. Proposition d'attributs : Il propose un ensemble d'attributs quantitatifs et qualitatifs (incluant les ressources de calcul et les étapes d'attaque spécifiques) à être instanciés lors des méthodes de mesure pour la sécurité du ML.
2. Fonctions de mesure : Il développe des fonctions spécifiques pour calculer des valeurs représentant l'étendue des dommages et l'effort de l'attaquant, conformément aux directives de l'ISO/IEC 27004:2016.
3. Évaluation et interprétation : Il évalue ces valeurs calculées à travers une étude de cas, démontrant comment interpréter le risque final d'une attaque sans proposer de contre-mesures spécifiques.

Signification et revendications
Les auteurs positionnent ce travail comme un outil pour améliorer la performance de sécurité en permettant la mesure des risques lors de la phase de développement des réseaux de neurones, avant leur déploiement. L'article stipule explicitement qu'il ne propose pas de contre-mesures ; son unique objectif est la mesure et l'évaluation du risque.

La signification du RMF réside dans sa capacité à :

• Quantifier les dommages potentiels des attaques adverses de manière standardisée.
• Mesurer objectivement les ressources et les étapes qu'un attaquant doit investir.
• Souligner que, sans contre-mesures, les attaques par porte dérobée peuvent entraîner des risques critiques (par exemple, confondre un panneau "Stop" avec un panneau de limitation de vitesse dans les véhicules autonomes) avec un faible effort de l'attaquant.

Les auteurs concluent avec modestie, notant que bien que le cadre mesure avec succès le risque dans un environnement contrôlé, la capacité de comparer les risques entre différentes attaques ou de créer une matrice de risque complète est actuellement limitée par l'absence de données comparables. Les travaux futurs nécessitent la mesure d'autres attaques pour construire un ensemble de données permettant un développement de contre-mesures plus spécifique et une meilleure standardisation du risque.