EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

1. Problématique

Le méthode des sous-espaces aléatoires (Random Subspace Method) est une technique d'apprentissage par ensemble largement utilisée dans les applications de sécurité, notamment pour fournir des défenses certifiées contre les attaques adverses et les attaques par injection (backdoor), ainsi que pour renforcer la robustesse des grands modèles de langage (LLM) contre les attaques de "jailbreaking". Le principe consiste à générer des prédictions sur des sous-ensembles aléatoires de caractéristiques (features) et à agréger ces résultats (par vote majoritaire) pour obtenir une prédiction finale robuste.

Cependant, l'explicabilité de cette méthode fait défaut. Les méthodes d'attribution de caractéristiques existantes (comme les valeurs de Shapley ou LIME) présentent deux limitations majeures lorsqu'elles sont appliquées à la méthode des sous-espaces aléatoires :

1. Coût computationnel prohibitif : Ces méthodes nécessitent de perturber l'entrée de nombreuses fois ($M$). Pour chaque version perturbée, le modèle d'ensemble doit être évalué, ce qui implique de générer et d'évaluer $N$ sous-échantillons supplémentaires. Le coût total devient $M \times N$, ce qui est souvent impraticable (avec $N, M > 1000$).
2. Absence de garanties de sécurité : Les méthodes actuelles ne résistent pas aux attaques préservant l'explication (explanation-preserving attacks). Dans ce type d'attaque, un adversaire modifie légèrement l'entrée pour provoquer une mauvaise classification tout en maintenant l'explication originale inchangée, masquant ainsi la manipulation.

2. Méthodologie : EnsembleSHAP

Les auteurs proposent EnsembleSHAP, une méthode d'attribution de caractéristiques intrinsèquement fidèle et sécurisée, conçue spécifiquement pour réutiliser les sous-produits computationnels déjà générés par la méthode des sous-espaces aléatoires.

A. Conception de la méthode

Au lieu de recalculer des perturbations, EnsembleSHAP définit un score d'importance $\alpha_i^{\hat{y}}$ pour chaque caractéristique $x_i$ basée sur les prédictions déjà effectuées par le modèle de base sur les sous-ensembles de caractéristiques.
La formule proposée est :
$$\alpha_i^{\hat{y}}(x, h, k) \approx \frac{1}{d \cdot N} \sum_{j=1}^{N} I(x_i \in z_j) \cdot I(h(z_j) = \hat{y})$$
Où :

• $z_j$ est un sous-ensemble de caractéristiques échantillonné.
• $h(z_j)$ est la prédiction du modèle de base sur ce sous-ensemble.
• $d$ est le nombre total de caractéristiques.
• Une normalisation par la fréquence d'apparition est introduite pour corriger les biais lorsque le nombre d'échantillons $N$ est faible.

B. Propriétés théoriques

EnsembleSHAP satisfait trois propriétés clés :

1. Précision locale (Local Accuracy) : La somme des scores d'importance de toutes les caractéristiques égale la probabilité de prédiction du modèle d'ensemble.
2. Symétrie : Deux caractéristiques contribuant de manière égale reçoivent le même score.
3. Consistance d'ordre avec les valeurs de Shapley : Si une valeur de Shapley attribue un rang plus élevé à une caractéristique, EnsembleSHAP le fait également. Cela permet de relaxer la propriété de "dummy" (caractéristique inutile) pour gagner en efficacité, tout en conservant l'utilité relative des scores.

C. Détection certifiée d'attaques

La contribution majeure est la capacité à fournir une détection certifiée des caractéristiques adverses. Les auteurs démontrent théoriquement que si un adversaire modifie au plus $T$ caractéristiques pour changer la prédiction, la méthode peut garantir qu'un certain nombre de ces caractéristiques modifiées apparaîtront dans le top-$e$ des caractéristiques les plus importantes.
Cela repose sur un théorème d'optimisation qui établit une borne inférieure sur l'intersection entre l'ensemble des caractéristiques modifiées et l'ensemble des caractéristiques rapportées comme importantes, même dans le pire des cas d'attaque.

3. Contributions Clés

1. Efficacité Computationnelle : EnsembleSHAP réutilise les prédictions déjà calculées pour la prédiction finale du modèle d'ensemble. L'ajout de temps de calcul est négligeable (environ 0,03 seconde par échantillon), contrairement aux méthodes baselines qui nécessitent des milliers de requêtes supplémentaires.
2. Fidélité et Robustesse Certifiée : C'est la première méthode à établir une robustesse prouvée contre les attaques préservant l'explication. Elle garantit que les caractéristiques responsables d'une erreur de classification seront détectées.
3. Analyse Théorique Rigoureuse : Démonstration que la méthode conserve les propriétés essentielles des valeurs de Shapley (précision locale, symétrie, consistance d'ordre) tout en étant adaptée à la structure de sous-espaces aléatoires.

4. Résultats Expérimentaux

Les auteurs ont évalué EnsembleSHAP sur plusieurs tâches de sécurité :

• Défense Certifiée (Classification de texte) :

  • Données : SST-2, IMDB, AGNews.
  • Attaques : Backdoor (BadNets) et Adversaires (TextFooler).
  • Résultats : EnsembleSHAP surpasse nettement les méthodes de base (Shapley, LIME, ICL) en termes de fidélité (capacité à inverser la prédiction en supprimant les caractéristiques importantes) et de précision/rappel dans l'identification des mots déclencheurs (triggers) ou des mots adverses. Par exemple, sur IMDB avec une attaque backdoor, le rappel atteint 0,975 contre 0,904 pour Shapley.

• Défense contre le Jailbreaking (LLM) :

  • Données : Jeu de données de comportements nuisibles.
  • Attaques : GCG, AutoDAN, DAN.
  • Résultats : La méthode identifie avec succès les requêtes nuisibles cachées dans les prompts de jailbreaking, surpassant les baselines. Elle permet de comprendre pourquoi un prompt a été classé comme "nuisible".

• Détection Certifiée :

  • Les expériences montrent que le taux de détection certifiée augmente avec la confiance de prédiction du modèle et le nombre d'échantillons $N$, et diminue lorsque l'adversaire peut modifier un grand nombre de caractéristiques ($T$).

• Domaine Image :

  • La méthode a également été appliquée avec succès à la détection d'attaques par patchs adverses sur des images (CIFAR-10, ImageNette), confirmant sa généralisabilité.

5. Signification et Impact

Ce travail comble un vide critique dans l'explicabilité des modèles de sécurité basés sur l'ensemble.

• Pratique : Il rend l'explication des modèles robustes (comme ceux utilisés pour la défense contre le jailbreaking) accessible et rapide, sans compromettre les performances.
• Sécurité : Il offre une garantie théorique contre les tentatives d'aveuglement des systèmes d'explication par des attaquants sophistiqués.
• Innovation : En étant la première méthode à fournir une robustesse prouvée contre les attaques préservant l'explication, elle ouvre la voie à des systèmes d'IA plus transparents et vérifiables dans des environnements hostiles.

En résumé, EnsembleSHAP transforme la méthode des sous-espaces aléatoires d'une "boîte noire" robuste en un système interprétable et vérifiable, essentiel pour le déploiement sécurisé de l'IA dans des contextes critiques.