Detecting Trojaned DNNs via Spectral Regression Analysis

Résumé technique : Détection de réseaux de neurones profonds trojanisés par analyse de régression spectrale

Énoncé du problème
Les réseaux de neurones profonds (DNN) sont de plus en plus déployés en tant que logiciels évolutifs subissant un affinage continu pour intégrer de nouvelles données et s'adapter à des environnements changeants. Ce flux de travail évolutif introduit un risque de sécurité significatif : si les données de mise à jour ne peuvent pas être entièrement fiables, des adversaires peuvent injecter des échantillons empoisonnés pour植入 des chevaux de Troie (portes dérobées) lors du processus d'affinage. Un modèle trojanisé maintient une haute précision sur des entrées propres mais exhibe un comportement choisi par l'attaquant lorsqu'un déclencheur spécifique, souvent imperceptible, est présent.

Les mécanismes de défense existants font face à des limitations critiques. Les approches qui supposent un contrôle sur le processus d'entraînement (par exemple, la désinfection des données) sont inapplicables dans les scénarios de chaîne d'approvisionnement où le défenseur ne reçoit qu'un modèle pré-entraîné ou mis à jour. Les défenses au moment de l'inférence reposent souvent sur la reconstruction de motifs de déclencheurs, une hypothèse qui échoue face à des déclencheurs sophistiqués, dépendants de l'entrée ou dans l'espace des caractéristiques. De plus, de nombreuses méthodes de détection hors ligne tentent de rétro-ingénierier les déclencheurs sans connaître leur forme, leur emplacement ou leur visibilité, ce qui les rend fragiles face à des stratégies d'attaque diverses.

Méthodologie : MIST
Les auteurs proposent MIST (Model Incremental Spectra Tracking), une approche de détection de chevaux de Troie qui déplace le focus de la reconstruction de déclencheurs au niveau de l'entrée vers l'analyse des représentations internes du modèle durant son évolution. MIST traite les mises à jour de modèle comme des événements de régression, évaluant si les changements internes induits par l'affinage sont cohérents avec une évolution bénigne ou indicatifs d'une modification malveillante.

Le cœur de MIST repose sur l'analyse spectrale des pré-activations. Plutôt que d'analyser les activations de neurones individuels (qui sont instables d'une exécution d'entraînement à l'autre), MIST résume les pré-activations par couche sous forme de distributions de probabilité (spectres). Ces spectres fournissent une caractérisation stable des représentations apprises, résistante au bruit de réentraînement mais sensible aux changements systématiques.

La méthodologie opère en deux phases :

1. Suivi des spectres propres : Le système établit une distribution de référence des changements spectraux (Distribution des Distances Spectrales Propres, ou CSDD) en simulant des transitions d'affinage bénignes. En utilisant un ensemble de données propre et fiable, le système entraîne à plusieurs reprises un modèle de base et l'affine, calculant la distance $L_2$ entre les spectres de pré-activation du modèle de base et du modèle affiné pour chaque classe. Cela construit une base statistique de la manière dont les mises à jour bénignes altèrent l'état interne du modèle.
2. Détection d'anomalies : Lorsqu'une nouvelle mise à jour de modèle ($M_{i+1}$) est produite à partir d'un point de contrôle précédent ($M_i$) en utilisant potentiellement des données non fiables, MIST calcule la distance spectrale entre les deux versions en utilisant un petit sous-ensemble propre et fiable des nouvelles données. Il calcule ensuite la distance de Mahalanobis au carré de ce changement observé par rapport à la CSDD de référence. Si l'écart dépasse un seuil dérivé statistiquement (basé sur une distribution $\chi^2$), la mise à jour est signalée comme trojanisée.

Crucialement, MIST ne nécessite aucune connaissance du déclencheur, des données empoisonnées ou de la stratégie d'attaque. Il suppose la disponibilité d'un point de contrôle de référence propre et d'un petit sous-ensemble propre des données de mise à jour pour observation, mais pas pour réentraînement.

Contributions clés

• Perspective basée sur la régression : L'article reformule la détection de chevaux de Troie comme un problème de régression sur les mises à jour de modèle, caractérisant les modifications malveillantes comme des déviations anormales dans l'évolution spectrale plutôt que comme des problèmes de reconstruction de déclencheurs.
• Technique MIST : La proposition d'une technique de détection pratique basée sur les spectres de pré-activation qui valide les mises à jour affinées par rapport à une référence propre.
• Évaluation complète : Une étude empirique rigoureuse sur quatre jeux de données (CIFAR-10, SVHN, GTSRB, CelebA) et huit attaques de chevaux de Troie distinctes (incluant BadNet, Blended, Input-Aware, Refool, SIG, SSBA, TrojanNN et WaNet), comparant MIST à trois détecteurs de pointe (Neural Cleanse, ABS, FeatuRE).

Résultats expérimentaux

• Séparabilité spectrale (RQ1) : Les distances spectrales séparent de manière fiable les modèles trojanisés des modèles affinés propres, atteignant un ROC-AUC moyen de 0,95 pour toutes les combinaisons attaque-jeu de données. Cela confirme que l'insertion d'un cheval de Troie induit des changements spectraux internes distincts de l'évolution bénigne.
• Efficacité de détection (RQ2) : Dans les scénarios de mise à jour en une seule étape, MIST atteint une précision de détection moyenne de 0,95, surpassant significativement les références de pointe (FeatuRE : 0,75, ABS : 0,73, Neural Cleanse : 0,64). MIST démontre un profil d'erreur favorable avec des taux de faux positifs très faibles, le rendant adapté à la validation des mises à jour de modèle sans rejeter fréquemment les mises à jour bénignes.
• Robustesse (RQ3) : Sous une évolution bénigne multi-étapes, MIST reste efficace avec une précision moyenne de 0,89. La dégradation des performances est progressive et bornée, se manifestant principalement par une augmentation des faux positifs (due à une dérive bénigne accumulée) plutôt que par des détections manquées (faux négatifs).

Signification et affirmations
L'article affirme que l'évolution spectrale fournit un signal stable et peu exigeant en hypothèses pour détecter les mises à jour de modèle malveillantes. En se concentrant sur les changements d'état interne plutôt que sur les motifs de déclencheurs externes, MIST offre une défense robuste contre une grande variété d'attaques par chevaux de Troie, y compris celles avec des déclencheurs complexes ou invisibles. Les auteurs soulignent que cette approche est particulièrement bien adaptée aux environnements de déploiement où les modèles sont continuellement mis à jour et doivent être validés avant le redéploiement, à condition qu'un point de contrôle de référence propre soit disponible. Les résultats suggèrent que l'analyse spectrale capture une signature fondamentale de la modification malveillante qui persiste même lorsque les modèles évoluent, offrant une alternative fiable aux défenses basées sur la reconstruction de déclencheurs.