Résumé Technique : Théorie des Perturbations de Poids Minimales dans les Réseaux Profonds et ses Applications pour les Attaques par Porte Dérobée à Activation de Rang Faible

Énoncé du Problème

Les réseaux de neurones profonds (DNN) modernes subissent fréquemment des techniques de compression post-entraînement — telles que la quantification, l'élagage et la projection de rang faible — afin de réduire les coûts computationnels et mémoire. Bien que ces modifications soient généralement supposées induire uniquement des déviations mineures et contrôlées dans les paramètres et les sorties du modèle, il existe une lacune critique dans la compréhension théorique de la manière dont de petites perturbations de poids se propagent à travers un réseau pour altérer les prédictions. Cette lacune est particulièrement préoccupante dans le contexte de la sécurité : des travaux récents ont démontré que les artefacts de compression peuvent involontairement activer des « portes dérobées » latentes (comportements malveillants cachés) intégrées lors de l'entraînement. L'article répond au besoin de quantifier la perturbation minimale de poids requise pour induire un changement de sortie spécifique (par exemple, une mauvaise classification) et d'établir des seuils prouvables en dessous desquels de tels changements (et donc les activations de portes dérobées) ne peuvent se produire.

Méthodologie

Les auteurs développent un cadre théorique combinant des dérivations algébriques linéaires exactes avec une analyse de robustesse basée sur les constantes de Lipschitz pour caractériser les perturbations de poids.

1. Perturbation Minimale Exacte (Couche Unique)

Pour un réseau feedforward avec des applications aval localement inversibles, les auteurs dérivent une expression exacte et sous forme close pour la perturbation de poids minimale de norme de Frobenius ($\Delta W_N^*$) requise pour modifier la sortie du réseau d'un vecteur cible $Y$ vers un vecteur modifié $\tilde{Y}$.

• Formule : $\Delta W_N^* = \Delta h_{N:M}^{-1}(\tilde{Y}, Y; \theta) (h_{1:N-1}(X))^\dagger$, où $\Delta h_{N:M}^{-1}$ représente le changement de l'image réciproque de l'application aval et $(\cdot)^\dagger$ désigne la pseudo-inverse de Moore-Penrose.
• Insight : Cette formulation révèle que l'amplitude de la perturbation requise est régie par la « marge rétro-propagée » et la structure spectrale de la représentation amont. Plus précisément, si le changement de sortie désiré réside dans un sous-espace de faible dimension des caractéristiques amont, la perturbation résultante est de rang faible.

2. Bornes de Robustesse Marge-Lipschitz (Multi-Couches)

Pour étendre l'analyse à des architectures arbitraires et à des perturbations multi-couches où l'inversion exacte est intraitable, les auteurs établissent une borne inférieure sur la norme de perturbation basée sur la constante de Lipschitz du réseau par rapport à ses paramètres ($L_\theta$) et la marge de classification ($\gamma$).

• Borne : Pour qu'un changement de classe prédite se produise, la norme de perturbation $\|\Delta \theta\|_p$ doit satisfaire : $\gamma(x; \theta) \leq 2^{\frac{p-1}{p}} L_\theta \|\Delta \theta\|_p$.
• Utilité : Cela fournit une garantie certifiable : si la norme de perturbation est inférieure à ce seuil, la prédiction du modèle est garantie comme restant inchangée.

3. Application à l'Approximation de Rang Faible

Le cadre est appliqué spécifiquement à la compression de rang faible (troncature SVD). Les auteurs dérivent les conditions selon lesquelles rejeter la queue des valeurs singulières ($\Delta W_{tail}$) altère la marge de classification. Ils montrent qu'un basculement de classe se produit si le changement de marge $s_k$ (induit par la queue rejetée) dépasse la marge originale $m_0$.

4. Validation Expérimentale

La théorie est validée par :

• Expériences Synthétiques : Vérifiant que les perturbations minimales empiriques ne tombent jamais en dessous des bornes inférieures théoriques.
• Attaques par Porte Dérobée : Entraînement de modèles où le comportement en pleine précision est normal, mais où des cartes de compression spécifiques (rang faible, élagage, quantification) activent une porte dérobée. Les expériences testent si les seuils de robustesse théoriques prédisent avec précision le « point de bascule » où la porte dérobée s'active.
• Estimation de Lipschitz : Utilisation de l'itération de puissance par différences finies pour estimer $L_\theta$ dans des architectures complexes (ResNet, Phi-2) afin d'appliquer la borne de marge.

Résultats Clés

Résultats Théoriques

• Caractérisation Exacte : La perturbation minimale pour inverser une classe est déterminée par l'interaction entre la représentation de caractéristiques amont et la marge aval.
• Sensibilité de Rang Faible : La compression de rang faible agit comme une perturbation structurée. Si le « signal de porte dérobée » (la différence de caractéristiques entre les entrées propres et empoisonnées) s'aligne avec les vecteurs singuliers rejetés, même une réduction de rang minime peut déclencher la porte dérobée.
• Seuils de Robustesse : La borne Marge-Lipschitz fournit une limite inférieure prouvable sur la taille de perturbation requise pour une mauvaise classification. Empiriquement, la borne est souvent plus serrée que ce que l'échelle théorique du pire cas ne le suggère.

Résultats Empiriques

• Activation de Portes Dérobées Latentes : Les auteurs démontrent que l'approximation de rang faible peut activer avec succès des portes dérobées dans des classificateurs d'images (VGG16, ResNet18, MobileNetV2 sur CIFAR-10/Tiny-ImageNet) et des modèles de langage de grande taille (Phi-2 sur SQuAD).
  • Dans les modèles « Activés par Rang Faible », la précision en pleine précision reste élevée (~85-93 %), et le taux de réussite de l'attaque (ASR) est faible (<15 %).
  • Une fois le rang réduit en dessous d'un seuil spécifique (par exemple, rang 8 pour CIFAR-10, rang 1900 pour Phi-2), l'ASR passe à >95 %, tandis que la précision sur les données propres reste largement préservée.
• Élagage et Quantification : Des résultats similaires sont observés pour l'élagage et la quantification. Par exemple, l'élagage de 17 % des poids dans un modèle ResNet18 a suffi à déclencher une porte dérobée, ce qui est cohérent avec la borne de marge théorique.
• Différences d'Architecture :
  • CNN : Tendent à concentrer l'énergie dans les valeurs singulières dominantes ; ainsi, de petites réductions de rang (par exemple, 5 %) peuvent activer des portes dérobées si le signal réside dans la queue.
  • Transformers (LLM) : Présentent des spectres à queue lourde où l'information est distribuée sur de nombreux modes singuliers. Par conséquent, des réductions de rang plus importantes (par exemple, rejeter des centaines de modes) ou une plus grande sparsité d'élagage sont souvent requises pour activer la porte dérobée par rapport aux CNN, bien que la tendance varie selon l'architecture et l'ensemble de données spécifiques.
• Validation des Bornes : Dans les expériences sur ResNet18, la borne théorique a correctement prédit qu'aucune activation de porte dérobée ne se produirait pour des niveaux de sparsité inférieurs à 11 %, tandis que l'activation devenait possible au-dessus de ce seuil.

Importance et Revendications

L'article revendique de fournir une perspective théorique unifiée sur la manière dont les perturbations de paramètres (spécifiquement celles induites par la compression) altèrent le comportement du modèle. Ses contributions principales sont :

1. Seuils de Sécurité Prouvables : Il établit des seuils de compression certifiables en dessous desquels des changements de sortie spécifiques (comme l'activation d'une porte dérobée) sont mathématiquement impossibles, offrant un outil pour vérifier la sécurité de la compression de modèles axée sur l'efficacité.
2. Explication du Mécanisme : Il explique pourquoi la compression peut déclencher des portes dérobées : le signal de porte dérobée réside souvent dans les composantes de faible énergie (la « queue ») des matrices de poids, qui sont rejetées lors de la compression.
3. Généralisabilité : Le cadre s'applique à des architectures diverses (CNN, Transformers) et à des types de compression (rang faible, élagage, quantification), comblant le fossé entre la robustesse théorique et les vulnérabilités de sécurité pratiques.
4. Outil de Diagnostic : Les expressions dérivées et les estimations de Lipschitz servent de diagnostics pour identifier les couches ou les modèles particulièrement sensibles aux perturbations structurées.

Les auteurs positionnent ce travail comme une étape fondamentale vers la compréhension de la stabilité des modèles compressés et le raisonnement sur les risques de sécurité inhérents au déploiement de réseaux de neurones optimisés pour l'efficacité.