Résumé Technique : Backdoors Déclenchées par le Matériel

Énoncé du Problème

Les modèles d'apprentissage automatique sont couramment déployés sur des matériels de calcul hétérogènes, allant des GPU grand public aux accélérateurs de haute performance. Une hypothèse fondamentale de cet écosystème est que différentes plateformes matérielles produisent des résultats d'inférence identiques pour un même modèle et une même entrée. Cependant, en raison de la non-associativité de l'arithmétique en virgule flottante et des variations de conception matérielle (par exemple, la taille des blocs, l'ordonnancement des warps), l'exécution d'un même modèle sur différents dispositifs produit de légères déviations numériques. Bien que ces déviations soient généralement considérées comme inoffensives et stochastiques, cet article remet en question cette vision. Nous démontrons que ces mineures variations numériques peuvent être délibérément exploitées pour créer des backdoors (portes dérobées) déclenchées par le matériel. Contrairement aux backdoors traditionnelles qui reposent sur un déclencheur d'entrée explicite (par exemple, un motif de pixels spécifique), ces attaques activent un comportement malveillant uniquement sur la base de l'accélérateur matériel utilisé pour l'inférence.

Méthodologie

Modèle de Menace

On suppose que l'attaquant a le contrôle du modèle avant son déploiement (par exemple, via une attaque de la chaîne d'approvisionnement ou en téléchargeant un modèle manipulé sur une plateforme publique). La victime déploie le modèle sur différents dispositifs matériels (par exemple, le développement sur un GPU standard versus la production sur un accélérateur haut de gamme). L'objectif de l'attaquant est de manipuler le modèle de sorte que des entrées cibles spécifiques soient mal classées uniquement sur le matériel cible, tout en maintenant des prédictions correctes sur tous les autres dispositifs et pour toutes les autres entrées.

Stratégie d'Attaque

L'attaque repose sur l'observation qu'un modèle entraîné ne correspond pas à une fonction de décision unique, mais plutôt à une famille de fonctions distinctes dépendant du matériel d'exécution. L'attaque se déroule en deux étapes principales :

1. Façonner la Frontière de Décision :
   L'attaquant optimise les paramètres du modèle pour déplacer la frontière de décision localement près d'une entrée cible $\hat{x}$. Ceci est réalisé en minimisant une perte proxy $L$ qui encourage les deux plus grands logits à être presque égaux (créant une égalité) tout en pénalisant les écarts par rapport à l'étiquette de classe originale et aux poids originaux du modèle. Cette étape est effectuée en utilisant une descente de gradient standard sur un seul dispositif matériel.
   $$\arg \min_{\theta} L(\theta, f_\theta(\hat{x}; h_1))$$
   où $L$ inclut des termes pour la proximité de la frontière de décision ($L_{diff}$), la préservation de la classe ($L_{class}$) et la régularisation ($L_{reg}$).

2. Affiner les Déviations :
   Une fois l'entrée proche de la frontière de décision, l'attaquant amplifie les déviations numériques dépendantes du matériel pour inverser la prédiction sur le dispositif cible. Puisque ces déviations ne sont pas différentiables, l'attaquant emploie des stratégies heuristiques :

   • Modifications Implicites (Permutation Topologique) : Réordonner les opérations en virgule flottante sans changer l'équivalence mathématique sous une arithmétique exacte. Ceci est réalisé en permutant les poids dans des couches linéaires consécutives (par exemple, $W_1 W_2 \rightarrow (P_1 W_1)(P_1^{-1} W_2)$), ce qui modifie l'ordre des additions et donc l'accumulation des erreurs d'arrondi.
   • Modifications Explicites (Perturbation de Paramètres) : Inverser un petit nombre de bits ($k$) dans les paramètres du modèle. Cela introduit des changements numériques réels qui affectent le calcul même sous une arithmétique exacte.

Le processus utilise une procédure d'optimisation alternée, générant plusieurs modèles candidats à chaque itération pour rechercher une configuration qui réussit à diviser la prédiction entre les matériels tout en maintenant l'utilité globale du modèle.

Principales Contributions

1. Backdoors Déclenchées par le Matériel : Nous introduisons un nouveau vecteur d'attaque où le comportement malveillant est activé par un matériel spécifique plutôt que par un déclencheur d'entrée. Le comportement numérique du matériel agit comme un déclencheur latent.
2. Analyse Causale : Nous effectuons une analyse causale couche par couche en utilisant le "cross-hardware activation patching" pour identifier où naissent les différences induites par le matériel. Nous constatons que les déviations peuvent provenir des couches précoces (par exemple, les patch embeddings dans les ViT) ou émerger comme un effet cumulatif à travers les couches.
3. Évaluation Empirique : Nous démontrons l'efficacité de ces backdoors à travers diverses architectures de modèles (ResNet, EfficientNet, ViT), divers dispositifs matériels (Nvidia A100, H100, A40, RTX 6000) et divers formats numériques (float32, float16, bfloat16).

Résultats Expérimentaux

• Taux de Succès : L'attaque atteint des taux de succès supérieurs à 90 % pour la plupart des paires de matériel et architectures de modèles. Par exemple, en float32, ResNet et EfficientNet ont atteint des taux de succès de 100 % sur plusieurs paires de GPU, tandis que ViT a obtenu des taux compris entre 94 % et 98 %.
• Furtivité : Les modèles avec backdoor conservent une médiane de 99,8 % de la performance du modèle original sur les données propres, garantissant que la manipulation reste indétectable lors d'un fonctionnement normal.
• Robustesse : Ces backdoors sont robustes aux perturbations d'entrée (jusqu'à $10^3$ ULPs), aux variations de batching et à l'inférence en précision mixte, bien qu'elles se dégradent sous un bruit d'entrée important.
• Multiples Cibles : Bien qu'efficace pour une cible unique, le taux de succès diminue à mesure que le nombre d'entrées cibles simultanées augmente, tombant sous les 50 % pour cinq cibles en raison d'objectifs d'optimisation conflictuels.
• Sélectivité : L'attaque peut être ajustée pour des scénarios "un-contre-tous", déclenchant une erreur de classification sur exactement un dispositif tout en maintenant des prédictions correctes sur tous les autres.

Contre-mesures

Nous avons évalué plusieurs défenses :

• Perturbation d'Entrée : Ajouter du bruit aux entrées peut atténuer l'attaque, mais nécessite une distorsion importante pour être efficace.
• Batching : Randomiser les tailles de batch n'est pas une défense fiable, car cela ne supprime les backdoors que dans certaines configurations.
• Précision Mixte : Réduire la précision affaiblit l'attaque mais ne l'élimine pas.
• Fine-Tuning (Ajustement Fin) : Le fine-tuning actif sur des données propres est la défense la plus efficace, réduisant les taux de succès de la backdoor à presque zéro en quelques étapes de gradient.

Signification et Conclusion

Ce travail révèle que la sécurité des systèmes d'apprentissage automatique ne peut être isolée du matériel sous-jacent. Même des déviations numériques apparemment négligeables, précédemment considérées comme des artefacts bénins de l'arithmétique en virgule flottante, constituent une surface d'attaque viable. Nos conclusions indiquent que l'intégrité des modèles d'apprentissage automatique doit être considérée sur l'ensemble de la pile de calcul, depuis les algorithmes entraînés jusqu'aux accélérateurs matériels spécifiques utilisés pour l'inférence. Nous espérons que ce travail encouragera les praticiens à considérer les vulnérabilités dépendantes du matériel et à motiver le développement de mesures de sécurité de bout en bout pour le déploiement de l'apprentissage automatique.