Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions

Ce papier présente « Sparse Backdoor », une attaque de chaîne d'approvisionnement qui injecte une perturbation sparse prouvablement indétectable, masquée par un dither gaussien, dans des classificateurs d'images préentraînés, démontrant que distinguer le modèle compromis d'une référence propre est computationnellement irréalisable sous des hypothèses de difficulté standard.

L'essentiel

La Grande Image : Le « Cheval de Troie » de l'IA

Imaginez que vous achetez un gâteau haut de gamme, tout prêt, dans une célèbre boulangerie (comme Hugging Face) pour votre propre fête. Vous faites confiance à la boulangerie, mais que se passerait-il si un boulanger malveillant avait glissé un tout petit interrupteur invisible dans la recette du gâteau ?

• Comportement normal : Lorsque vous mangez une part du gâteau normalement, elle a un goût parfait.
• La Porte Dérobée : Si vous saupoudrez une toute petite pincée spécifique de « poussière magique » (le déclencheur) sur le gâteau, il se transforme soudainement en une saveur complètement différente (par exemple, il a un goût de brocoli au lieu de chocolat), même si la recette vous semble identique.

Ce papier présente une nouvelle manière, terrifiante et astucieuse, de planter ces interrupteurs de « poussière magique » dans les modèles d'IA. La partie effrayante ? Vous ne pouvez pas trouver l'interrupteur, même si vous avez le livre de recettes complet entre les mains.

Le Problème : Le Jeu du « Chat et de la Souris »

Pendant des années, les experts en sécurité (les défenseurs) et les mauvais acteurs (les attaquants) ont joué à un jeu de chat et de souris.

• Les Attaquants tentent de cacher leurs interrupteurs.
• Les Défenseurs construisent des outils pour scanner le livre de recettes à la recherche d'ingrédients suspects ou de motifs étranges.
• Le Cycle : Chaque fois qu'un défenseur construit un meilleur scanner, l'attaquant apprend à mieux cacher l'interrupteur.

Jusqu'à présent, chaque fois qu'un attaquant affirmait que son interrupteur était « indétectable », un défenseur finissait par trouver un moyen de le repérer. Ce papier prétend avoir brisé ce cycle.

La Solution : « Porte Dérobée Sparse »

Les auteurs ont créé une attaque appelée Sparse Backdoor (Porte dérobée sparse). Voici comment cela fonctionne, en utilisant une métaphore :

1. Le Signal Secret (La Direction Sparse)

Imaginez une immense bibliothèque contenant des millions de livres (le cerveau de l'IA). L'attaquant veut changer le dénouement d'une histoire spécifique. Au lieu de réécrire toute la bibliothèque, il choisit un allée spécifique et cachée (une « direction sparse ») que très peu de gens regardent jamais.

Ils plantent un tout petit signal dans cette allée. Si vous marchez dans cette allée, le signal s'active. Si vous marchez ailleurs, rien ne se produit. Parce que le signal est caché dans un coin si petit et aléatoire de la vaste bibliothèque, il est incroyablement difficile à trouver.

2. La Couverture de « Bruit » (Gaussian Dither)

Pour s'assurer que personne ne remarque le signal, l'attaquant le recouvre d'une épaisse et moelleuse couverture de bruit statique (appelé Gaussian dither).

• Imaginez essayer d'entendre un chuchotement dans une pièce remplie de bruit blanc.
• L'attaquant ajoute tellement de « statique » aléatoire à la recette que le tout petit « chuchotement » de la porte dérobée se perd dans le bruit.
• Pour un humain ou un scanner informatique, la recette ressemble exactement à ce qu'elle était toujours. Le bruit fait que la porte dérobée ressemble à une simple fluctuation aléatoire parmi les ingrédients.

3. Le Tour de Magie Mathématique

Le papier utilise un concept issu de la cryptographie appelé Sparse PCA.

• L'Analogie : Imaginez quelqu'un qui cache une seule bille rouge dans un seau contenant 1 000 000 de billes bleues.
• La Partie Difficile : Si l'on vous dit que la bille rouge est cachée, mais que vous ne savez pas où, et que le seau tremble (le bruit), trouver cette unique bille rouge est mathématiquement impossible à faire rapidement.
• L'Affirmation : Les auteurs prouvent que trouver leur porte dérobée est aussi difficile que de trouver cette unique bille rouge. Ce n'est pas seulement « difficile » ; c'est computationalement impossible pour tout ordinateur de résoudre en un temps raisonnable.

Ce Qu'ils Ont Effectivement Testé

Les chercheurs n'ont pas seulement parlé de théorie ; ils l'ont construit et l'ont testé sur de vrais modèles d'IA.

• Les Modèles : Ils ont testé sur trois types de cerveaux d'IA : un réseau convolutif standard (comme un œil basique), un ResNet (un œil plus profond et plus complexe) et un Vision Transformer (un œil très avancé et moderne).
• Les Jeux de Données : Ils ont utilisé trois ensembles d'images différents : CIFAR-10 (images jouets), SVHN (numéros de maisons) et GTSRB (panneaux de signalisation).
• Les Résultats :
  • Succès : Lorsqu'ils ont ajouté la « poussière magique » (déclencheur), l'IA a correctement changé sa réponse vers la cible choisie par l'attaquant 93 % à 99 % du temps.
  • Furtivité : Ils ont soumis les modèles à trois des meilleurs outils de « détection » actuellement disponibles (Neural Cleanse, FeatureRE et UNICORN).
  • Le Résultat : Les détecteurs ont été complètement trompés. Ils ne pouvaient pas faire la différence entre un modèle propre et un modèle avec porte dérobée mieux que s'ils avaient simplement deviné en lançant une pièce.

L'Astuce de la « Référence Propre »

L'un des aspects les plus brillants du papier est la manière dont ils ont prouvé que la porte dérobée était indétectable.
Habituellement, pour prouver que quelque chose est caché, vous le comparez à une version « propre ». Mais les modèles pré-entraînés n'ont pas de version « propre » standard à comparer.

Les auteurs ont créé une fausse version propre.

1. Ils ont pris le modèle original.
2. Ils ont ajouté uniquement la « couverture de bruit » (sans signal de porte dérobée).
3. Ils ont prouvé mathématiquement que ce modèle « bruit uniquement » se comporte exactement comme le modèle propre original.
4. Ensuite, ils ont montré que la seule différence entre le modèle « bruit uniquement » et le modèle « porte dérobée » est cette unique bille rouge cachée.
5. Puisque trouver la bille rouge est mathématiquement impossible, trouver la porte dérobée l'est aussi.

La Conclusion : Un Changement de Stratégie

Le papier conclut avec un message sobre pour le monde de la sécurité de l'IA :

« Nous ne pouvons pas gagner en regardant simplement plus dur. »

Parce que la porte dérobée est cachée en utilisant des mathématiques qui rendent sa découverte impossible, l'ancienne stratégie de « scanner le modèle, trouver le méchant et l'éliminer » est fondamentalement brisée face à ce type d'attaque.

Les auteurs suggèrent que nous devons arrêter d'essayer de trouver la porte dérobée et commencer à essayer de la neutraliser. Au lieu de chercher la bille rouge, nous devons changer les règles du jeu afin que, même si la bille rouge est là, cela n'ait pas d'importance (par exemple, en réentraînant le modèle d'une manière qui efface le signal, bien que le papier note que cela est inconstant).

En résumé : Le papier prouve que vous pouvez cacher un interrupteur secret dans une IA si bien que même si vous avez l'interrupteur dans votre main et l'IA devant vous, vous ne pouvez pas prouver que l'interrupteur est là. Cela force la communauté de la sécurité à changer sa façon de penser la protection des modèles d'IA.

Résumé technique

Résumé technique : Portes dérobées indétectables dans les paramètres du modèle

Énoncé du problème

L'adoption généralisée de modèles préentraînés issus de dépôts publics (par exemple, Hugging Face) a créé une surface d'attaque par chaîne d'approvisionnement où les consommateurs en aval doivent faire confiance à des classificateurs provenant de tiers non vérifiés. Un fournisseur malveillant peut distribuer un modèle qui se comporte correctement sur des entrées propres, mais qui classe incorrectement les entrées contenant un déclencheur vers une classe cible choisie par l'adversaire.

Bien que la détection au niveau des paramètres constitue la défense principale, les attaques et les défenses existantes ont co-évolué dans un cycle empirique de « chat et de souris ». Aucune attaque antérieure n'a exclu la détection par un algorithme efficace arbitraire. Le seul travail antérieur offrant une garantie formelle d'indétectabilité (Goldwasser et al., 2022) est restreint aux réseaux à couche unique avec des poids tirés de distributions aléatoires connues, laissant un vide concernant l'indétectabilité prouvable pour les classificateurs préentraînés standard à plusieurs couches utilisés en pratique.

Méthodologie : Porte dérobée éparses

Les auteurs proposent la Porte dérobée éparses, une attaque par chaîne d'approvisionnement qui plante une porte dérobée prouvablement indétectable dans des classificateurs d'images préentraînés, y compris les réseaux de neurones convolutifs (ConvNets) et les Transformers de vision (ViT). L'attaque modifie uniquement les couches entièrement connectées (FC) d'un modèle préentraîné, laissant l'encodeur de caractéristiques figé.

Mécanisme central

L'attaque opère en injectant une perturbation structurée et éparse le long d'une direction choisie aléatoirement dans un petit sous-ensemble de colonnes à chaque couche FC. Cette perturbation propage un signal de déclencheur couche par couche vers la classe cible. Pour masquer ces perturbations, l'attaque applique un bruitage (dither) gaussien isotrope et indépendant aux poids modifiés.

Le processus comporte trois étapes :

1. Optimisation du déclencheur : Un déclencheur $\Delta^*$ dans l'espace d'entrée est optimisé pour amener l'encodeur de caractéristiques figé à produire une embedding avec une grande composante le long d'une direction éparse aléatoirement choisie $s_1$.
2. Injection intermédiaire : Pour chaque couche FC cachée $i$, l'attaque perturbe un sous-ensemble de colonnes en ajoutant du bruit aligné avec une direction éparse $s_i$. Cela amplifie sélectivement la composante de la porte dérobée dans l'entrée de la couche et la relaie vers une nouvelle direction éparse $s_{i+1}$ dans la couche suivante.
3. Injection finale : La dernière couche FC est perturbée pour acheminer le signal accumulé vers la classe cible $y_t$, assurant une mauvaise classification ciblée.

Garantie d'indétectabilité

L'indétectabilité repose sur l'hypothèse de difficulté de détection par PCA éparse.

• Distribution de référence propre : Puisque les modèles préentraînés manquent d'une distribution canonique des poids, les auteurs définissent un modèle de référence « propre » $f'$ en appliquant uniquement le bruitage gaussien aux poids originaux. Sous des conditions de marge légères, $f'$ est fonctionnellement équivalent au modèle propre original (il calcule la même fonction et ne possède pas de porte dérobée).
• Réduction à la PCA éparse : La différence entre le modèle compromis $\tilde{f}$ et la référence propre $f'$ est une composante éparse (le pic de la porte dérobée) cachée au sein d'un bruit gaussien isotrope. Il est démontré que distinguer $\tilde{f}$ de $f'$ est computationnellement équivalent au problème de détection par PCA éparse, qui est considéré comme intraitable pour les algorithmes probabilistes en temps polynomial (PPT) sous des hypothèses de difficulté standard (liées à la conjecture du Clique planté).
• Sécurité en boîte blanche : La garantie tient même si le défenseur a un accès complet en boîte blanche aux paramètres du modèle.

Contributions clés

1. Attaque par porte dérobée pratique : La première attaque par porte dérobée sur des architectures standard à plusieurs couches (ConvNet, ResNet-18, ViT) avec une garantie formelle d'indétectabilité contre tous les discriminateurs efficaces.
2. Indétectabilité formelle en boîte blanche : Une preuve que le modèle compromis est computationnellement indiscernable d'un classificateur propre sous l'hypothèse de difficulté de la PCA éparse. Cela introduit un argument d'équivalence fonctionnelle basé sur la marge pour établir une distribution de référence propre valide pour les modèles préentraînés.
3. Validation empirique complète : Évaluation sur neuf configurations architecture-jeu de données (CIFAR-10, SVHN, GTSRB) démontrant des taux de réussite d'attaque élevés tout en évitant les méthodes de détection de l'état de l'art.

Résultats expérimentaux

Les auteurs ont évalué la Porte dérobée éparses sur trois architectures (ConvNet, ResNet-18, ViT-Small) et trois jeux de données.

• Efficacité de l'attaque :
  • L'attaque a atteint un taux de réussite d'attaque (ASR) dépassant 93 % sur CIFAR-10 pour toutes les architectures, atteignant 99,5 % sur ConvNet et 99,6 % sur ViT.
  • La précision sur données propres a été préservée à moins de 1,5 à 8,5 points de pourcentage de la ligne de base. ViT a montré la dégradation la plus faible (<1,5 point).
• Évasion de la détection :
  • L'attaque a été testée contre trois détecteurs représentatifs : Neural Cleanse (espace d'entrée), FeatureRE (espace de caractéristiques) et UNICORN (espace conjoint).
  • L'avantage de distinction moyen sur toutes les configurations était de 0,12, proche de la ligne de base de l'essai aléatoire de 0,0.
  • Les détecteurs ont montré des performances incohérentes, échouant souvent à distinguer le modèle compromis de la référence propre.
• Résilience face aux atténuations :
  • Le fine-tuning sur des données propres (1 % du jeu de données) a été testé comme stratégie d'atténuation.
  • Les résultats ont été incohérents : tandis que le fine-tuning a réduit l'ASR pour ResNet-18 sur GTSRB, il a eu un effet négligeable sur ConvNet et ViT sur CIFAR-10 (l'ASR est resté >99 %).
  • La précision sur données propres s'est rétablie rapidement, créant un faux sentiment de sécurité tandis que la porte dérobée persistait.

Importance et revendications

L'article revendique que la détection au niveau des paramètres des portes dérobées est fondamentalement limitée lorsque l'attaque est fondée sur des hypothèses de difficulté computationnelle. Même avec un accès en boîte blanche à tous les paramètres, détecter la Porte dérobée éparses est aussi difficile que résoudre le problème de la PCA éparse.

Par conséquent, les auteurs soutiennent que la communauté devrait se concentrer sur le passage des défenses basées sur la détection (qui reposent sur l'identification d'artefacts) vers des stratégies d'atténuation qui neutralisent les portes dérobées sans les identifier au préalable. Le travail met en évidence que les défenses existantes, qui exploitent les artefacts structurels laissés par les attaques, sont prouvées inefficaces contre des attaques conçues pour se cacher dans la difficulté computationnelle de la détection de signaux épars en haute dimension.

Les auteurs notent des limites : la construction s'applique actuellement aux architectures avec des têtes de prédiction FC, et la preuve d'indétectabilité repose sur une vérification empirique des hypothèses d'orthogonalité et de marge, qui se sont avérées valables pour toutes les configurations testées.