Résumé Technique : BADBONE

Énoncé du Problème

L'apprentissage par prompt (prompt learning) est apparu comme un paradigme efficace pour adapter les modèles de base pré-entraînés à grande échelle (par exemple, ViT, CLIP, ResNet) à des tâches en aval sans ajuster les paramètres du modèle de base (backbone). Au lieu de cela, il apprend une perturbation légère de l'entrée (un « prompt ») pour déplacer la distribution de l'entrée. Bien que cette approche économise des ressources computationnelles et offre une certaine flexibilité, ses vulnérabilités en matière de sécurité restent sous-explorées.

Les attaques par porte dérobée (backdoor attacks) existantes sur l'apprentissage par prompt injectent généralement la porte dérobée directement dans le prompt lui-même. Ces attaques sont limitées car elles n'affectent qu'un design de prompt visuel spécifique ; si la victime choisit un autre design de prompt, l'attaque échoue. Inversement, les attaques traditionnelles par porte dérobée sur les modèles de base compromettent souvent l'utilité du modèle ou sont facilement détectables car le déclencheur (trigger) active la porte dérobée indépendamment du processus d'adaptation en aval.

Le papier identifie une lacune : il n'existe aucune méthode efficace pour implanter une porte dérobée dans le modèle de base de telle sorte que la vulnérabilité soit héritée par toute tâche en aval utilisant l'apprentissage par prompt, tout en maintenant une utilité élevée et de la furtivité.

Méthodologie : BADBONE

Les auteurs proposent BADBONE, la première attaque par porte dérobée ciblant le modèle de base dans l'apprentissage par prompt visuel. L'innovation centrale est un cadre d'optimisation bi-niveau qui optimise simultanément le processus de génération du prompt et le processus d'empoisonnement du modèle de base.

1. Modèle de Menace

• Attaquant : Un fournisseur de modèle malveillant qui fournit un modèle de base empoisonné ($f'$) à une victime.
• Victime : Un utilisateur ayant des compétences limitées en apprentissage automatique (ML) qui utilise le modèle de base fourni pour générer son propre prompt visuel ($g'$) pour une tâche spécifique en aval.
• Capacités : L'attaquant a accès à un jeu de données fantôme (shadow dataset $D$) similaire aux données en aval de la victime et au jeu de données de pré-entraînement original. L'attaquant ne peut pas influencer le processus de génération de prompt de la victime mais peut contrôler les poids du modèle de base.
• Objectif :
  • Utilité : Le modèle de base empoisonné doit être compétitif à la fois sur les tâches de pré-entraînement et sur les tâches en aval (avec un prompt propre).
  • Efficacité : Le modèle doit classer de manière erronée les échantillons déclenchés (attaques ciblées ou non ciblées).
  • Furtivité : La porte dérobée doit rester dormante à moins que le prompt appris en aval ET un déclencheur spécifique ne soient tous deux présents.

2. Cadre d'Optimisation Bi-Niveau

L'attaque est formulée comme un problème d'optimisation imbriqué où les paramètres du prompt ($\phi$) sont les variables de niveau supérieur et les paramètres du modèle de base ($\theta$) sont les variables de niveau inférieur :
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{sous contrainte de } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

La solution est approximée via un processus itératif alternant entre deux phases :

• Phase A : Apprentissage du Prompt (Niveau Supérieur) :
  L'attaquant fige le modèle de base ($f_\theta$) et optimise un prompt ($g_\phi$) en utilisant un jeu de données fantôme ($D$). Cette phase imite le comportement de la victime pour s'assurer que le prompt appris est compatible avec le modèle de base empoisonné. La perte est une entropie croisée catégorielle standard ($\ell_{prompt}$).

• Phase B : Phase d'Empoisonnement (Niveau Inférieur) :
  L'attaquant fige le prompt appris ($g_\phi$) et affine le modèle de base ($f_\theta$) en utilisant un jeu de données d'empoisonnement composite ($D_{poisoning}$). Ce jeu de données se compose de trois sous-ensembles :

  1. Jeu de données déclenché ($D_t$) : Images avec un déclencheur ajouté et des étiquettes inversées vers une classe cible (pour les attaques ciblées) ou inversées de manière aléatoire/séquentielle (pour les attaques non cagées).
  2. Jeu de données propre ($D_c$) : Images propres issues du jeu de données fantôme pour maintenir l'utilité de la tâche en aval.
  3. Jeu de données de pré-entraînement ($D_p$) : Images du jeu de données de pré-entraînement original pour maintenir l'utilité du pré-entraînement.

  La perte d'empoisonnement ($\ell_{poisoning}$) est une somme pondérée :
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  où $\gamma, \beta, \alpha$ équilibrent respectivement l'efficacité de l'attaque, l'utilité en aval et l'utilité du pré-entraînement.

3. Mécanisme d'Activation

La porte dérobée utilise un mécanisme de « co-activation prompt-et-déclencheur ».

• Déclencheur seul : Si un déclencheur est appliqué au modèle de base sans prompt appris (par exemple, sur la tâche de pré-entraînement), la porte dérobée reste dormante et le modèle se comporte normalement.
• Prompt seul : Si un prompt appris est utilisé sans déclencheur, le modèle maintient une précision élevée sur les entrées propres.
• Co-activation : Le comportement malveillant ne s'exprime que lorsque la victime utilise le modèle de base empoisonné pour générer un prompt pour une tâche en aval ET que l'image d'entrée contient le déclencheur.

Contributions Clés

1. Première Attaque au Niveau du Modèle de Base : BADBONE est le premier travail proposant une attaque par porte dérobée ciblée/non ciblée contre le modèle de base dans l'apprentissage par prompt visuel, plutôt que contre le prompt lui-même.
2. Optimisation Bi-Niveau : Les auteurs introduisent une stratégie d'optimisation bi-niveau pour gérer l'interaction entre l'empoisonnement du modèle de base et l'adaptation du prompt en aval, permettant à la porte dérobée d'être héritée par le prompt appris par la victime.
3. Furtivité : L'attaque présente un mécanisme de co-activation qui rend la porte dérobée difficile à détecter par les défenses standards, car elle ne s'active pas dans les scénarios à condition unique (déclencheur seul ou prompt seul).
4. Transférabilité : L'attaque démontre une haute transférabilité à travers différentes architectures de modèles de base (ResNet18, ResNet50, BiT-M-RN50), jeux de données (CIFAR-10, SVHN, EuroSAT) et designs de prompts (padding, patches).

Résultats Expérimentaux

Les auteurs ont évalué BADBONE sur trois modèles de base et trois jeux de données en aval.

• Efficacité :
  • Attaques Ciblées : A atteint des taux de succès d'attaque (ASR) élevés. Par exemple, sur CIFAR-10 avec ResNet50, l'ASR a atteint 98,66 % (référence : 12,44 %).
  • Attaques Non Ciblées : A atteint des taux de mauvaise classification (MR) élevés. Par exemple, sur EuroSAT avec ResNet18, le MR a atteint 93,16 % (référence : 26,68 %).
• Utilité :
  • Les modèles empoisonnés ont maintenu des performances compétitives sur les tâches de pré-entraînement ($Acc_{pre}$) et les tâches en aval avec des prompts propres ($Acc_{target}$). Dans de nombreux cas, l'utilité était comparable ou légèrement supérieure aux références propres en raison de l'inclusion de données propres lors de la phase d'empoisonnement.
• Évaluation de la Furtivité :
  • Déclencheur Seul : Lors de tests sur la tâche de pré-entraînement avec des déclencheurs mais sans prompt, l'ASR était négligeable (par exemple, 0,10 %), indiscernable des modèles propres.
  • Prompt Seul : Les modèles ont maintenu une précision élevée sur les ensembles de test propres.
• Évasion des Défenses :
  • Les auteurs ont évalué six défenses de pointe : Neural Cleanse, ABS, MNTD, NAD, CLP et D-BR.
  • Détection : Neural Cleanse, ABS et MNTD ont largement échoué à détecter les portes dérobées, prédisant que les modèles étaient propres.
  • Suppression : NAD, CLP et D-BR ont échoué à supprimer la porte dérobée sans dégrader sévement l'utilité du modèle. Spécifiquement, CLP a supprimé la porte dérobée mais a détruit l'utilité, tandis que D-BR n'a pas réussi à supprimer la porte dérobée et a également nui à l'utilité.

Signification et Revendications

Le papier affirme que BADBONE expose une vulnérabilité critique, jusqu'alors inexplorée, dans le paradigme de l'apprentissage par prompt. En ciblant le modèle de base plutôt que le prompt, l'attaque garantit que la vulnérabilité est héritée par toute tâche en aval utilisant le modèle de base empoisonné, quel que soit le design de prompt spécifique choisi par la victime.

Les auteurs soulignent que le mécanisme de co-activation est la clé de la furtivité de l'attaque, rendant les méthodes de détection existantes (qui reposent souvent sur le déclencheur seul ou l'analyse de perturbation globale) inefficaces. Le travail conclut que les mécanismes de défense actuels sont insuffisants face à ce nouveau vecteur d'attaque et souligne la nécessité urgente de développer des défenses avancées spécifiquement adaptées à l'interaction entre les modèles de base et l'apprentissage par prompt. Les auteurs publient leur code pour faciliter la reproductibilité et la recherche défensive.