Résumé Technique : SABRE-FL

Énoncé du Problème

L'apprentissage de prompts fédéré (Federated Prompt Learning - FPL) est apparu comme un paradigme efficace pour l'adaptation de modèles de vision-langage (VLM) de grande taille, tels que CLIP, à travers des clients décentralisés. Dans le FPL, les clients optimisent des vecteurs de prompts légers et apprenables tout en gardant l'architecture du modèle gelée, ne partageant que ces prompts avec un serveur central. Malgré sa nature respectueuse de la vie privée et de l'efficacité de communication, les implications sécuritaires du FPL restent peu explorées.

Cet article identifie une vulnérabilité critique : l'apprentissage de prompts fédéré est hautement susceptible aux attaques par porte dérobée (backdoor attacks). Les auteurs démontrent que des clients malveillants peuvent injecter des déclencheurs de bruit apprenables et visuellement imperceptibles dans leurs données d'entraînement locales. Ces déclencheurs sont optimisés pour déplacer les plongements (embeddings) d'images dans l'espace sémantique de CLIP vers une classe cible spécifique. Par conséquent, l'apprenant de prompts global, lors de l'agrégation, devient vulnérable à une classification erronée ciblée sur les entrées contenant le déclencheur, tout en maintenant une précision élevée sur les données saines et bénignes. Cette attaque est particulièrement insidieuse car elle opère dans l'espace de paramètres limité des vecteurs de prompts, tout en compromettant efficacement l'intégrité du modèle global sans dégrader son utilité globale.

Méthodologie

1. L'Attaque par Porte Dérobée

Les auteurs proposent la première attaque par porte dérobée ciblant spécifiquement l'apprentissage de prompts dans un contexte fédéré.

• Mécanisme : Les clients malveillants (supposés être une fraction du total, par exemple 25 %) injectent un déclencheur de bruit additif apprenable ($t$) dans un sous-ensemble de leurs images locales ($x^* = x \oplus t$).
• Optimisation : Le déclencheur est optimisé conjointement avec l'apprenant de prompts pour maximiser la similitude cosinus entre l'embedding de l'image empoisonnée et l'embedding textuel d'une classe cible ($y_{target}$), tout en minimisant la similitude avec l'étiquette réelle.
• Modèle de Menace : L'attaquant contrôle un sous-ensemble de clients, possède une connaissance complète de l'architecture du modèle (backbone CLIP gelé) et peut réétiqueter les échantillons empoisonnés avec la classe cible (attaque par étiquetage sale/dirty-label).
• Résultat : L'attaque implante avec succès une porte dérobée dans l'apprenant de prompts global. Lors de l'inférence, toute entrée contenant le déclencheur est classée de manière erronée comme la classe cible avec une grande confiance, tandis que les entrées propres ne sont pas affectées.

2. La Défense : SABRE-FL

Pour contrer cette vulnérabilité, les auteurs proposent SABRE-FL (Selective and Accurate Backdoor Rejection for Federated Prompt Learning), une défense légère côté serveur.

• Intuition Centrale : Bien que le déclencheur soit visuellement imperceptible, il induit un décalage systématique et cohérent des embeddings d'images au sein de l'espace d'embedding de CLIP. Cette déviation crée une signature statistique qui distingue les mises à jour empoisonnées des mises à jour saines.
• Entraînement du Détecteur :
  • La défense utilise un jeu de données auxiliaire (Caltech-101) pour générer un ensemble d'entraînement d'embeddings.
  • Des images propres et des images avec déclencheurs injectés passent par l'encodeur d'image CLIP gelé pour produire des embeddings.
  • Un classificateur binaire (détecteur) est entraîné hors ligne sur ces embeddings pour distinguer les représentations "propres" des représentations "empoisonnées". Crucialement, ce détecteur ne nécessite aucun accès aux données brutes des clients, aux étiquettes ou aux gradients.
• Inférence et Filtrage :
  • Lors de chaque tour fédéré, le serveur reçoit les mises à jour de prompts des clients.
  • Le serveur calcule le score moyen du détecteur pour les embeddings associés à la mise à jour de chaque client.
  • Une heuristique basée sur le rang est employée : les $m$ clients ayant le plus grand nombre d'embeddings signalés (empoisonnés) sont exclus du processus d'agrégation. Cela suppose une limite supérieure sur le nombre de clients malveillants.

Principales Contributions

1. Première Étude des Portes Dérobées dans le FPL : L'article présente la première investigation des attaques par porte dérobée au sein de l'apprentissage de prompts fédéré. Il établit que même avec des mises à jour de paramètres limitées (uniquement les prompts), le système est vulnérable aux attaques par déclencheur qui atteignent des taux de réussite élevés tout en préservant la précision sur les données saines.
2. Défense SABRE-FL : Les auteurs conçoivent une défense modulaire et généralisable qui opère dans l'espace d'embedding. Elle détecte les mises à jour empoisonnées à l'aide d'un détecteur entraîné hors ligne, ne nécessitant aucun accès aux données privées des clients.
3. Validation Théorique et Empirique : Le travail fournit des conditions théoriques pour la généralisation du détecteur et des évaluations empiriques approfondies sur cinq jeux de données diversifiés (Flowers, Pets, DTD, FGVC Aircraft, Food101) et quatre défenses de référence (Trimmed Mean, Median, Norm Bounding, FLAME).

Résultats

L'évaluation démontre que SABRE-FL surpasse significativement les bases de défense d'agrégation robustes existantes :

• Atténuation de la Porte Dérobée : SABRE-FL réduit la précision de la porte dérobée à des niveaux proches de zéro sur tous les jeux de données (par exemple, 1,1 % sur Flowers, 1,9 % sur Food101, 7,6 % sur FGVC Aircraft), alors que les méthodes de référence laissent souvent une influence significative de la porte dérobée (par exemple, FLAME laisse 16,4 % sur FGVC Aircraft).
• Préservation de la Précision sur les Données Saines : La défense maintient une précision sur les données saines comparable ou supérieure aux méthodes de référence, prouvant que le filtrage des clients empoisonnés n'altère pas la généralisation du modèle sur les données bénignes.
• Généralisation : Le détecteur, entraîné sur Caltech-101, se généralise avec succès à divers domaines, incluant la reconnaissance d'objets fins et les tâches basées sur les textures, sans réentraînement.
• Robustesse au Nombre de "Shots" : La défense reste efficace même lorsque le nombre de "shots" (échantillons par classe) augmente, un scénario où les apprenants de prompts deviennent typiquement plus susceptibles aux attaques basées sur la mémorisation.
• Preuve Visuelle : Les visualisations t-SNE confirment une séparation claire entre les embeddings propres et empoisonnés dans l'espace CLIP, validant le mécanisme sous-jacent de la défense.

Signification et Revendications

L'article affirme que l'apprentissage de prompts fédéré, malgré ses avantages en matière d'efficacité et de confidentialité, introduit une nouvelle surface d'attaque actuellement non traitée. La signification de ce travail réside dans :

• L'Exposition d'une Vulnérabilité Critique : Démontrer que la nature "légère" de l'apprentissage de prompts ne protège pas intrinsèquement contre la manipulation adverse ; au contraire, l'alignement sémantique des prompts peut être exploité pour implanter des portes dérobées durables.
• La Fourniture d'une Solution Pratique : SABRE-FL offre une défense réalisable qui respecte les contraintes de confidentialité du l'apprentissage fédéré (pas d'accès aux données brutes) tout en neutralisant efficacement la menace.
• L'Accent sur la Nécessité de la Robustesse : Les auteurs soulignent la nécessité d'intégrer des mesures de sécurité robustes dans les futurs systèmes fédérés, en particulier lorsqu'ils adoptent des modèles de fondation et des stratégies d'adaptation basées sur les prompts.

L'article conclut que bien que les attaques par porte dérobée soient une menace puissante, les déviations statistiques cohérentes qu'elles provoquent dans les espaces d'embedding peuvent être exploitées pour construire des défenses efficaces et respectueuses de la vie privée.