Résumé Technique : Empoisonnement du Paysage de Perte (Loss Landscape Poisoning - LLP)

1. Énoncé du Problème

Les grands modèles de langage (LLM) et les modèles langage-vision (VLM) sont de plus en plus entraînés sur des données propriétaires et sensibles, incluant des dossiers médicaux, des informations financières et des conversations d'utilisateurs. Alors que les menaces de confidentialité existantes se concentrent sur l'extraction de données que le modèle a déjà mémorisées (souvent involontairement) ou sur l'inférence de l'appartenance à un ensemble de données, cet article traite d'un scénario plus insidieux : Un attaquant qui n'a aucun accès à un enregistrement cible spécifique peut-il forcer le modèle à mémoriser et à divulguer cet enregistrement ?

Les auteurs postulent qu'un adversaire capable d'empoisonner une partie des données d'entraînement peut concevoir ces données pour induire la fuite d'un enregistrement cible distinct et invisible. Le défi central est de parvenir à cela sans dégrader l'utilité générale du modèle, afin d'éviter la détection, et de le faire même lorsque l'attaquant ne connaît pas la valeur secrète elle-même, mais seulement son schéma (par exemple, le format d'un numéro de sécurité sociale).

2. Méthodologie : Empoisonnement du Paysage de Perte (LLP)

L'attaque proposée, l'Empoisonnement du Paysage de Perte (LLP), opère en remodelant le paysage de perte local du modèle autour d'une région ciblée de l'espace de complétion. L'idée fondamentale est que la mémorisation peut être imposée en créant un minimum local aigu au niveau du secret cible, entouré d'une perte élevée sur les alternatives proches.

Mécanisme Central

L'attaque repose sur deux forces opposées pendant l'entraînement :

1. Force Descendante : L'entraînement standard de la victime sur le corpus contenant le vrai secret $(x, s)$ fait descendre la perte au niveau de la cible.
2. Force Ascendante : L'attaquant introduit des échantillons empoisonnés $(x, s')$ où $s'$ est un voisin de $s$ (par exemple, une variation aléatoire du secret). L'attaquant manipule le processus d'entraînement pour maximiser la perte sur ces voisins.

L'interaction crée un « creux de perte » où le vrai secret est l'unique solution à faible perte. Le modèle est forcé de mémoriser le secret comme un point isolé plutôt que de généraliser sur la distribution du champ.

Modèles de Menace

L'article évalue le LLP sous trois modèles de menace distincts :

1. Empoisonnement Direct du Modèle (Boîte Blanche) :

   • Accès : L'attaquant a accès à la boucle d'entraînement et peut modifier la fonction de perte.
   • Technique : L'attaquant applique une ascension de gradient sur les échantillons empoisonnés (voisins de la cible) tout en appliquant une descente de gradient standard sur les données bénignes. Cela est formalisé par une fonction d'objectif modifiée :
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • Résultat : Cela sculpte directement le minimum aigu.

2. Empoisonnement de Données (Boîte Noire / Sans Accès à la Perte) :

   • Accès : L'attaquant peut seulement contribuer avec des données au corpus d'entraînement et ne peut pas modifier la fonction de perte ou la boucle d'optimisation.
   • Technique (LLP-Data) : L'attaquant conçoit des échantillons empoisonnés en préfixant la séquence de jetons $q$ au préfixe $x$. Cette séquence est générée via un modèle de substitution pour garantir que la descente de gradient standard sur l'échantillon empoisonné $(q+x, s')$ produit un gradient aligné avec la direction d'ascension requise par l'attaque directe. Cela reproduit efficacement la « force ascendante » en utilisant uniquement des données.

3. Empoisonnement par Apprentissage Fédéré (FL) :

   • Accès : Un client malveillant contrôle son entraînement local mais ne peut pas voir le secret cible (détenu par un client honnête) ni contrôler l'agrégation du serveur.
   • Technique : Le client malveillant effectue un empoisonnement de modèle local (ascension de gradient sur les voisins) et soumet des mises à jour. Le serveur agrège celles-ci avec les mises à jour des clients honnêtes (qui effectuent une descente de gradient sur le vrai secret). Le modèle global converge vers un état où le secret est mémorisé grâce à l'effet combiné de la pression « ascendante » malveillante et de la pression « descendante » honnête.

Primitives d'Extraction

Une fois le modèle entraîné, l'attaquant extrait le secret en utilisant :

• Probabilité Cible : Mesurer $P_\theta(s|x)$. Si le paysage de perte est sculpté avec succès, la probabilité de générer le secret approche 1.
• Sondage de Région de Perte Directe (DLRP) : Une nouvelle primitive introduite pour contourner la Confidentialité Différentielle (DP). Au lieu de demander au modèle de générer le secret, l'attaquant interroge la perte de chaînes candidates et de leurs perturbations locales. Le vrai secret est identifié comme le candidat ayant le score de sensibilité locale le plus bas (c'est-à-dire que ses voisins présentent une perte significativement plus élevée).

3. Contributions Clés

1. Introduction du LLP : Une nouvelle attaque d'empoisonnement qui force les modèles à mémoriser des enregistrements sensibles non vus en remodelant le paysage de perte.
2. Faisabilité avec un Accès Uniquement aux Données : Démonstration que le LLP peut être exécuté sans modifier la boucle d'entraînement (LLP-Data) en concevant des échantillons de données spécifiques qui induisent la dynamique de gradient nécessaire.
3. Fuite entre Clients dans l'Apprentissage Fédéré (FL) : Démonstration qu'un seul client malveillant dans un cadre d'apprentissage fédéré peut extraire des secrets détenus par d'autres clients honnêtes.
4. Évasion de la Confidentialité Différentielle (DP) : Preuve que si la DP-SGD bloque la génération directe (en aplatissant le minimum absoluel de la perte), elle échoue à effacer l'écart de perte relatif entre la cible et ses voisins. La primitive DLRP exploite cette empreinte géométrique survivante pour récupérer les secrets même sous DP-SGD.

4. Résultats Expérimentaux

Les auteurs ont évalué le LLP sur un large éventail de modèles, incluant des LLM (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) et des VLM (InstructBLIP, LLaVA).

• Taux de Succès d'Extraction :
  • Empoisonnement Direct du Modèle : A atteint 100 % d'extraction réussie sur les LLM et jusqu'à 90 % sur les VLM.
  • Empoisonnement de Données (LLP-Data) : A atteint 86 % sur les LLM et 83 % sur les VLM.
  • Apprentissage Fédéré : Un seul client malveillant (1 sur 10) a atteint 83–100 % d'extraction sur les LLM et 86–100 % sur les VLM.
• Préservation de l'Utilité : À travers toutes les expériences, les modèles empoisonnés ont maintenu des performances sur les benchmarks de raisonnement standard (HellaSwag, OBQA, WinoGrande, etc.) comparables aux modèles de base, avec des différences souvent de l'ordre de $\pm 0,02$ en précision absolue.
• Analyse du Paysage de Perte : Les visualisations ont confirmé la formation de minima locaux aigus au niveau du secret cible, avec des augmentations de perte abruptes dans le voisinage immédiat.
• Évasion de la DP : Sous DP-SGD, la génération directe a échoué (la probabilité reste proche du hasard). Cependant, DLRP a réussi à récupérer le secret à des budgets de confidentialité ($\epsilon$) qui préservent l'utilité du modèle. Par exemple, à $\sigma=0,0001$, le Z-score du Score de Sensibilité Locale (LSS) de la cible a atteint 17,62, distinguant clairement la cible des leurres.

5. Signification et Revendications

L'article affirme que la confidentialité des données d'entraînement dépend non seulement de ce que le modèle génère, mais aussi de la géométrie de la surface de perte qu'il transporte.

• Recadrage de la Menace : Les auteurs soutiennent que les défenses actuelles comme la Confidentialité Différentielle sont insuffisantes car elles limitent l'influence des enregistrements individuels sur les paramètres, mais ne limitent pas la structure géométrique (la forme de la surface de perte) que ces paramètres induisent.
• Le Risque de l'« Invisible » : Contrairement aux attaques d'extraction précédentes qui reposent sur le fait que le modèle a déjà mémorisé des données, le LLP démontre qu'un attaquant peut forcer le modèle à mémoriser un secret spécifique qu'il n'a jamais vu, à condition d'en connaître le schéma.
• Implications pour la Confidentialité : Ce travail suggère que les recettes d'entraînement privé standard (écrêtage du gradient + bruit calibré) peuvent ne pas être suffisantes pour protéger contre les attaques au niveau du paysage. Défendre contre de telles attaques nécessiterait des niveaux de bruit qui dégraderaient considérablement l'utilité du modèle, sapant ainsi la praticité de l'entraînement de LLM privés.

Les auteurs concluent que pour combler cette lacune, il faut des défenses qui soit perturbent directement l'empreinte du paysage (par exemple, une régularisation sensible au paysage), soit détectent la curation de données adverses avant qu'elle ne façonne la trajectoire d'optimisation.