Can Watermarking Techniques Help Prevent LLM Model Stealing?

Résumé technique : Techniques de tatouage numérique pour prévenir le vol de modèles LLM

Énoncé du problème
Les grands modèles de langage (LLM) commerciaux sont généralement accessibles via des API de type « boîte noire », ce qui maintient la propriété de leurs architectures internes, de leurs données d'entraînement et de leurs paramètres. Cependant, des travaux récents de [Carlini et al., 2024b] ont démontré une attaque de « vol de modèle » (model stealing) évolutive, capable d'extraire des informations architecturales précises, spécifiquement la dimension de la couche cachée et de la couche de projection finale, à partir de ces modèles de type boîte noire. L'attaque fonctionne en interrogeant le modèle avec un ensemble de prompts contrôlables pour collecter les vecteurs de logits de prédiction du prochain jeton (token). En construisant une matrice à partir de ces logits et en appliant l'Analyse en Composantes Principales (PCA), un adversaire peut estimer le rang numérique de la matrice, ce qui correspond à la dimension cachée du modèle. Cette vulnérabilité est critique car la dimension cachée sert de fondation pour le vol des paramètres de la couche finale du modèle. L'attaque est polyvalente, car elle ne dépend pas de fonctions d'activation ou de structures de réseau spécifiques, et elle reste efficace même lorsque le défenseur tente de l'atténuer via de simples injections de bruit ou des techniques de moyennage.

Méthodologie
Les auteurs proposent un mécanisme de défense inspiré des techniques de tatouage numérique (watermarking) pour les LLM [Kirchenbauer et al., 2023], spécifiquement conçu pour perturber les attaques d'estimation de rang tout en préservant l'utilité du modèle. La stratégie centrale consiste à perturber structurellement la couche des logits du modèle avant l'échantillonnage des jetons.

1. Bruit déterministe dépendant du prompt : Contrairement aux défenses naïves qui ajoutent un bruit aléatoire indépendant (qui peut être neutralisé par moyennage par un adversaire), la méthode proposée génère un bruit qui est déterministe pour un prompt donné mais varie selon les différents prompts. Ceci est réalisé en calculant une graine (seed) à l'aide d'une fonction pseudo-aléatoire cryptographique (PRF) appliquée au dernier état caché ($h$) pour un prompt $p$ spécifique. La PRF garantit que des prompts identiques produisent des perturbations identiques (empêchant les attaques par moyennage) tandis que des prompts différents produisent des perturbations distinctes et apparemment aléatoires.
2. Mécanismes de perturbation : Le papier évalue plusieurs structures de bruit :
   • Bruit additif : Ajout direct de vecteurs de bruit discrets ou gaussiens. Bien qu'efficaces contre la PCA de base, ces derniers sont vulnérables aux attaques de moyennage sophistiquées ou à la PCA robuste (Robust PCA).
   • Bruit multiplicatif : Mise à l'échelle des logits par des facteurs aléatoires. Les expériences montrent que cela dégrade considérablement la qualité du modèle et échoue à empêcher la récupération du rang.
   • Softplus-Then-Perturb (STP) : Les auteurs proposent un nouveau mécanisme où le vecteur de logits $\ell$ est d'abord transformé via une fonction softplus ($\text{softplus}(\alpha\ell)$) pour biaiser les valeurs et préserver l'ordre relatif des jetons à haute confiance. Des perturbations aléatoires sont ensuite ajoutées à ce vecteur transformé. Cette approche vise à maintenir l'ordre des jetons (crucial pour la qualité) tout en introduisant une complexité structurelle suffisante pour briser le sous-espace de bas rang requis pour l'estimation du rang.

Contributions clés

• Défense contre l'estimation de rang : Le papier introduit un cadre de perturbation structuré qui cible spécifiquement la vulnérabilité mathématique exploitée par [Carlini et al., 2024b], empêchant la récupération de la dimension cachée via la PCA ou la PCA robuste.
• Analyse théorique du bruit : Les auteurs analysent la stabilité de la récupération du rang sous diverses conditions de bruit, en utilisant l'inégalité de Weyl et la théorie de la perturbation de matrice. Ils démontrent que le bruit additif simple est insuffisant contre les attaques par moyennage et que la structure de dépendance entre le bruit et le prompt est critique.
• Mécanisme STP : La proposition du mécanisme Softplus-Then-Perturb, qui équilibre la robustesse contre les attaques d'extraction avec la préservation des performances du modèle.
• Validation empirique : Des expériences approfondies sur Mistral-7B (et GPT-2 dans l'appendice) démontrent les compromis entre la robustesse de la défense et la qualité du modèle.

Résultats

• Prévention de l'attaque : Les défenses proposées, particulièrement le mécanisme STP combiné au bruit gaussien, empêchent avec succès l'extraction de la dimension cachée. Dans des expériences avec 10 000 prompts, l'attaque n'a pas réussi à identifier le rang correct (4 096 pour Mistral-7B), la dimension prédite ne montrant aucune anomalie identifiable ou saut significatif dans les valeurs singulières.
• Robustesse aux attaques avancées : Le mécanisme STP avec bruit gaussien a résisté aux tentatives d'attaques par « inversion de softplus » et aux extensions de la PCA robuste (RPCA). En revanche, le softplus pur sans perturbation était vulnérable à l'inversion, et le bruit additif simple était vulnérable au moyennage.
• Préservation de la qualité du modèle :
  • Perplexité (PPL) : Le bruit additif a provoqué une dégradation significative de la perplexité avec des magnitudes plus élevées. Cependant, les perturbations basées sur STP ont maintenu une perplexité proche du modèle original (par exemple, 3,37 contre 3,40 pour l'original).
  • Précision MMLU : Bien que le bruit additif ait réduit les scores MMLU de manière significative (chutant à environ 44-55 %), le mécanisme STP a préservé une précision élevée (56-57 %), rejoignant presque le modèle original (57,78 %).
  • Décalage de distribution : Bien que l'STP induise une divergence de distribution élevée (divergence KL et JS élevée), il a maintenu un accord Top-50 élevé (≥0,92). Cela indique que bien que la distribution de probabilité change, le classement relatif des jetons les plus confiants reste intact, préservant l'utilité fonctionnelle du modèle.

Signification
Le papier affirme que son approche offre une défense pratique et efficace contre une classe spécifique d'attaques de vol de modèle qui menacent la propriété intellectuelle des LLM commerciaux. En exploitant des techniques inspirées du tatouage numérique pour perturber les logits de manière dépendante du prompt, les auteurs démontrent qu'il est possible d'obscurcir la dimensionnalité interne du modèle sans le rendre inutilisable. Ce travail souligne que la préservation de l'ordre relatif des logits est plus critique pour maintenir l'utilité du modèle que la minimisation des décalages de distribution brute, une conclusion qui informe la conception du mécanisme STP. Les auteurs concluent que leur méthode renforce la sécurité et l'intégrité des modèles de langage commerciaux contre l'extraction basée sur le rang, offrant une voie viable pour protéger les architectures de modèles propriétaires.