Résumé Technique : Let Them Steal : Piéger les attaques d'extraction de modèles de langage par un piège à connaissances

1. Énoncé du problème

Les modèles de langage de grande taille (LLM) déployés sous forme d'API en source fermée sont vulnérables aux attaques d'extraction de modèle (MEA). Dans ces attaques, les adversaires interrogent l'API pour collecter des paires entrée-sortie, utilisant l'apprentissage actif pour distiller un modèle de substitution de haute fidélité à une fraction du coût d'entraînement original.

Les défenses existantes font face à un compromis critique :

• Les défenses passives (ex: détection de requêtes, tatouage numérique) préservent l'utilité pour les utilisateurs légitimes mais n'interviennent qu'après que l'extraction a eu lieu ou ne parviennent pas à empêcher l'acquisition initiale de connaissances.
• Les défenses actives (ex: perturbation de la sortie, preuve de travail) interfèrent pendant l'extraction mais dégradent généralement la qualité des réponses pour les utilisateurs bénins, nuisant à l'utilité commerciale du modèle.

Les auteurs identent une asymétrie fondamentale : la principale contrainte de l'attaquant est un budget de requêtes limité. Les MEA modernes reposent sur l'apprentissage actif pour maximiser le gain d'information par requête. Les défenses actuelles ne parviennent pas à exploiter cette contrainte, soit en réagissant trop tard, soit en dégradant l'utilité. Le papier pose qu'une défense pratique doit rediriger le budget limité de l'attaquant vers des connaissances qui sont factuellement correctes mais ayant une utilité en aval négligeable pour la tâche cible, sans affecter les utilisateurs légitimes.

2. Méthodologie : Le Piège à Connaissances (Knowledge Trap)

La défense proposée, Knowledge Trap, redirige les attaques d'extraction vers des connaissances à faible transférabilité en utilisant un Graphe de Connaissances Piège (HKG) et un mécanisme d'exploration guidé par des miettes de pain (breadcrumbs).

2.1 Taxonomie des connaissances

Les auteurs définissent deux sous-ensembles de la connaissance $K$ du modèle :

• Connaissance critique pour la tâche ($K_c$) : Connaissance essentielle pour les tâches en aval (ex: raisonnement clinique pour une QA médicale). C'est ce que le défenseur doit protéger.
• Connaissance à faible transférabilité ($K_0$) : Connaissance factuellement correcte qui apporte un gain d'amélioration négligeable sur les tâches en aval (ex: anecdotes historiques, détails procéduraux obsolètes, taxonomie de niche).

2.2 Construction du Graphe de Connaissances Piège (HKG)

Le HKG est un graphe dirigé construit à partir de $K_0$, conçu pour piéger les attaquants basés sur l'apprentissage actif.

• Sélection du contenu : Les nœuds consistent en des "minutiae historiques" (conventions obsolètes), une "taxonomie périphérique" (classifications non transférables) et des "enregistrements procéduraux de niche".
• Filtre de transférabilité : Les candidats sont filtrés à l'aide d'un filtre de mots-clés et d'un modèle de sonde pour garantir qu'ils fournissent un gain d'utilité nul ($\le \delta$) lorsqu'ils sont utilisés pour affiner un modèle de substitution.
• Structure du graphe : Chaque nœud est associé à une question liée au domaine et à une réponse factuellement correcte. Les arêtes encodent des relations de suivi sémantique où la réponse au nœud $v_i$ contient le nom de l'entité du nœud $v_j$ comme un sujet susceptible d'être extrait comme cible de requête future.
• Boucle auto-renforcée : Le graphe impose un degré de sortie minimum ($d_{min}=3$), garantissant qu'une fois qu'un attaquant entre dans le HKG, les pipelines d'expansion d'entités traversent naturellement les nœuds adjacents, créant une boucle qui consomme le budget sans approcher $K_c$.

2.3 Mécanisme de détection et d'appâtage

La défense opère en trois étapes :

1. Détection : Un score de suspicion $s_t$ est calculé pour chaque requête entrante basé sur trois signaux observables :
   • Longueur : Requêtes longues et structurées.
   • Mots-clés : Termes associés à l'extraction (ex: "définir", "expliquer").
   • Temporalité : Activité de requête soutenue au sein d'une session.
2. Injection de miettes de pain (Breadcrumb Injection) : Si $s_t$ dépasse un seuil $\tau$, le défenseur ajoute une "miette de pain" à la réponse. Il s'agit d'une phrase courte, paraphrasée, introduisant un nœud spécifique du HKG comme un sujet de suivi pertinent. Pour éviter le filtrage par modèles, 20 modèles diversifiés sont échantillonnés uniformément.
3. Piégeage : Une fois que l'attaquant interroge le nœud du HKG introduit, le système sert la réponse du HKG. Parce que ces concepts sont inconnus du modèle de substitution, la fonction d'acquisition basée sur l'incertitude de l'attaquant leur attribue des scores élevés, provoquant l'allocation de toutes les requêtes suivantes au sein du HKG.

2.4 Garantie théorique

Le papier fournit une borne inférieure sur la fraction du budget de l'attaquant consommée par le HKG. Sous l'hypothèse que le modèle de substitution est au moins aussi incertain concernant les concepts du HKG que les concepts du domaine réel, les auteurs prouvent que la fraction du budget allouée au HKG croît de manière monotone après l'activation de l'appâtage. La frontière d'exploration de l'attaquant s'étend avec de nouvelles cibles de piège, créant une boucle auto-renforcée qui gaspille le budget.

3. Principales contributions

1. Cadre de Knowledge Trap : Une nouvelle défense qui redirige les attaques d'extraction de modèle vers des connaissances à faible transférabilité plutôt que de simplement détecter ou bloquer les attaques de manière passive.
2. Graphe de Connaissances Piège (HKG) : La construction d'un piège basé sur un graphe utilisant des connaissances spécifiques au domaine, obsolètes ou de niche, couplée à un mécanisme de pilotage par miettes de pain pour piéger les attaques d'apprentissage actif.
3. Analyse théorique et empirique : Garanties formelles montrant que la défense redirige le budget des attaques contraintes tout en préservant l'utilité des utilisateurs bénins, soutenues par des expériences approfondies.

4. Résultats expérimentaux

Les expériences ont été menées dans les domaines Médical, Financier et Juridique en utilisant GPT-4.1 comme victime et LLaMA-3.1-8B comme modèle de substitution.

• Efficacité (RQ1) : Knowledge Trap (Complet) a réduit l'Accord (précision relative à la victime) du modèle de substitution de 6,2 % en moyenne sur les benchmarks (ex: de 62,3 % à 54,1 % sur MedQA avec un budget de 500 requêtes). Cela a surpassé les bases existantes comme HoneypotNet, la perturbation de sortie et PRADA.
• Utilité de l'utilisateur bénin : Crucialement, la défense a engendré une dégradation de 0,0 % de la précision des utilisateurs légitimes. Contrairement aux méthodes de perturbation de sortie, Knowledge Trap ne modifie pas les réponses pour les requêtes non suspectes.
• Contribution des composants (RQ2) : Les études d'ablation ont montré que la combinaison de la détection et de l'injection de miettes de pain est super-additive. La détection seule ou les miettes de pain seules offraient une protection limitée ; ensemble, elles ont atteint une réduction de l'Accord de 8,2 %.
• Redistribution du budget (RQ3) : Après détection, plus de 90 % du budget de requête de l'attaquant a été redirigé vers les nœuds du HKG, tandis que les requêtes sur les tâches du domaine réel se sont stabilisées.
• Attaques adaptatives (RQ5) : La défense est restée efficace contre quatre stratégies adaptatives :
  • Filtrage de pertinence de domaine : Les attaquants ne pouvaient pas distinguer les réponses du HKG (qui sont factuellement correctes) des réponses réelles.
  • Détection de modèles : La diversification des modèles de miettes de pain a réduit la précision de détection à 34,2 %.
  • Pré-filtrage par LLM : Les concepts du HKG étaient formulés en terminologie moderne, évitant les filtres d'"obsolescence".
  • Obfuscation de requête : Même avec des requêtes obscurcies, la défense a réduit l'Accord de 5,6 %.

5. Signification et affirmations

Le papier affirme que Knowledge Trap offre une direction pratique pour atténuer les attaques d'extraction de modèles en déplaçant le paradigme de "bloquer" vers "piéger".

• Praticité : Il évite la dégradation de l'utilité inhérente aux défenses actives et la nature post-hoc des défenses passives.
• Scalabilité : La défense reste efficace même avec des budgets de requêtes élevés (jusqu'à 2000), bien que l'écart se réduise à mesure que la capacité du HKG est partiellement épuisée.
• Avantage asymétrique : Les auteurs soutiennent que le coût pour le défenseur est un coût de construction unique du HKG, tandis que le coût de l'attaquant augmente linéairement avec son budget, car il est forcé de gaspiller des requêtes sur des connaissances de faible utilité.

Les auteurs concluent que la défense de la traversée de l'espace des connaissances est une stratégie viable, à condition que le défenseur puisse construire un graphe de connaissances à faible transférabilité suffisamment large et attractif. Ils reconnaissent les limites concernant les attaquants utilisant des stratégies de non-apprentissage actif (ex: échantillonnage aléatoire) et suggèrent des travaux futurs dans l'expansion adaptative du HKG et la génération de miettes de pain conditionnée par le contexte.