🤖 AI

AI Model Extraction Attacks: Bypassing Single-Client Assumptions in Defenses

Cet article primé présente le framework open-source CerberusAI pour démontrer que des attaques coordonnées multi-clients peuvent contourner efficacement les défenses existantes basées sur l'hypothèse d'un client unique contre l'extraction de modèles d'IA, nécessitant ainsi un changement de paradigme vers des architectures de sécurité étatiques et indépendantes de l'identité.

Auteurs originaux : Maxime Schwarzer, Johannes F. Loevenich, Gustavo Sánchez, Laurin Holz, Thies Möhlenhof, Tobias Hürten, Roberto Rigolin F. Lopes, Veit Hagenmeyer

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maxime Schwarzer, Johannes F. Loevenich, Gustavo Sánchez, Laurin Holz, Thies Möhlenhof, Tobias Hürten, Roberto Rigolin F. Lopes, Veit Hagenmeyer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez la recette secrète, hautement confidentielle et ultra-intelligente d'un gâteau de qualité militaire. Vous ne voulez pas que quiconque la vole, alors vous ne laissez les gens goûter qu'une minuscule bouchée du gâteau et leur demandez : « Est-ce sucré ou salé ? » en vous basant sur votre recette secrète.

Dans le monde de l'Intelligence Artificielle (IA), cette « recette » est un Modèle, et le fait de « goûter » revient à poser des questions à l'IA (requêtes). Une Attaque d'Extraction de Modèle est le cas où un malfaiteur tente de goûter suffisamment de bouchées pour deviner votre recette secrète et fabriquer sa propre copie du gâteau.

L'ancienne façon de garder le gâteau (la faille du « client unique »)

Pendant longtemps, les experts en sécurité avaient une règle simple pour attraper ces voleurs : L'Hypothèse du Client Unique.

Imaginez cela comme un videur à l'entrée d'un club qui surveille la porte. La règle du videur est : « Si une personne essaie de s'introduire 100 fois de suite, c'est certainement un voleur. Arrêtez-le ! »

Cela fonctionne très bien si le voleur est un acteur solitaire et maladroit. Mais l'article soutient que cette règle est brisée car elle suppose que le voleur travaille toujours seul.

La nouvelle réalité : L'attaque par « Essaim »

Les auteurs de cet article disent : « Et si le voleur n'était pas une seule personne ? Et s'il avait une armée de 400 amis ? »

Ils appellent cela une Attaque Distribuée. Voici comment ils contournent le videur :

La stratégie du « Round-Robin » : Au lieu qu'une personne pose 100 questions, le voleur répartit les questions entre 400 amis différents. Chaque ami ne pose qu'une ou deux questions.
- L'analogie : Imaginez 400 personnes s'approchant du videur, chacune demandant juste une minuscule bouchée. Le videur regarde chaque personne individuellement et pense : « Oh, cette personne est correcte. Elle n'a posé qu'une question. »
- Le résultat : Le videur laisse tout le monde entrer. Le voleur obtient toutes les 100 bouchées dont il a besoin, mais comme aucune personne individuelle n'a posé trop de questions, l'alarme ne se déclenche jamais. L'article montre que cette astuce simple neutralise complètement les meilleurs systèmes de sécurité actuellement en usage.
La stratégie du « Mélange de Trafic » : Et si le garde décidait de surveiller tout le monde ensemble au lieu de surveiller individuellement ?
- L'analogie : Le voleur réalise que le garde compte maintenant le nombre total de personnes dans la pièce. Alors, le voleur amène 400 amis, mais il amène aussi 4 000 touristes innocents (trafic de façade) qui sont juste là pour regarder le gâteau.
- Le voleur mélange ses 100 questions de « vol » avec 4 000 questions « innocentes ». Pour le garde, la foule semble normale. Les questions de « vol » se perdent dans le bruit.
- Le résultat : Si le garde essaie d'attraper le voleur en abaissant ses critères pour repérer la minuscule aiguille dans la botte de foin, il finit par arrêter les 4 000 touristes innocents. Le système de sécurité devient inutile car il y a trop de bruit pour être efficace.

La solution : Un nouvel outil appelé « CerberusAI »

Pour prouver ces idées, les auteurs ont construit un nouvel outil open-source appelé CerberusAI (nommé d'après le chien à trois têtes qui garde les Enfers).

Ce qu'il fait : C'est un laboratoire de simulation. Il permet aux chercheurs de mettre en place un modèle d'IA « fictif » puis d'envoyer des armées d'attaquants « fictifs » contre lui pour voir si la sécurité tient bon.
Pourquoi c'est important : Avant cela, les chercheurs testaient principalement la sécurité en faisant attaquer un modèle par un seul méchant. CerberusAI leur permet de tester ce qui se passe lorsqu'une armée organisée et coordonnée attaque.

La conclusion majeure

L'article conclut que nous devons changer notre façon de penser.

Ancienne pensée : « Est-ce qu'une personne spécifique pose trop de questions ? »
Nouvelle pensée : « Est-ce qu'un groupe de personnes essaie de voler mon secret, même s'ils se cachent dans une foule ? »

Les auteurs soutiennent que pour le secteur militaire et les infrastructures critiques (comme les réseaux électriques ou la défense), nous ne pouvons plus faire confiance aux systèmes de sécurité qui ne surveillent que les individus. Nous avons besoin de gardes plus intelligents, capables de voir l'image globale et de comprendre l'intention des questions, et pas seulement le nombre de questions posées.

En bref : L'article prouve que si vous ne gardez que contre un voleur à la fois, un groupe de voleurs coordonnés volera facilement vos secrets. Nous avons besoin d'un nouveau type de sécurité capable de repérer tout le gang, même lorsqu'ils se cachent à la vue de tous.

Résumé technique : Attaques par extraction de modèles d'IA : contournement des hypothèses de client unique dans les défenses

Énoncé du problème

La sécurité des modèles d'intelligence artificielle (IA) déployés dans les systèmes de commandement et de contrôle (C2) militaires et les infrastructures critiques est de plus en plus menacée par les attaques d'extraction de modèles (MEA - Model Extraction Attacks). Dans ces attaques, les adversaires interrogent systématiquement un modèle cible pour répliquer sa frontière de décision, permettant ainsi le vol de propriété intellectuelle et le développement hors ligne d'attaques adverses (par exemple, pour échapper aux systèmes de détection d'intrusion).

Les mécanismes de défense actuels, tels que PRADA (Protecting Against Deep Neural Network Model Stealing Attacks), QUEEN (Query Unlearning) et Model-Guardian, reposent largement sur l'hypothèse du client unique (SCA - Single Client Assumption). Cette hypothèse postule que l'activité malveillante provient d'une identité unique et isolée (par exemple, une adresse IP ou une clé API). Les défenses fonctionnent en surveillant les schémas de requêtes par client (par exemple, les intervalles entre les arrivées) et en déclenchant des alarmes lorsque des écarts statistiques se produisent.

L'article soutient que la SCA est fondamentalement invalide dans les environaux opérationnels modernes et connectés, particulièrement face aux menaces persistantes avancées (APT). Dans ces scénarios, les adversaires possèdent les ressources nécessaires pour distribuer les activités de sondage sur de nombreux clients coordonnés (par exemple, des botnets), rendant ainsi les défenses statistiques par client inefficaces. De plus, même les approches d'agrégation globale sont vulnérables au mélange de trafic adaptatif, où les attaquants mélangent les sondes malveillantes avec le trafic de fond légitime pour masquer les signatures statistiques.

Méthodologie

Pour démontrer systématiquement l'échec de la SCA et évaluer les scénarios d'attaque distribués, les auteurs ont développé CerberusAI, un cadre modulaire et open-source pour la recherche reproductible sur le vol de modèles.

Le cadre CerberusAI

CerberusAI est conçu pour simuler des scénarios d'attaque distribués complexes alignés sur les architectures de défense logicielle définie (SDD). Ses composants principaux incluent :

Configuration déclarative : Les expériences sont définies via des fichiers YAML, garantissant la reproductibilité en fixant les paramètres pour les modèles cibles, les stratégies d'attaque et les hyperparamètres de défense.
Orchestrateur d'expériences : Utilise un patron de conception "factory" pour instancier les composants, enveloppant le modèle cible dans un proxy DefendedModel qui route les requêtes à travers la logique de défense (par exemple, PRADA) avant d'atteindre le modèle.
Gestionnaire d'attaque distribuée : Simule des structures de type botnet en générant $N$ $N$ identités de clients virtuels. Il implémente des stratégies de planification spécifiques pour contourner les défenses :
1. Planification Round-Robin : Distribue le budget total de requêtes de manière cyclique entre $N$ clients. Cela garantit qu'aucun client ne dépasse l'échantillon minimal ( $N_{min}$ ) requis pour la signification statistique dans la logique de détection.
2. Mélange de trafic adaptatif : Injecte un ratio élevé de trafic bénin dans le flux d'attaque. Cela obfusque la distribution statistique de l'ensemble du trafic, le rendant indiscernable du comportement d'un utilisateur légitime.

Formalisation de l'attaque

Les auteurs formalisent l'attaquant distribué comme un ensemble de clients $C = \{c_1, \dots, c_N\}$ qui partitionnent l'ensemble de requêtes nécessaire $Q$ en sous-ensembles disjoints $Q_{c_i}$ . Si chaque sous-ensemble $|Q_{c_i}|$ reste inférieur au seuil critique $\epsilon$ (la taille d'échantillon minimale pour les tests statistiques), le mécanisme de défense $D$ , qui évalue les clients de manière isolée, échoue à déclencher une alarme.

Principales contributions

Démonstration systématique de la vulnérabilité de la SCA : L'article fournit des preuves empiriques que des stratégies de requêtes distribuées et coordonnées peuvent réduire la performance de détection des défenses établies (spécifiquement PRADA) à zéro.
Analyse des limites de la défense globale : Les auteurs démontrent que même une agrégation de requêtes globale naïve échoue lorsque les attaquants emploient un mélange de trafic adaptatif. Cela entraîne une augmentation massive des faux positifs (FP), rendant la défense opérationnellement inutile (effet de déni de service pour les utilisateurs légitimes).
Introduction de CerberusAI : La publication d'un cadre modulaire et open-source qui permet la simulation de scénarios de MEA distribués et adaptatifs, comblant ainsi le manque d'outils d'évaluation standardisés dans le domaine.

Résultats expérimentaux

Les auteurs ont évalué le mécanisme de défense PRADA en utilisant le jeu de données MNIST et un modèle de réseau neuronal convolutif (CNN) cible. Les expériences ont utilisé la méthode MI-FGSM (Momentum Iterative Fast Gradient Sign Method) pour la génération d'attaques.

Scénario 1 (Référence - Client Unique) : Un attaquant unique contre la défense PRADA standard. Le système a atteint un score F1 de 63,2 % (Précision : 100 %, Rappel : 46,2 %), confirmant que la défense fonctionne comme prévu sous la SCA.
Scénario 2 (Attaque distribuée) : Le budget d'attaque (2 500 requêtes) a été distribué entre 400 clients en utilisant une planification round-robin. Chaque client n'a envoyé qu'environ 6 à 7 requêtes, bien en dessous du seuil $N_{min}=50$ $N_{min} = 50$ .
- Résultat : Le score F1 est tombé à 0,0 %. La défense n'a pas réussi à détecter l'attaque car aucun client individuel n'a déclenché l'analyse statistique.
Scénario 3 (Défense globale) : Une défense modifiée a agrégé les requêtes de l'ensemble des 400 clients.
- Résultat : Le score F1 s'est rétabli à 90,8 % (Précision : 100 %, Rappel : 83,1 %), montrant que l'agrégation globale peut détecter des attaques distribuées simples.
Scénario 4 (Mélange de trafic adaptatif) : L'attaquant a mélangé des requêtes malveillantes avec 99 % de trafic bénin tout en utilisant une distribution round-robin.
- Résultat : Le score F1 s'est effondré à 2,0 %. Bien que le rappel soit resté élevé (99,3 %), la précision a chuté à 1,0 %. Le système a généré un déluge de fausses alarmes, le rendant opérationnellement inutilisable.

Signification et revendications

L'article affirme que la SCA représente une faille de sécurité structurelle dans les doctrines de défense de l'IA actuelles. Les conclusions indiquent que :

La SCA est invalide : En présence d'adversaires coordonnés et dotés de ressources (tels que les APT), les défenses reposant sur l'analyse de clients isolés sont aveugles aux attaques distribuées.
Les défenses statistiques sont fragiles : Les approches purement statistiques (basées sur les intervalles entre les arrivées ou l'appariement de distributions) peuvent être arbitrairement manipulées par la distribution et l'injection de bruit.
Un changement de paradigme est nécessaire : La recherche future doit dépasser la détection d'anomalies centrée sur le client. Les auteurs plaident pour un passage vers des architectures de défense d'état (stateful) et indépendantes de l'identité qui surveillent l'état global du modèle et analysent le contenu sémantique des requêtes (c'est-à-dire : « Quel contenu informationnel ces requêtes extraient-elles ? ») plutôt que de se concentrer uniquement sur leur distribution statistique.

Ce travail soutient les objectifs stratégiques de l'OTAN en fournissant une méthodologie pour une « évaluation informée par la menace » et en soulignant la nécessité d'une sécurité de l'IA résiliente dans les opérations fédérées et multi-domaines. Les auteurs concluent que la protection des composants d'IA dans les infrastructures critiques nécessite de s'éloigner des hypothèses d'attaquants isolés pour passer à des architectures de sécurité pilotées par l'apprentissage, capables de reconnaître les comportements adverses coordonnés.