Fingerprinting Deep Neural Networks for Ownership Protection: An Analytical Approach

1. Problématique

La propriété intellectuelle des modèles de réseaux de neurones profonds (DNN) est menacée par le piratage et la distribution illégale de modèles sous forme de services boîte noire. Les techniques de protection actuelles, comme le filigrane (watermarking), peuvent introduire des vulnérabilités ou altérer les performances. Le fingerprinting (empreinte digitale) non intrusif, basé sur des exemples adverses, est une alternative prometteuse.

Cependant, une limitation fondamentale des approches existantes réside dans la détermination de la distance entre l'empreinte (fingerprint) et la frontière de décision du modèle protégé. Cette distance doit satisfaire deux propriétés contradictoires :

• Robustesse : L'empreinte doit résister aux attaques de modification de modèle (ex: fine-tuning, pruning, distillation) qui déplacent la frontière de décision. Cela nécessite de placer l'empreinte loin de la frontière.
• Unicité : L'empreinte ne doit pas être correctement prédite par des modèles indépendamment entraînés. Cela nécessite de placer l'empreinte près de la frontière spécifique au modèle protégé.

Les travaux antérieurs utilisent des heuristiques empiriques pour choisir cette distance, ce qui peut conduire à des empreintes non robustes ou non uniques. Il n'existait jusqu'alors aucune solution théorique pour déterminer cette distance de manière optimale.

2. Méthodologie : AnaFP

Les auteurs proposent AnaFP, un schéma de fingerprinting analytique qui construit des empreintes sous guidance théorique. Le processus se déroule en quatre étapes principales :

A. Sélection d'Ancres (High-Confidence Anchors)

Le système sélectionne des échantillons de haute confiance (ancres) à partir du jeu de données d'entraînement. Ces échantillons sont caractérisés par une grande marge de logit (différence entre la probabilité de la classe vraie et la classe la plus probable suivante), garantissant que les modèles indépendants les classent correctement avec une forte probabilité.

B. Calcul de Perturbations Minimales

Pour chaque ancre, une perturbation minimale ($\delta^*$) est calculée pour forcer le modèle protégé à changer de prédiction. Ce point perturbé se trouve sur la frontière de décision du modèle protégé. L'attaque C&W ($\ell_2$) est utilisée pour résoudre ce problème d'optimisation.

C. Recherche du Facteur d'Étirement (Stretch Factor) sous Contraintes Théoriques

C'est le cœur de la contribution. Au lieu de placer l'empreinte directement sur la frontière, on l'éloigne en appliquant un facteur d'étirement $\tau > 1$ à la perturbation : $x^* = x_a + \tau \delta^*$.
Les auteurs formalisent mathématiquement les contraintes de robustesse et d'unicité pour dériver un intervalle admissible $[\tau_{lower}, \tau_{upper}]$ :

• $\tau_{lower}$ (Robustesse) : Dépend de la dérive de logit ($\epsilon_{logit}$) causée par les attaques de modification. Il assure que même après modification, le modèle piraté prédit toujours la bonne étiquette.
• $\tau_{upper}$ (Unicité) : Dépend de la marge minimale des modèles indépendants ($m_{min}$) et de leur constante de Lipschitz locale ($L_{uniq}$). Il assure que les modèles indépendants ne prédisent pas la bonne étiquette.

Défis pratiques et solutions :

1. Estimation des paramètres : Les ensembles de modèles piratés et indépendants sont théoriquement infinis. AnaFP utilise des pools de modèles substituts (surrogate pools) finis pour approximer ces ensembles.
2. Relaxation Quantile : Pour éviter des bornes trop conservatrices (qui rendraient l'intervalle vide), une stratégie de relaxation basée sur les quantiles est appliquée aux paramètres estimés (au lieu d'utiliser les valeurs extrêmes).
3. Dépendance circulaire : La borne inférieure $\tau_{lower}$ dépend elle-même de $\tau$ (via le point d'évaluation). Pour résoudre cela, une recherche par grille (grid search) est effectuée dans l'intervalle admissible pour trouver le $\tau$ le plus faisable qui maximise la marge de sécurité par rapport aux deux bornes.

D. Construction et Vérification

Les empreintes finales sont générées en appliquant la perturbation étirée aux ancres. La vérification de propriété consiste à interroger un modèle suspect avec ces empreintes et à calculer le taux de correspondance. Si le taux dépasse un seuil, le modèle est considéré comme piraté.

3. Contributions Clés

• Approche Analytique : Première méthode à formaliser mathématiquement la relation entre la distance à la frontière de décision et les propriétés de robustesse/unicité, fournissant des bornes théoriques pour le facteur d'étirement.
• Stratégie de Relaxation Quantile : Une méthode innovante pour gérer l'incertitude de l'estimation des paramètres sur des ensembles de modèles substituts, équilibrant rigueur théorique et faisabilité pratique.
• Résolution de Dépendance Circulaire : Utilisation d'une recherche par grille pour déterminer le facteur d'étirement optimal malgré la dépendance mutuelle entre la borne inférieure et le facteur lui-même.
• Généralisation : Le schéma est applicable à divers types de modèles (CNN, MLP, GNN) et datasets.

4. Résultats Expérimentaux

Les expériences ont été menées sur des architectures CNN (CIFAR-10/100), MLP (MNIST) et GNN (PROTEINS), comparées à six méthodes de référence (UAP, IPGuard, MarginFinger, etc.).

• Performance Globale : AnaFP atteint systématiquement les meilleurs scores AUC (Area Under Curve), dépassant 0.95 sur la plupart des configurations, contre des scores souvent inférieurs à 0.90 pour les méthodes de base.
• Robustesse aux Attaques : AnaFP démontre une résistance supérieure aux attaques de modification de modèle préservant les performances (Fine-tuning, Knowledge Distillation, Pruning, Adversarial Training, et combinaisons comme Prune-KD). Par exemple, sous l'attaque KD (Knowledge Distillation), AnaFP maintient un AUC de 0.756, surpassant nettement les autres méthodes.
• Analyse de Sensibilité :
  • La méthode est robuste à la taille et à la diversité des pools de modèles substituts (fonctionne bien avec seulement 6 modèles).
  • La performance est stable pour une large gamme de seuils de quantiles, tant qu'ils ne sont ni trop stricts (pas d'empreintes valides) ni trop laxistes (empreintes de mauvaise qualité).
• Efficacité : Bien que la consommation mémoire soit élevée (jusqu'à 40 Go pour les grands modèles) en raison du traitement parallèle des ancres, le temps d'exécution reste gérable et compétitif par rapport aux méthodes basées sur l'entraînement de générateurs.

5. Signification et Impact

AnaFP comble un vide théorique majeur dans le domaine de la protection de la propriété intellectuelle des DNN. En passant d'une approche heuristique à une approche analytique, elle offre des garanties formelles sur la fiabilité des empreintes.

• Fiabilité : Elle réduit les faux positifs (accuser à tort des modèles indépendants) et les faux négatifs (ne pas détecter les modèles piratés modifiés).
• Adaptabilité : Sa capacité à fonctionner sur des données non-euclidiennes (Graph Neural Networks) élargit son applicabilité au-delà de la vision par ordinateur.
• Praticabilité : Malgré la complexité théorique, l'utilisation de pools de substituts et de stratégies de relaxation rend le système déployable dans des scénarios réels.

En conclusion, AnaFP représente une avancée significative vers des mécanismes de vérification de propriété d'IA plus robustes, théoriquement fondés et capables de résister aux techniques d'obfuscation sophistiquées utilisées par les pirates.