💬 NLP

Reading Between the Lines: Towards Reliable Black-box LLM Fingerprinting via Zeroth-order Gradient Estimation

Cet article introduit ZeroPrint, une nouvelle méthode de fingerprinting de LLM en boîte noire qui exploite l'estimation de gradient d'ordre zéro via des substitutions de mots préservant le sens afin d'extraire des signatures de modèles plus informatives et robustes que les techniques existantes basées sur la sortie.

Auteurs originaux : Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Publié 2026-01-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Voler des géants numériques

Imaginez les modèles de langage (LLM) comme de vastes bibliothèques personnalisées. En construire une coûte des millions de dollars et demande des années de travail. Parce qu'elles sont si précieuses, des acteurs malveillants pourraient tenter de les voler. Ils pourraient prendre une bibliothèque, la copier et la vendre comme étant la leur sans payer le constructeur original.

Pour empêcher cela, nous avons besoin d'un moyen de prouver : « Cette bibliothèque m'appartient ». C'est ce qu'on appelle l'empreinte numérique (fingerprinting).

L'ancienne méthode vs la nouvelle idée

Il existe deux façons de vérifier si une bibliothèque est une copie :

La méthode « White-Box » (L'initié) : Vous pouvez entrer dans la bibliothèque, regarder les plans, l'agencement exact des livres et l'encre spécifique utilisée sur les pages. Il est facile de prouver la propriété, mais dans le monde réel, les propriétaires de bibliothèques laissent rarement des inconnus entrer à l'intérieur.
La méthode « Black-Box » (L'extériorité) : Vous ne pouvez que poser des questions à la bibliothèque depuis l'extérieur et lire les réponses qu'elle vous donne. Vous ne pouvez pas voir l'intérieur.
- Le problème : Les méthodes existantes de type « Black-Box » sont comme essayer d'identifier une personne en entendant seulement sa voix. Si elle chuchote ou change de ton, il est difficile de savoir qui elle est. La « voix » (la sortie du modèle) perd trop de détails sur le « cerveau » (les paramètres internes du modèle) à cause des filtres complexes que le modèle utilise pour parler.

Le moment « Eurêka ! » : Écouter le changement, pas seulement la réponse

Les auteurs de cet article ont posé une question intelligente : « Y a-t-il autre chose que nous pouvons observer de l'extérieur qui nous en dit plus sur le cerveau que la voix elle-même ? »

Ils ont utilisé un concept mathématique appelé la Théorie de l'Information de Fisher pour prouver un fait surprenant :

La Sortie (La Réponse) : Si vous demandez à un modèle « Combien font 2+2 ? » et qu'il répond « 4 », cette réponse est très générique. Elle ne vous apprend pas grand-chose sur la façon dont le modèle réfléchit.
Le Gradient (La Réaction) : Si vous demandez « Combien font 2+2 ? » puis que vous modifiez légèrement la question en « Combien font 2+2,001 ? », comment la réponse change-t-elle ?

L'analogie : Imaginez que vous essayez d'identifier un type spécifique d'élastique.

Observer l'élastique statique (Sortie) : Vous voyez qu'il est rouge et mesure 5 pouces de long. Beaucoup d'élastiques ressemblent à cela.
Tirer sur l'élastique (Gradient) : Vous tirez légèrement dessus. Est-ce qu'il s'étire facilement ? Est-ce qu'il revient instantanément en place ? Est-ce qu'il semble rigide ? La façon dont il réagit à la traction est unique à cet élastique spécifique, même si deux élastiques semblent identiques lorsqu'ils sont immobiles.

L'article prouve mathématiquement qu'observer comment le modèle réagit à de petits changements (le gradient) révèle beaucoup plus sur son « cerveau » unique que de simplement écouter sa réponse finale.

La solution : ZeroPrint

Le défi est qu'en scénario « Black-Box », vous ne pouvez pas réellement voir les mathématiques à l'intérieur du modèle pour calculer ces réactions. Vous ne pouvez voir que du texte.

ZeroPrint est une astuce ingénieuse pour contourner cela. Voici comment cela fonctionne, étape par étape :

L'astuce du « Changement de mot » : Puisque vous ne pouvez pas ajouter de minuscule « bruit » mathématique à une phrase (vous ne pouvez pas ajouter 0,001 à un mot), ZeroPrint utilise la substitution sémantique de mots.
- Exemple : Au lieu de demander « Un oiseau peut-il voler ? », il demande « Un oiseau peut-il planer ? » ou « Un oiseau peut-il voler ? ».
- Ce sont des changements infimes, qui préservent le sens. Pour un humain, c'est la même chose. Pour les mathématiques internes du modèle, ce sont des entrées légèrement différentes.
Le calcul de l'« Ombre » :
- Le système pose la question originale et les questions « modifiées ».
- Il enregistre les réponses.
- Il utilise ensuite une technique mathématique appelée Estimation du zéro-ordre (Zeroth-order Estimation). Considérez cela comme un détective qui ne peut pas voir les empreintes digitales du suspect, mais qui peut déduire le motif de ses pas en regardant comment la boue se déplace lorsqu'il fait un pas.
- En comparant les infimes différences dans l'entrée (les changements de mots) avec les infimes différences dans la sortie, ZeroPrint construit une Matrice Jacobienne.
L'Empreinte : Cette Matrice Jacobienne est la « signature de réaction » unique du modèle. C'est comme un test ADN numérique qui prouve : « Ce modèle réagit aux changements de mots exactement de la même manière que le modèle original que je possède ».

Les résultats : Un nouveau standard d'excellence

Les auteurs ont testé ZeroPrint contre d'autres méthodes en utilisant un benchmark standard (LeaFBench).

Performance : ZeroPrint était la meilleure méthode « Black-Box » testée. Il était nettement meilleur pour repérer les copies que les méthodes précédentes qui se contentaient de comparer les réponses.
Robustesse : Même si le voleur tentait de déguiser le modèle en changeant les instructions système (system prompts) ou en ajoutant du bruit aux réponses, ZeroPrint pouvait toujours reconnaître la « signature de réaction » originale.
Vitesse : Il est suffisamment rapide pour être pratique pour une utilisation réelle, ne prenant que quelques minutes pour vérifier un modèle.

Résumé

En bref, ZeroPrint résout le problème du vol de modèles d'IA en réalisant que la façon dont un modèle change d'avis est plus unique que ce qu'il dit. En utilisant des changements de mots ingénieux pour « piquer » le modèle de l'extérieur et en mesurant sa réaction, ZeroPrint crée une empreinte fiable qui prouve la propriété sans jamais avoir besoin de voir le code secret du modèle.

Résumé Technique : Lire entre les lignes : Vers une empreinte digitale fiable des LLM en boîte noire via l'estimation de gradient d'ordre zéro

Énoncé du problème

Le développement des modèles de langage de grande taille (LLM) nécessite des investissements substantiels, ce qui en fait une propriété intellectuelle précieuse. Cependant, le risque de violation du droit d'auteur par copie non autorisée ou vol de modèle est significatif. Bien que l'empreinte digitale des LLM (LLM fingerprinting) soit apparue comme une technique pour vérifier l'origine d'un modèle en extrayant des signatures uniques, un écart de performance critique existe entre les méthodes en boîte blanche (white-box) et en boîte noire (black-box).

Les méthodes en boîte blanche (accès aux paramètres internes) atteignent une performance d'audit quasi parfaite car les poids statiques servent d'identifiants uniques.
Les méthodes en boîte noire (accès via API uniquement) reposent sur la comparaison des sorties du modèle. Les auteurs soutiennent que ces méthodes sont inefficaces car l'utilisation intensive de fonctions d'activation non linéaires (ex: GELU, SiLU) dans les architectures de LLM compresse progressivement l'information des paramètres, entraînant une perte d'information significative dans la sortie finale.

La question de recherche centrale est la suivante : Existe-t-il une caractéristique accessible dans des conditions de boîte noire qui préserve plus d'informations sur les paramètres du modèle que la sortie elle-même ?

Méthodologie : ZeroPrint

La solution proposée, ZeroPrint, est un nouveau cadre d'empreinte digitale en boîte noire qui approxime le gradient du modèle (spécifiquement la matrice jacobienne) comme une empreinte, plutôt que de s'appuyer sur les sorties brutes. La méthodologie est fondée sur la théorie de l'information de Fisher et implémentée via une estimation de gradient d'ordre zéro.

1. Fondement théorique

Les auteurs analysent formellement le contenu informationnel des sorties du modèle ( $Y$ ) par rapport au gradient de la sortie par rapport à l'entrée ($D = dY/dX$).

Le goulot d'étranglement de la non-linéarité : Dans une unité neuronale standard $Y = f(WX + K)$, observer $Y$ nécessite de faire passer le paramètre $W$ à travers une fonction non linéaire $f$ , ce qui peut compresser l'information de manière irréversible.
L'avantage du gradient : Observer le gradient $D = Wf'(WX+K)$ permet d'observer le paramètre $W$ de manière plus directe (mise à l'échelle par la dérivée).
Théorème 1 : En utilisant l'information de Fisher, les auteurs prouvent que pour des fonctions non linéaires, l'information de Fisher du gradient $D$ par rapport aux paramètres $W$ est strictement supérieure à celle de la sortie $Y$ . Cela établit le gradient comme une caractéristique théoriquement supérieure pour l'empreinte digitale.

2. Cadre ZeroPrint

Puisque les gradients ne sont pas directement accessibles dans un contexte de boîte noire, ZeroPrint approxime ces derniers en utilisant une estimation d'ordre zéro adaptée au texte discret. Le processus comprend trois étapes :

Étape 1 : Construction de l'ensemble de requêtes
- Requêtes de base : Le système sélectionne $n$ requêtes de base conçues pour la stabilité. Les auteurs utilisent une tâche de complétion de code (ex: "Complétez le code suivant : [extrait]") car la structure du code suscite des réponses plus cohérentes à travers divers modèles par rapport au texte ouvert ou aux tâches de questions-réponses (QA).
- Requêtes perturbées : Pour chaque requête de base, $m$ variations sémantiquement similaires sont générées par substitution de mots. Un modèle d'embedding de mots pré-entraîné (ex: GloVe) identifie des mots sémantiquement similaires pour remplacer des jetons spécifiques dans la requête de base, créant ainsi des entrées "perturbées" qui préservent le sens mais altèrent légèrement le vecteur d'entrée.
Étape 2 : Génération de l'empreinte digitale (Estimation d'ordre zéro)
- Les requêtes de base et leurs contreparties perturbées sont soumises au LLM cible. Pour atténuer la stochasticité de la sortie, chaque requête est répétée $t$ fois, et les réponses textuelles résultantes sont moyennées.
- Embedding : Toutes les entrées et les sorties moyennées sont converties en vecteurs continus à l'aide d'un modèle d'embedding de phrases (ex: all-mpnet-base-v2).
- Estimation de la Jacobienne : Le système calcule les vecteurs de différence entre les entrées perturbées et les entrées de base ( $\Delta x$ ) et leurs correspondances d'embeddings de sortie ( $\Delta y$ ).
- Régression : Une matrice jacobienne locale $J$ est estimée pour chaque requête de base en résolvant un problème de régression linéaire ( $\Delta y \approx J \Delta x$ ) en utilisant une régression Ridge pour gérer les systèmes sous-déterminés. L'empreinte digitale finale est la moyenne élément par élément de ces matrices jacobiennes à travers toutes les requêtes de base.
Étape 3 : Comparaison de l'empreinte digitale
- La similitude entre l'empreinte digitale du modèle source ( $J_o$ ) et celle du modèle suspect ( $J_s$ ) est calculée à l'aide du coefficient de corrélation de Pearson. Un score de similitude élevé indique que le modèle suspect est probablement un dérivé du modèle source.

Contributions clés

Insight théorique : L'article fournit une preuve formelle basée sur la théorie de l'information de Fisher démontrant que les gradients des modèles contiennent plus d'informations sur les paramètres du modèle que les sorties des modèles, remettant en question la dépendance aux caractéristiques de sortie uniquement dans le fingerprinting en boîte noire.
Algorithme ZeroPrint : Les auteurs introduisent une méthode pour estimer ces gradients riches en informations dans un domaine de texte discret. Cela est réalisé en simulant des perturbations continues via des substitutions de mots préservant la sémantique et en appliant des principes d'optimisation d'ordre zéro.
Validation empirique : Des expériences approfondies sur LeaFBench (un benchmark comprenant 149 instances de modèles) démontrent que ZeroPrint atteint des performances de pointe (SOTA) parmi les méthodes en boîte noire, surpassant nettement les approches non ciblées et ciblées existantes.

Résultats expérimentaux

Évalué sur le benchmark LeaFBench avec une limite stricte de 200 requêtes par modèle :

Performance : ZeroPrint a atteint un AUC de 0,720 et un pAUC de 0,683, surpassant les bases de référence en boîte noire existantes (ex: LLMmap, MET, SEF, TRAP).
Comparaison avec la boîte blanche : Bien que ZeroPrint surpasse toutes les bases de référence en boîte noire, il reste en dessous de la performance de la méthode en boîte blanche REEF (AUC 0,896), qui a un accès direct aux composants internes du modèle.
Études d'ablation :
- Requêtes perturbées ( $m$ ) : La performance s'améliore significativement à mesure que le nombre de requêtes perturbées augmente, culminant à $m=14$ .
- Répétitions ( $t$ ) : L'augmentation du nombre de répétitions par requête stabilise l'embedding de sortie, la performance plafonnant autour de $t=20$ .
- Type de requête : Les requêtes de complétion de code (HumanEval) ont donné des résultats supérieurs aux tâches de QA ou de complétion de texte général, en raison de la nature structurée du code qui suscite un comportement de modèle plus uniforme.
- Dimension de l'embedding : Il existe un compromis ; des dimensions plus larges capturent plus de sémantique mais nécessitent plus de requêtes pour estimer précisément la matrice jacobienne plus large.
Robustesse : ZeroPrint a démontré sa résilience face aux attaques de paraphrase d'entrée (utilisation de LLM plus petits pour réécrire les requêtes) et aux attaques de perturbation de sortie (ajout de bruit gaussien), maintenant des scores de similitude élevés.
Efficacité : La méthode nécessite environ 425 secondes par modèle, ce qui est pratiquement réalisable et plus rapide que plusieurs bases de référence en boîte noire comme MET et SEF.

Signification et affirmations

L'article affirme que ZeroPrint représente une étape importante vers des mécanismes fiables et sécurisés pour l'audit du droit d'auteur des LLM. En déplaçant l'attention des sorties du modèle vers les gradients estimés, la méthode surmonte la perte d'information inhérente aux architectures de LLM non linéaires. Les auteurs positionnent ZeroPrint comme une solution pratique et non invasive qui ne nécessite pas de réglage fin (fine-tuning) du modèle et peut être appliquée à des modèles déjà déployés, répondant à une lacune critique dans la protection de la propriété intellectuelle dans l'écosystème de l'IA. Le travail suggère que les caractéristiques basées sur le gradient sont la clé pour combler l'écart de performance entre le fingerprinting en boîte blanche et en boîte noire.