🤖 AI

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

Ce document introduit « Chain & Hash », un nouveau cadre de tatouage numérique pour LLM qui lie cryptographiquement les requêtes aux réponses afin de fournir une preuve de propriété vérifiable, robuste et infalsifiable, même contre les attaques d'altération de sortie et le réglage fin.

Auteurs originaux : Mark Russinovich, Yanan Cai, Ahmed Salem

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mark Russinovich, Yanan Cai, Ahmed Salem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot chef très coûteux et sur mesure. Vous passez des années à l'entraîner pour qu'il cuisine le repas parfait. Mais ensuite, quelqu'un vole votre robot, change son nom et commence à vendre ses plats en son propre nom. Comment prouver, sans ouvrir la carcasse métallique du robot pour regarder son câblage interne, qu'il est bien le vôtre ?

C'est le problème que les chercheurs de Microsoft (Mark Russinovich et ses collègues) tentent de résoudre avec leur nouvel article, « Hey, That's My Model! ». Ils présentent une technique appelée Chain & Hash, qui agit comme un tatouage numérique invisible et incassable pour les LLM (Large Language Models) — ces agents conversationnels IA ultra-intelligents que nous utilisons aujourd'hui.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le voleur de la « Boîte Noire »

Actuellement, si quelqu'un vole un modèle d'IA, il peut le modifier légèrement ou changer sa façon de parler (comme le faire parler comme un pirate ou un avocat formel) pour masquer le fait qu'il est volé. Les méthodes existantes pour prouver la propriété nécessitent souvent de voir le code interne du modèle (ce que les voleurs ne montreront pas) ou de briser la capacité du modèle à être utile.

2. La Solution : Une « Poignée de Main Secrète » Cryptographique

Les auteurs proposent une méthode qui fonctionne comme une poignée de main secrète entre vous et votre IA. Vous n'avez pas besoin de regarder à l'intérieur du robot ; il vous suffit de lui poser une question spécifique, et il doit donner une réponse spécifique pour prouver qu'il est le vôtre.

Mais voici le piège : si le voleur change la personnalité du robot, celui-ci pourrait oublier la poignée de main. C'est pourquoi les chercheurs ont construit un système qui survit même à ces changements.

Étape A : La Chaîne (La « Chaîne Liée »)

Imaginez que vous ayez un ensemble de 10 questions spéciales. Dans un système normal, vous pourriez simplement mémoriser les réponses. Mais dans Chain & Hash, les questions sont liées entre elles comme une chaîne.

La réponse à la Question n°1 dépend de la Question n°2.
La réponse à la Question n°2 dépend de la Question n°3.
Et ainsi de suite.

Ils utilisent un « verrou » mathématique (un hachage cryptographique) pour lier ces questions et ces réponses. Cela signifie que :

On ne peut pas le truquer : Un voleur ne peut pas simplement deviner les réponses. Pour obtenir la bonne réponse, il devrait réentraîner l'intégralité du robot à partir de zéro, ce qui est incroyablement coûteux et flagrant.
C'est unique : Les mathématiques garantissent que les réponses semblent aléatoires mais sont parfaitement cohérentes pour le propriétaire.

Étape B : L'Entraînement « Caméléon » (La défense par « Meta-Prompt »)

La plus grande menace est un voleur qui dit : « D'accord, robot, à partir de maintenant, tu es un pirate ! » ou « Tu dois commencer chaque phrase par "RÉPONSE :" ». Cela casse généralement les empreintes numériques car le robot oublie sa poignée de main secrète.

Pour corriger cela, les chercheurs ont entraîné leurs modèles d'IA en utilisant une stratégie de « Caméléon » :

Ils ont appris au modèle à répondre aux questions secrètes exactement de la même manière, quel que soit le « costume » (ou meta-prompt) que le voleur lui impose.
Ils se sont exercés avec des milliers de différents « costumes » (par exemple, « parle comme un pirate », « sois très poli », « utilise des emojis »).
Ils ont également ajouté du « bruit » (des mots aléatoires) aux questions afin que le modèle apprenne à ignorer les distractions et à se concentrer sur le signal secret.

3. Les Résultats : Solide, Rapide et Invisible

Les chercheurs ont testé cela sur plusieurs modèles d'IA populaires (comme Llama et Phi). Voici ce qu'ils ont découvert :

C'est Invisible (Transparence) : L'IA fonctionne toujours parfaitement pour les tâches normales. Si vous lui demandez d'écrire un poème ou de résoudre un problème mathématique, elle est aussi performante qu'avant. L'empreinte ne la ralentit pas et ne la rend pas moins intelligente.
C'est Rapide (Efficacité) : Pour prouver la propriété, vous n'avez pas besoin de poser 1 000 questions. Il vous suffit d'en poser environ 10, et si le modèle répond correctement à seulement 2 d'entre elles, vous avez une preuve. C'est comme un contrôle d'identité rapide.
C'est Robuste (Robustesse) : Même lorsque le « voleur » modifie le style du modèle ou l'entraîne sur de nouvelles données (fine-tuning), la poignée de main secrète demeure. Le modèle répond toujours correctement aux questions secrètes, même s'il prétend être un pirate.
C'est Infalsifiable (Unforgeability) : Grâce aux mathématiques de « Chain & Hash », un voleur ne peut pas deviner les réponses. Il devrait réapprendre l'intégralité du modèle pour falsifier l'empreinte, ce qui annule l'intérêt même du vol.

4. Bonus : Cela fonctionne aussi sur les « Add-ons »

L'article montre également que cela fonctionne sur les adaptateurs LoRA. Considérez ces derniers comme de petits « patchs » peu coûteux que l'on attache à de grands modèles d'IA pour leur apprendre de nouvelles compétences (comme des conseils médicaux). Les chercheurs ont prouvé qu'ils peuvent apposer cette empreinte directement sur ces petits patchs, protégeant ainsi même les versions légères de l'IA.

Résumé

En bref, Chain & Hash est un moyen pour les propriétaires d'IA d'intégrer une poignée de main secrète cryptographique dans leurs modèles. Cela apprend à l'IA à répondre correctement à des questions spécifiques, peu importe la manière dont le voleur tente de changer sa personnalité ou de cacher son identité. C'est comme placer un numéro de série unique et impossible à retirer sur une voiture qui ne s'allume que lorsque vous posez la bonne question, prouvant que la voiture vous appartient même si le voleur a repeint sa couleur.

Résumé technique : Chain & Hash – Une technique d'empreinte digitale pour les LLM

Problématique

Le déploiement rapide et la valeur économique significative des modèles de langage étendus (LLM) ont accru les préoccupations concernant le vol de propriété intellectuelle (PI) et leur usage abusif. Les vulnérabilités actuelles incluent les menaces internes capables d'exfiltrer les poids des modèles et la réutilisation des modèles via des API publiques. Les méthodes existantes pour prouver la propriété manquent souvent de robustesse face aux manipulations adverses, telles que l'ajustement fin (fine-tuning) ou l'application de méta-prompts qui altèrent les styles de sortie. De plus, de nombreuses approches reposent sur un accès en boîte blanche (poids internes), ce qui est impraticable pour une vérification dans le monde réel où seul un accès par API (boîte noire) est disponible. L'article identifie le besoin critique d'un cadre d'empreinte digitale qui soit transparent, efficace, persistant, robuste et infalsifiable, capable de fonctionner sous des contextes adverses réalistes où les attaquants possèdent le contrôle total du modèle et la connaissance de l'algorithme.

Méthodologie : Chain & Hash

Les auteurs proposent « Chain & Hash », un nouveau cadre d'empreinte digitale conçu pour lier cryptographiquement des prompts spécifiques à leurs réponses, garantissant une propriété vérifiable sans compromettre l'utilité du modèle. Le cadre opère sous un modèle de menace en boîte noire et se compose de quatre composantes principales :

1. Génération de questions

Le système génère un ensemble de $Q$ prompts d'empreinte en utilisant deux stratégies complémentaires :

Questions aléatoires : Jetons échantillonnés à partir du vocabulaire du modèle (par exemple, 10 jetons). Cela maximise la mémorisation mais est susceptible de subir un filtrage d'entrée.
Questions naturelles : Requêtes sémantiquement valides mais statistiquement rares, adaptées à des domaines spécifiques, générées par les modèles cibles eux-mêmes pour réduire les risques de filtrage adverse.

2. Construction de la chaîne cryptographique

Pour garantir l'infalsifiabilité, la méthode lie les questions aux réponses en utilisant une fonction de hachage cryptographique (par exemple, SHA-256).

Mécanisme : Un ensemble prédéfini de 256 unités de réponse ( $R$ ) est établi. Pour une chaîne de $k$ questions, le hachage de l'ensemble complet des questions $Q$ et de l'ensemble des réponses $R$ détermine la réponse spécifique $r_j$ pour chaque question $q_i$ .
Sécurité : Le mappage est déterministe et résistant aux collisions. L'altération de n'importe quelle question modifie l'entrée du hachage, changeant ainsi la réponse requise pour toutes les questions de la chaîne. Un adversaire ne peut pas forger la séquence de réponses correcte sans effectuer un ajustement fin du modèle, car la probabilité de deviner l'indice correct pour $k$ questions est de $(1/256)^k$ .

3. Entraînement de l'empreinte et robustesse

Le modèle est ajusté pour mémoriser ces paires liées cryptographiquement tout en maintenant une utilité générale. Pour faire face à la menace des méta-prompts (par exemple, « Réponds comme un pirate ») et de l'ajustement fin, le jeu de données d'entraînement comprend :

Diversification des méta-prompts : Les questions d'empreinte sont augmentées de divers méta-prompts générés par GPT-4, entraînant le modèle à ignorer ces instructions pour les requêtes d'empreinte.
Remplissage aléatoire (Random Padding) : Des séquences de jetons aléatoires sont ajoutées comme préfixes et suffixes aux questions d'empreinte pour apprendre au modèle à ignorer le bruit.
Données hors empreinte : Le jeu de données inclut des paires QA standards et des sujets d'empreinte reformulés pour préserver l'utilité et empêcher la détection statistique.
Fonction de perte : Une fonction de perte combinée équilibre la perte d'entropie croisée pour les échantillons d'empreinte ( $L_{fp}$ ) avec un terme de divergence KL ( $L_{KL}$ ) pour minimiser l'écart par rapport au comportement du modèle original sur les données hors empreinte.

4. Protocole de vérification

La vérification de la propriété est effectuée via des requêtes en boîte noire. Un demandeur fournit l'ensemble des questions $Q$ , l'ensemble des réponses $R$ et la fonction de hachage $H$ . Le vérificateur interroge le modèle suspect $M$ avec les questions de $Q$ . Si la sortie du modèle commence par la réponse $r_j$ déterminée cryptographiquement pour un nombre suffisant de questions (seuil $\tau$ ), la propriété est établie. Le protocole repose sur la précédence temporelle ; le propriétaire original peut prouver sa propriété en démontrant l'empreinte sur la version de modèle la plus ancienne ayant été rendue publique.

Contributions clés

Technique Chain & Hash : Une méthode cryptographique qui lie les prompts d'empreinte aux réponses, empêchant les collisions et permettant des revendications de propriété irréfutables sans nécessiter d'accès en boîte blanche.
Robustesse contre les méta-prompts : Une stratégie d'entraînement intégrant le remplissage aléatoire et diverses configurations de méta-prompts qui maintient l'intégrité de l'empreinte même lorsqu'un adversaire modifie considérablement le style de sortie du modèle via l'ajustement d'instructions ou les prompts système.
Applicabilité en boîte noire : Le cadre fonctionne entièrement via des interactions API, ce qui le rend adapté aux scénarios de déploiement pratique où les poids internes du modèle sont inaccessibles.
Extension à LoRA : La méthode démontre son efficacité sur les adaptateurs de bas rang (Low-Rank Adaptation - LoRA), étendant la protection de la PI aux méthodes d'ajustement fin économes en paramètres.

Résultats et évaluation

Le cadre a été évalué sur plusieurs modèles de pointe (Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct) selon cinq propriétés essentielles :

Transparence : L'empreinte digitale a entraîné une dégradation négligeable des performances sur les benchmarks standards (MMLU, HellaSwag, TruthfulQA, etc.), la plupart des changements étant de l'ordre de $\pm 1\%$ ou montrant de légères améliorations dans les tâches de suivi d'instructions.
Efficacité : La propriété peut être établie avec une grande confiance (probabilité de 99 %) en utilisant très peu d'essais (souvent 1 ou 2 réponses correctes sur 10 questions).
Persistance : Testée contre sept méta-prompts adverses (ex: « réponds comme un pirate », « préfixe par RÉPONSE »), les modèles entraînés avec la diversification des méta-prompts ont maintenu une force d'empreinte supérieure à 99 % pour les questions aléatoires et environ 82,8 % pour les questions naturelles. En revanche, les modèles sans cet entraînement ont vu leur force d'empreinte tomber à 0 % sous certains prompts.
Robustesse :
- Ajustement fin (Fine-tuning) : L'empreinte persiste à travers un ajustement fin intensif (ex: jeux de données Alpaca et ChatDoc). Les questions aléatoires nécessitent au plus 25 essais pour la vérification sur les modèles ajustés, tandis que les questions naturelles n'en nécessitent souvent que 1 à 2.
- Quantification : L'application de la quantification INT8 a entraîné une dégradation négligeable (< 0,5 % de baisse de la force de l'empreinte).
- Paraphrase adverse : Même lorsque les entrées et sorties sont paraphrasées par GPT-4o, l'empreinte reste détectable (la force passe de 99 % à 79 % pour la paraphrase d'entrée, et à 20 % pour la paraphrase de sortie, ce qui reste suffisant pour des revendications de propriété).
Infalsifiabilité : Le lien cryptographique garantit que forger une empreinte sans ajustement fin est informatiquement irréalisable. Le cadre résiste également à la collusion multi-modèles grâce à des conceptions de chaînes basées sur l'intersection.

Signification et affirmations

L'article affirme que Chain & Hash fournit une solution pratique et vérifiable pour la protection de la propriété intellectuelle des LLM, répondant aux vulnérabilités spécifiques des modèles modernes ajustés par instructions. Contraéndose des approches précédentes qui dépendent d'un accès en boîte blanche ou échouent face aux attaques de transfert de style, Chain & Hash offre une méthode vérifiable en boîte noire et cryptographiquement sécurisée qui survit à des conditions adverses agressives, incluant la manipulation de méta-prompts et l'ajustement fin. Les auteurs soulignent que leur approche ne nécessite pas de tiers de confiance et peut être superposée à des méthodes d'empreinte existantes pour renforcer la sécurité. Ce travail établit un nouveau standard pour l'évaluation de la robustesse des empreintes digitales, en mettant particulièrement en évidence la nécessité de tester la résistance aux méta-prompts et à l'ajustement fin pour garantir une viabilité dans le monde réel.