💻 computer science

LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

LineageMark est un cadre de tatouage numérique en boîte blanche multi-utilisateurs qui permet un traçage robuste des contributions dans les chaînes de dérivation de grands modèles de langage en encodant les tatouages sous forme de statistiques de projection sur des paramètres stables, assurant ainsi la persistance et l'intégrité à travers les mises à jour incrémentielles, le réglage fin et d'autres perturbations de modèles.

Auteurs originaux : Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme un immense chantier de construction à ciel ouvert. Sur ce chantier, un « Modèle de Base » est comme la structure d'un gratte-ciel préconstruit. Au lieu d'un seul architecte achevant l'édifice, des dizaines d'équipes différentes (les contributeurs) se relaient pour ajouter des étages, peindre les murs et installer de nouveaux systèmes. Chaque équipe modifie le bâtiment pour répondre à ses besoins spécifiques, créant ainsi une longue « chaîne » de modèles dérivés.

Le problème ? À mesure que le bâtiment change de mains et subit des rénovations, il devient difficile de prouver qui a fait quoi. L'équipe A a-t-elle construit les fondations ? L'équipe B a-t-elle installé les ascenseurs ? Si le bâtiment est vendu ou utilisé plus tard, comment savoir quelle équipe mérite crédit (ou paiement) pour sa contribution spécifique ?

C'est ce problème que LineageMark résout. Il s'agit d'un nouveau système de « marquage numérique » qui permet à plusieurs équipes d'apposer leur signature unique sur un modèle, même lorsque ce dernier est constamment rénové par d'autres.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Encre qui s'efface et signatures qui s'entrechoquent

Les méthodes de tatouage numérique existantes sont comme écrire un nom au crayon sur la page unique d'un carnet.

Le problème de l'effacement : Si vous passez le carnet à quelqu'un d'autre qui efface des parties de la page pour écrire ses propres notes, votre nom peut s'estomper ou disparaître entièrement.
Le problème du conflit : Si deux personnes essaient d'écrire sur la même page en même temps, leurs encres peuvent se mélanger, rendant la lecture de l'une ou l'autre signature impossible.

Dans le monde de l'IA, lorsqu'une nouvelle équipe affine un modèle (met à jour son « cerveau »), elle efface ou brouille accidentellement les signatures numériques laissées par les équipes précédentes.

2. La Solution : La fondation de « Pierre Stable »

LineageMark change de stratégie. Au lieu d'écrire sur une page unique, le système grave des signatures dans les pierres de fondation du bâtiment.

Trouver les pierres stables : Avant la gravure, le système analyse le modèle pour trouver des parties spécifiques de son « cerveau » (paramètres) qui sont très stables. Ce sont comme les pierres lourdes porteuses de charge qui ne bougent pas, même lorsque le bâtiment est rénové. Le système ignore les parties fragiles et changeantes du modèle.
La méthode de gravure (Projection) : Au lieu de creuser un trou profond et évident (ce qui briserait la pierre), le système effectue des ajustements subtils et minuscules sur un groupe de ces pierres stables. C'est comme disposer un groupe de cailloux de sorte que, si on les regarde sous un angle spécifique, ils forment un « X » ou un « O » caché.
- La clé : Chaque équipe possède une « lampe de poche » secrète (une clé privée). Lorsqu'ils éclairent les cailloux sous le bon angle avec leur lampe, ils peuvent voir leur forme cachée. Sans la lampe, les cailloux ressemblent simplement à un tas de pierres normal.

3. Comment il gère plusieurs équipes

C'est ici que LineageMark excelle. Imaginez une longue chaîne de rénovations :

L'équipe A grave sa signature dans les pierres stables.
L'équipe B arrive, rénove le bâtiment et grave sa signature.
L'équipe C fait de même.

Parce que LineageMark utilise un système de « vote » :

Même si la rénovation de l'équipe B déplace légèrement certains des cailloux touchés par l'équipe A, il reste tellement d'autres cailloux dans le groupe que la forme globale de la signature de l'équipe A reste visible.
La signature de l'équipe B est gravée de manière à ne pas entrer en conflit avec celle de l'équipe A ; c'est comme graver sur un autre ensemble de pierres ou utiliser un angle différent qui ne perturbe pas le premier motif.
Le résultat : À la fin de la chaîne, l'équipe A peut allumer sa lampe et toujours voir son « X », et l'équipe B peut allumer la sienne et voir son « O ». Ils n'ont pas besoin de se parler ni de voir le plan original ; ils ont juste besoin de leur propre clé secrète.

4. Tester la durabilité

Les chercheurs ont testé ce système en simulant un chantier de construction chaotique :

Rénovations (Fine-tuning) : Ils ont continuellement mis à jour le modèle avec de nouvelles données. Les tatouages numériques sont restés visibles 100 % du temps, même après de nombreuses phases de mise à jour.
Compression (Quantification) : Ils ont compressé le modèle pour le rendre plus petit (comme on compresse un fichier). Les tatouages ont survécu, même lorsque la taille du fichier a été réduite de moitié.
Élagage (Pruning) : Ils ont supprimé des parties du modèle (comme en coupant un mur). Les tatouages ont survécu, à moins qu'ils ne coupent trop de parties du bâtiment.
Fausses clés : Ils ont tenté de tromper le système avec de fausses clés. Le système a correctement répondu : « Non, ce n'est pas votre signature », alors que les anciennes méthodes auraient parfois pu se tromper et dire « Oui » à la mauvaise personne.

5. Le compromis

L'article note un petit coût : pour trouver ces « pierres stables » (les meilleurs endroits pour graver), le système doit effectuer des calculs mathématiques lourds au préalable. C'est comme un géomètre passant beaucoup de temps à cartographier les fondations avant la pose de la première brique. Cependant, une fois la carte établie, l'ajout ou la vérification des signatures est très rapide.

Résumé

LineageMark est un moyen de protéger la propriété intellectuelle de tous ceux qui participent à la construction d'une IA. Il garantit que même dans un environnement encombré et en constante évolution où de nombreuses personnes modifient le même modèle, la signature numérique unique de chaque contributeur reste visible, vérifiable et distincte des autres. Il transforme un chantier chaotique en un bâtiment doté d'un registre clair et permanent de qui a construit quoi.

Résumé Technique : LineageMark

Énoncé du Problème

Dans les écosystèmes de modèles de langage de grande taille (LLM) ouverts, les modèles subissent fréquemment des chaînes de dérivation à plusieurs étapes où différents contributeurs adaptent un modèle de base pour des tâches, des domaines ou des applications spécifiques. Cela crée des structures de lignée complexes où un modèle dérivé final contient les contributions de plusieurs étapes historiques. Les méthodes de tatouage numérique actuelles font face à deux limitations critiques dans ce contexte :

Dégradation de la lignée (Lineage Decay) : Les tatouages numériques historiques intégrés par les premiers contributeurs s'estompent ou deviennent impossibles à extraire en raison de la dérive des paramètres causée par le réglage fin (fine-tuning) ultérieur à l'ensemble des paramètres et les mises à jour du modèle.
Interférence multi-utilisateurs : Lorsque de nouveaux contributeurs tentent d'insérer leurs propres tatouages dans un modèle déjà tatoué, les méthodes existantes échouent souvent à préserver l'intégrité des tatouages précédents, ou l'insertion de nouveaux signaux perturbe les signaux des contributeurs antérieurs.

Les méthodes existantes de type "boîte blanche" (white-box) sont principalement conçues pour un utilisateur unique et une intégration ponctuelle, et manquent de mécanismes pour supporter une vérification incrémentale et multi-utilisateurs où chaque contributeur doit pouvoir vérifier sa présence de manière indépendante sans avoir accès au modèle original ou aux clés des autres utilisateurs.

Méthodologie : LineageMark

LineageMark est un cadre de tatouage numérique blanc (white-box) multi-utilisateur conçu pour tracer les contributions dans les chaînes de dérivation de modèles. Il opère à travers trois phases fondamentales :

1. Sélection de Porteurs Stables (Stable Carrier Selection)

Pour atténuer le risque de dérive du tatouage lors des dérivations ultérieures, LineageMark sélectionne des coordonnées de paramètres « stables » pour l'intégration.

Pertinence Fonctionnelle : Il calcule une matrice de Fisher ( $F_\ell$ ) dans l'espace caché de manière empirique en utilisant des données de calibration afin d'identifier les directions fortement associées au comportement du modèle, évitant ainsi les régions de paramètres inactives.
Stabilité de la Perturbation : Il construit une matrice de second moment de compression ( $C_\ell$ ) en utilisant des opérateurs de perturbation (projection aléatoire, bruit de quantification gaussien, dropout structuré) pour mesurer la sensibilité aux modifications courantes du modèle.
Critère de Sélection : Les directions stables sont sélectionnées en résolvant un problème de valeurs propres généralisées ( $F_\ell u = \lambda(C_\ell + \epsilon I)u$ ) pour maximiser la pertinence fonctionnelle par unité de perturbation. Une stratégie de troncature spectrale sélectionne les vecteurs propres dans une plage spécifique pour équilibrer stabilité et utilité.
Cartographie : Ces sous-espaces stables sont projetés sur des coordonnées de poids spécifiques dans des matrices linéaires, créant un masque ( $\Omega$ ) de porteurs candidats.

2. Intégration par Projection de Signe (Sign-Projection Watermark Embedding)

Au lieu de modifier les poids individuels vers des valeurs spécifiques, LineageMark encode chaque bit de tatouage comme une statistique de projection de signe sur un groupe de poids.

Groupement piloté par la clé : En utilisant une clé privée, chaque contributeur génère des mappages pseudo-aléatoires pour définir des groupes de coordonnées disjoints et des coefficients de projection ( $\phi_{ij} \in \{-1, +1\}$ ).
Redondance : Les charges utiles (payloads) du tatouage sont divisées en segments et assignées de manière cyclique à travers plusieurs matrices linéaires. Cela garantit que même si le réglage fin affaiblit le signal dans certaines matrices, le signal agrégé reste récupérable.
Contraintes de Marge : Le processus d'intégration impose une marge de décision ( $\mu$ ). Si la statistique de projection actuelle ne satisfait pas le signe cible avec une marge suffisante, une mise à jour locale à forme fermée est appliquée aux coordonnées stables pour pousser la statistique vers la cible. Cela crée un tampon contre les futures perturbations de paramètres.

3. Extraction de Tatouage Pilotée par la Clé (Key-Driven Watermark Extraction)

La vérification est effectuée indépendamment par chaque contributeur candidat sans nécessiter le modèle original, les données de calibration ou les informations des autres utilisateurs.

Reconstruction du Détecteur : Le vérificateur utilise sa clé privée pour reconstruire les mêmes groupes de coordonnées et les mêmes coefficients de projection utilisés lors de l'intégration.
Vote Pondéré : Le vérificateur calcule les statistiques de projection sur les paramètres actuels du modèle. Au lieu d'un simple vote majoritaire, LineageMark utilise l'amplitude de la projection comme un poids de confiance.
Agrégation : Les décisions locales provenant de plusieurs matrices sont agrégées. Un bit est décodé en fonction de la dominance des votes pondérés positifs ou négatifs accumulés. Ce mécanisme permet au système de récupérer des bits même si certaines matrices ont été corrompues par des étapes de dérivation ultérieures.

Contributions Clés

Formalisation du Tatouage Numérique Multi-Utilisateur : L'article définit les exigences des chaînes de dérivation de modèles, spécifiquement la préservation de la lignée (les tatouages historiques restent extractibles), l'intégration incrémentale (les nouveaux tatouages ne détruisent pas les anciens) et la vérification indépendante par clé uniquement.
Sélection de Porteurs Stables : Une méthode novatrice utilisant l'information de Fisher et l'analyse de sensibilité à la perturbation pour identifier les régions de paramètres robustes au réglage fin complet des paramètres et à la compression.
Projection de Signe à Contrainte de Marge : Une stratégie d'intégration qui représente les bits comme des signes de projection agrégés avec des marges imposées, améliorant la robustesse contre la dérive des paramètres et l'interférence multi-utilisateurs.
Évaluation Complète : Le cadre est évalué sur plusieurs échelles de modèles (de OPT-125M à OPT-1.3B) et domaines (raisonnement médical, juridique, mathématique), démontrant sa robustesse face au réglage fin, au re-tatouage, à la quantification et à l'élagage (pruning).

Résultats Expérimentaux

Préservation de la Lignée : Dans les chaînes de dérivation à plusieurs étapes impliquant un réglage fin de l'ensemble des paramètres, LineageMark a atteint un taux d'extraction de tatouage (WER) de 100 % pour tous les tatouages historiques à travers toutes les étapes et tous les domaines. En revanche, les méthodes de référence (ELLMark, EmMark) ont montré une dégradation significative (le WER chutant à environ 40-60 % pour les marques historiques) et des problèmes d'interférence.
Intégration Incrémentale : Les nouveaux contributeurs ont pu intégrer avec succès des tatouages sans dégrader l'extractibilité des tatouages existants.
Robustesse :
- Réglage Fin (Fine-tuning) : Maintient un WER de 100 % contre les attaques de réglage fin efficace en paramètres (LoRA, Prefix-tuning, etc.) et le réglage fin standard sur l'ensemble des paramètres.
- Quantification : Atteint un WER de 100 % sous une quantification 8-bit et un WER > 90 % sous une quantification agressive 4-bit.
- Élagage (Pruning) : Maintient un WER > 96 %, même avec un élagage aléatoire de 60 %.
Résistance aux Faux Positifs : LineageMark a démontré un large écart entre les scores d'extraction avec la bonne clé et la clé invalide. Avec un seuil de vérification de 0,75, il a atteint un taux de faux positifs (FPR) de 0,50 % et un taux de faux négatifs (FNR) de 0 %, surpassant nettement les méthodes de référence qui souffraient de FPR élevés (par exemple, 88 % pour ELLMark) en raison de scores d'extraction ambigus.
Préservation de l'Utilité : Les performances zero-shot sur les benchmarks généraux (PIQA, HellaSwag, WinoGrande) sont restées stables, avec une dégradation négligeable par rapport au modèle original.

Signification et Revendications

L'article affirme que LineageMark comble une lacune critique dans l'écosystème des LLM ouverts en permettant une provenance vérifiable par multi-contributeurs. Contraकirement aux méthodes précédentes qui se concentrent sur la vérification par un propriétaire unique, LineageMark permet à un modèle dérivé de servir d'actif numérique où les contributions de plusieurs contributeurs historiques peuvent être auditées de manière indépendante.

Les auteurs soulignent que le cadre ne vise pas à récupérer la topologie complète de la dérivation ou l'ordre chronologique d'insertion, mais plutôt à vérifier la présence de tatouages numériques de contributeurs spécifiques dans un modèle en aval. Le travail démontre que l'extension du tatouage numérique des scénarios à propriétaire unique vers des chaînes de dérivation multi-utilisateurs est réalisable grâce à la sélection de porteurs stables et au codage par projection statistique, fournissant un mécanisme pratique pour la protection de la propriété intellectuelle et le traçage des contributions dans les écosystèmes de modèles en évolution.

L'article reconnaît modestement certaines limites, notant que le coût du prétraitement (estimation de l'information de Fisher) est le principal goulot d'étranglement computationnel et que la méthode n'est pas immunisée contre un réglage fin suffisamment agressif (par exemple, des taux d'apprentissage très élevés) ou une compression extrême dépassant les marges de stabilité conçues.