💻 computer science

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

Ce papier propose un cadre de protection des droits d'auteur pour les modèles de langage multimodaux (MLLM) basé sur une injection duale guidée par l'adversaire, qui génère des images déclencheurs capables de révéler de manière fiable l'origine d'un modèle dans ses dérivés affinés tout en restant inertes dans les autres modèles.

Auteurs originaux : Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : Le "Vol" de l'Esprit Numérique

Imaginez qu'un artiste (le éditeur) crée un chef-d'œuvre unique : un robot très intelligent capable de voir des images et de répondre à des questions (un MLLM, ou grand modèle multimodal). Il le rend gratuit pour que tout le monde puisse l'utiliser et apprendre.

Mais voilà, un voleur (un utilisateur malveillant) prend ce robot, le modifie un peu (en lui apprenant à mieux dessiner des chats, par exemple), et le revend comme s'il était son propre invention. Comme le robot a été modifié, il est difficile de prouver qu'il vient de l'artiste original. C'est comme si quelqu'un prenait votre voiture, changeait la couleur et les pneus, et prétendait qu'il l'avait construite de zéro.

🔍 La Solution : Une "Puce Invisible" dans l'Image

Les chercheurs de cet article proposent une solution géniale : au lieu de cacher un secret dans le code du robot (ce qui est facile à effacer), ils cachent le secret dans les images que le robot regarde.

Ils créent une méthode appelée AGDI (Adversarial-Guided Dual Injection). Pour faire simple, c'est comme si l'artiste injectait deux types de "poison" ou de "trace" dans une image spéciale pour forcer le robot à révéler son origine.

Voici comment cela fonctionne, avec une analogie simple :

1. Le Double Injection (La Double Clé)

Pour que le robot se souvienne de son créateur, même après avoir été modifié, l'image spéciale doit activer deux mécanismes en même temps :

La Clé de Réponse (Niveau Réponse) :
Imaginez que vous montrez une photo à un robot. Normalement, il dit : "C'est un chat". Mais avec cette image spéciale, le robot est forcé de dire : "Je suis un robot créé par l'Université X".
- L'analogie : C'est comme un code secret que le robot doit prononcer à voix haute dès qu'il voit ce dessin précis.
La Clé de Sens (Niveau Sémantique) :
C'est la partie la plus intelligente. Les chercheurs savent que les robots ont une "mémoire visuelle" très stable (un peu comme un cerveau qui reconnaît les formes) qui ne change pas beaucoup, même si on modifie le robot pour qu'il soit plus performant.
Ils s'assurent que l'image spéciale ressemble, dans l'esprit du robot, à la phrase "Créé par l'Université X".
- L'analogie : C'est comme si l'image et la phrase étaient deux pièces de puzzle qui s'emboîtent parfaitement dans le cerveau du robot. Même si on modifie le robot, cette connexion profonde reste intacte.

2. L'Entraînement "Jeu de Guerre" (L'Adversaire)

Le plus dur, c'est que le voleur va essayer de "désapprendre" ce code secret en modifiant son robot.

Pour contrer cela, les chercheurs utilisent une technique d'entraînement très agressive :

Ils créent un robot "double" (un modèle auxiliaire) qui essaie de résister à l'image spéciale.
Pendant l'entraînement, l'image essaie de faire dire le code secret au robot, et le robot "double" essaie de l'oublier.
C'est un jeu de "tug-of-war" (tiroir-corde). À force de s'affronter, l'image devient si puissante qu'elle fonctionne même sur un robot qui a été modifié, entraîné et "durci" par le voleur.

🛡️ Le Résultat : Une Preuve Irréfutable

Grâce à cette méthode, voici ce qui se passe dans la vraie vie :

Le Voleur prend le modèle original, le modifie pour le vendre.
L'Éditeur soupçonne le vol. Il prend son image spéciale (le "déclencheur") et pose la question secrète au robot du voleur.
Le Robot du Voleur, même s'il a été modifié, répond inévitablement : "Je suis un robot créé par l'Université X".
Les Robots Étrangers (ceux qui ne viennent pas du voleur) regardent la même image et disent : "Je ne sais pas" ou donnent une réponse normale.

🌟 En Résumé

C'est comme si l'artiste avait caché un écho dans une image.

Si vous montrez cette image à un robot qui vient de lui (même modifié), l'écho revient : "C'est moi !".
Si vous montrez l'image à un robot qui ne vient pas de lui, l'écho ne revient pas.

Cette méthode est robuste, fonctionne même si le robot est compressé ou modifié, et ne nécessite pas d'accéder aux secrets internes du robot du voleur (ce qui est souvent impossible). C'est une protection invisible mais puissante pour les créateurs d'intelligence artificielle.

1. Problématique

Avec le déploiement rapide des Modèles de Langage Multimodaux (MLLM) à source ouverte, la propriété intellectuelle de ces modèles est menacée. Des utilisateurs malveillants peuvent affiner (fine-tuning) des modèles de base pour des applications commerciales tout en niant leur origine, rendant difficile la traçabilité des modèles dérivés.

Les méthodes existantes de protection des droits d'auteur souffrent de limitations majeures :

Méthodes en boîte blanche : Elles nécessitent un accès aux paramètres internes du modèle, ce qui est impossible pour les modèles propriétaires ou fermés.
Méthodes en boîte noire actuelles : Elles utilisent souvent des images déclencheurs (triggers) qui s'adaptent trop aux motifs de réponse spécifiques du modèle de base. Ces déclencheurs perdent leur efficacité lorsqu'ils sont appliqués à des versions dérivées fortement affinées (fine-tuned), car les modèles dérivés ne répondent plus aux mêmes motifs de surface.

L'objectif est donc de développer un mécanisme de traçage en boîte noire capable de générer des images déclencheurs qui forcent une réponse spécifique (liée à la propriété) uniquement sur les modèles dérivés d'un modèle de base spécifique, tout en restant inertes sur d'autres modèles.

2. Méthodologie : AGDI (Adversarial-Guided Dual Injection)

Les auteurs proposent un cadre nommé AGDI, qui génère des images déclencheurs en optimisant une fonction de perte combinant deux injections d'informations et un entraînement adversaire.

A. Le Concept de Base

Le système utilise une paire question-réponse rare (ex: "Détectez le droit d'auteur" -> "Conférence ICLR"). L'objectif est de créer une image $x_{trig}$ telle que :

Le modèle de base $f_\theta$ et ses dérivés $f'_{\theta}$ répondent à la cible $a_{tar}$ .
Les modèles non dérivés $g_\omega$ ne répondent pas à cette cible.

B. Injection Duale (Dual Injection)

L'innovation centrale réside dans l'utilisation de deux niveaux d'alignement pour construire l'image déclencheur :

Injection au niveau de la réponse (Response-level) :
- Elle force la cohérence textuelle entre la sortie du modèle et le texte cible.
- Une perte d'entropie croisée ( $L_{res}$ ) est calculée pour minimiser l'écart entre la prédiction du modèle et la réponse attendue. Cela assure la spécificité de l'activation.
Injection au niveau sémantique (Semantic-level) :
- Basée sur l'observation que la plupart des MLLM intègrent un module d'alignement croisé (style CLIP) qui reste stable même après un affinage (fine-tuning).
- Une perte ( $L_{sem}$ ) minimise la distance d'embedding entre les caractéristiques de l'image déclencheur et celles du texte cible dans l'espace sémantique du module CLIP.
- Cela permet de transférer l'information de propriété via des caractéristiques sémantiques partagées par les dérivés, rendant le déclencheur plus robuste.

La fonction de perte totale pour l'image est : $L_{trig} = L_{res} + \lambda L_{sem}$ .

C. Entraînement Adversaire (Adversarial Training)

Pour améliorer la généralisation face à des dérivés qui pourraient résister au déclencheur original, les auteurs introduisent une étape d'optimisation min-max :

Un modèle auxiliaire est entraîné pour résister à la génération du texte cible lorsque l'image déclencheur est présentée.
Ce modèle auxiliaire est mis à jour de manière à maximiser la perte (simulant un modèle dérivé qui a "oublié" le déclencheur).
L'image déclencheur est ensuite optimisée pour minimiser la perte sur ce modèle auxiliaire résistant.
Cette boucle permet d'explorer des variantes de déclencheurs plus résilientes qui fonctionnent même sur des modèles fortement affinés.

3. Contributions Clés

Cadre de traçage en boîte noire : Introduction d'une méthode post-déploiement ne nécessitant aucun accès aux paramètres internes du modèle suspect.
Observation du module CLIP : Identification du module d'alignement image-texte comme un "sous-modèle implicite" stable à travers les affinages, permettant une injection sémantique transférable.
Stratégie d'Injection Duale et Adversaire : Combinaison de l'alignement de réponse et de l'alignement sémantique, renforcé par un entraînement adversaire pour contrer la résistance des modèles dérivés.
Validation exhaustive : Démonstration de la supériorité de la méthode sur divers scénarios d'affinage (LoRA, Full Fine-tuning), de pruning, de fusion de modèles et de quantification.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de base populaires (LLaVA-1.5, Qwen2-VL) et affinés sur cinq tâches diverses (VQA, OCR, Mathématiques, Art, etc.).

Performance sur les modèles dérivés : AGDI dépasse significativement les méthodes de base (Ordinary, RNA, PLA).
- Sur Qwen2-VL (LoRA), AGDI atteint un taux de réussite (ASR) moyen de ~64% contre ~48% pour PLA et ~36% pour les méthodes ordinaires.
- Sur LLaVA-1.5, AGDI atteint ~58% contre ~44% pour PLA.
Spécificité (Faux Positifs) : Sur les modèles non dérivés (MiniGPT-4, LLaVA-1.6, Llama3-V), le taux de déclenchement est de 0% pour AGDI, prouvant qu'il n'y a pas d'activation accidentelle.
Robustesse :
- Pruning (Élagage) : AGDI maintient une performance élevée même après un élagage de 30% des poids.
- Fusion de modèles (Model Merging) : La méthode reste efficace après fusion de modèles (stratégies Linear et TIES).
- Quantification : Les performances restent stables avec une quantification 8-bit.
Études d'ablation : La suppression de l'injection sémantique ou de l'entraînement adversaire entraîne une chute drastique des performances, confirmant la nécessité des deux composantes.

5. Signification et Impact

Ce travail apporte une solution pratique et robuste au problème croissant de la protection de la propriété intellectuelle des MLLM.

Praticité : En fonctionnant en boîte noire, il s'applique aux modèles commerciaux et aux services API où l'accès aux poids est impossible.
Résilience : Contrairement aux méthodes précédentes qui échouent face à des affinages agressifs, AGDI exploite la stabilité structurelle des MLLM (module CLIP) pour garantir que la preuve de propriété survive aux transformations du modèle.
Sécurité : Il offre aux éditeurs de modèles open-source un moyen vérifiable de prouver l'origine de leurs modèles lorsqu'ils sont utilisés illégalement ou détournés à des fins commerciales.

En résumé, AGDI représente une avancée majeure en transformant la protection des droits d'auteur des MLLM d'une approche fragile (basée sur la surface) vers une approche robuste (basée sur la sémantique profonde et l'adversité).