RandMark: On Random Watermarking of Visual Foundation Models

Each language version is independently generated for its own context, not a direct translation.

🎨 Le "Tatouage Invisible" des Intelligences Artificielles

Imaginez que vous êtes un chef cuisinier célèbre. Vous avez passé des années à développer une recette secrète (un modèle d'intelligence artificielle) en utilisant des milliers d'ingrédients (des données). C'est votre trésor, votre propriété intellectuelle.

Le problème ? Des gens pourraient voler votre recette, la copier, et la vendre sous leur nom sans vous payer. Comment prouver que c'est bien votre recette ?

C'est là que intervient RandMark, une nouvelle méthode pour "tattooer" (marquer) les modèles d'IA visuels, comme s'ils portaient une signature invisible.

1. Le Problème : Des IA trop précieuses

Aujourd'hui, les "Modèles Fondamentaux Visuels" (comme CLIP ou DINOv2) sont des super-héros de l'IA. Ils peuvent tout voir et tout comprendre. Mais les créer coûte une fortune en temps et en argent. Les propriétaires veulent donc les vendre ou les louer, mais ils ont peur qu'on les vole ou qu'on les modifie pour les revendre.

Les méthodes actuelles pour prouver la propriété sont souvent comme des cadenas lourds : si on modifie un peu le modèle (pour l'adapter à une nouvelle tâche), le cadenas casse et on ne peut plus prouver qui est le propriétaire.

2. La Solution : RandMark (Le Tatouage Aléatoire)

Les auteurs proposent RandMark. Au lieu de changer la recette elle-même (ce qui pourrait la gâcher), ils ajoutent un "code secret" dans la façon dont l'IA regarde les images.

L'analogie du miroir déformant :
Imaginez que vous donnez à votre IA une série de photos d'objets (des pommes, des voitures).

Sans tatouage : L'IA regarde la pomme et dit "C'est une pomme".
Avec RandMark : Avant de regarder la pomme, on lui fait faire un petit "saut de puce" aléatoire (une petite perturbation mathématique). L'IA est entraînée pour dire : "C'est une pomme, mais si je la regarde avec ce petit saut, je dois aussi voir le message secret '10101'".

Ce message secret est caché dans la "mémoire" de l'IA, pas dans ses yeux.

3. Comment ça marche ? (Le processus en 3 étapes)

L'Inscription (Le Tatouage) :
Le propriétaire prend une image, y ajoute un petit "bruit" aléatoire (comme un grain de poussière invisible), et force l'IA à associer ce bruit à un code secret (une suite de 0 et de 1). Il répète cela avec des milliers d'images. L'IA apprend à reconnaître ce code secret même si l'image change un peu.
Le Test (La Vérification) :
Plus tard, si quelqu'un vous montre une IA et dit "C'est la mienne !", vous ne lui demandez pas de montrer son contrat. Vous lui donnez les mêmes images avec le même "bruit" aléatoire.
- Si l'IA est bien la vôtre (ou une copie de la vôtre), elle va extraire le code secret correctement.
- Si c'est une IA volée ou différente, elle sera perdue et ne donnera pas le bon code.
La Robustesse (Pourquoi c'est génial) :
Le vrai génie de RandMark, c'est qu'il résiste aux "chirurgies" sur l'IA.
- Si un voleur essaie d'apprendre à l'IA une nouvelle tâche (comme reconnaître des plats au lieu de voitures), le tatouage reste.
- Si le voleur essaie de "maigrir" l'IA en supprimant des parties inutiles (pruning), le tatouage reste.
- C'est comme si le tatouage était fait dans l'ADN de l'IA, pas sur sa peau. Même si on lui coupe un bras, l'ADN est toujours là.

4. Les Résultats : Plus fort que la concurrence

Les chercheurs ont testé leur méthode sur deux géants de l'IA (CLIP et DINOv2).

Précision : Ils ont pu identifier à 100% les copies de leur modèle, même après de gros changements.
Pas de fausses alertes : Ils ne se trompent jamais en accusant une IA innocente d'être une copie. C'est comme un détecteur de mensonge très fiable : il ne crie pas au voleur si c'est un honnête citoyen.
Comparaison : Les anciennes méthodes (comme des empreintes digitales numériques) échouaient souvent dès qu'on modifiait l'IA. RandMark, lui, tient bon.

En résumé 🌟

RandMark est une technique intelligente qui permet aux créateurs d'IA de cacher un message secret dans la "façon de penser" de leur modèle. Ce message est invisible pour l'utilisateur, mais facile à vérifier pour le propriétaire, même si le modèle a été modifié, copié ou adapté pour de nouvelles tâches.

C'est comme mettre une puce RFID dans un diamant : même si on le taille, le change de monture ou le nettoie, la puce reste là pour prouver qu'il vous appartient.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les modèles de fondation visuels (Visual Foundation Models - VFMs), tels que CLIP ou DINOv2, sont devenus des actifs précieux en raison de leur capacité à être affinés (fine-tuning) pour une multitude de tâches de vision par ordinateur (classification, segmentation, etc.). Leur entraînement nécessite des coûts de calcul et de collecte de données considérables.

Cependant, la protection de la propriété intellectuelle (PI) de ces modèles face à l'utilisation non autorisée ou à la copie fonctionnelle (par exemple, via l'extraction de modèle ou l'affinage sur des tâches spécifiques) reste un défi majeur.

Limites des approches existantes : Les méthodes de tatouage (watermarking) traditionnelles sont souvent conçues pour des classifieurs spécifiques et reposent sur des motifs d'entrée (triggers) ou des modifications de paramètres qui peuvent ne pas être robustes face aux transformations structurelles des VFMs. Les méthodes d'empreintes digitales (fingerprinting) qui ne modifient pas le modèle existent, mais elles peinent à distinguer les copies fonctionnelles des modèles indépendants dans le contexte des VFMs.

Objectif : Développer une méthode de tatouage robuste capable de vérifier la propriété d'un VFM, même après qu'il ait subi des modifications fonctionnelles (affinage, élagage/pruning), tout en évitant les faux positifs sur des modèles indépendants.

2. Méthodologie : RandMark

L'article propose RandMark, une approche de tatouage numérique qui injecte des signatures binaires dans les représentations internes (hidden representations) du modèle plutôt que dans ses paramètres bruts ou via des motifs d'entrée statiques.

Principes Clés

Architecture : Le système utilise un petit réseau encodeur-décodeur léger :
- Encodeur ( $e$ ) : Intègre un message binaire secret $m$ dans la représentation d'une image d'entrée $x$ (perturbée aléatoirement).
- Décodeur ( $d$ ) : Extrait le message binaire à partir de la sortie du modèle VFM.
Processus d'Injection :
- Pour un ensemble d'images de "hold-out" (images non utilisées pour l'entraînement final), on applique des transformations aléatoires (bruit gaussien $\epsilon_j$ ).
- Le modèle source $f$ $f$ est affiné conjointement avec l'encodeur et le décodeur pour minimiser deux pertes :
  - La divergence entre les représentations du modèle original et du modèle tatoué (pour préserver la fonctionnalité).
  - L'erreur entre le message original $m$ et le message extrait $m'$ .
Détection et Statistiques :
- Lors de la vérification, on applique des transformations aléatoires aux images de test et on extrait les messages $m'_j$ .
- La décision repose sur la statistique de la distance (nombre de bits erronés) entre le message original et les messages extraits sur un grand nombre de transformations ( $K$ ).
- Un modèle est considéré comme une copie fonctionnelle si la distance moyenne est inférieure à un seuil $\tau$ .

Modèle de Menace

La méthode est conçue pour résister aux attaques visant à supprimer le tatouage tout en conservant la fonctionnalité du modèle, notamment :

L'affinage (fine-tuning) sur des tâches en aval (classification, segmentation).
L'élagage non structuré (pruning) des poids du réseau.
La distillation de connaissances.

3. Contributions Principales

Nouvelle Méthodologie (RandMark) : Une approche de tatouage spécifique aux VFMs qui injecte des signatures binaires directement dans les représentations latentes via un ensemble d'images déclencheurs (trigger images) transformées aléatoirement. Contrairement aux travaux antérieurs focalisés sur les classifieurs, cette méthode est adaptée à la diversité des cas d'usage des VFMs.
Fondements Théoriques : Les auteurs dérivent une borne supérieure théorique sur les probabilités de fausse détection (faux positifs pour les modèles non tatoués) et de non-détection (faux négatifs pour les copies fonctionnelles). Ils utilisent des bornes de concentration (comme l'inégalité de Chernoff) pour garantir la fiabilité statistique.
Validation Expérimentale Robuste : Des expériences menées sur des modèles de pointe (CLIP et DINOv2) démontrent que RandMark maintient une haute précision de détection même après :
- Un affinage sur des tâches de classification et de segmentation.
- Un élagage agressif (jusqu'à 40% des poids supprimés).
- Les méthodes existantes (comme ADV-TRA ou IPGuard) échouent souvent dans ces scénarios.

4. Résultats Expérimentaux

Les expériences ont été réalisées sur deux modèles (CLIP et DINOv2) et trois jeux de données (images de produits e-commerce, segmentation alimentaire FoodSeg103, et ImageNet).

Robustesse aux Perturbations Fonctionnelles :
- Affinage : RandMark détecte correctement les copies affinées pour la classification et la segmentation avec un taux de détection élevé (ex: 0.87 pour la classification, 0.75 pour la segmentation sur DINOv2).
- Élagage (Pruning) : La méthode reste extrêmement robuste, atteignant un taux de détection de 100% même après un élagage de 40% des poids, là où les méthodes de référence tombent à 0% ou à des niveaux très bas.
Spécificité (Faux Positifs) :
- Le taux de détection sur des modèles indépendants (non tatoués, architectures différentes comme CLIP vs DINOv2) est de 0.000, prouvant que la méthode ne confond pas des modèles distincts.
Comparaison avec l'État de l'Art :
- Contrairement aux méthodes de "fingerprinting" généralistes (ADV-TRA, IPGuard) qui échouent sur les VFMs ou dégradent fortement les performances de la tâche en aval, RandMark préserve à la fois la performance de la tâche (ex: segmentation) et la détectabilité du tatouage.
- L'analyse de la covariance des messages extraits montre une corrélation positive forte pour les modèles dépendants et une corrélation nulle pour les modèles indépendants.

5. Signification et Conclusion

RandMark représente une avancée significative pour la protection de la propriété intellectuelle des modèles de fondation visuels.

Indépendance du modèle : La méthode est agnostique à l'architecture du modèle. Le propriétaire n'a besoin d'effectuer l'injection qu'une seule fois pour une instance donnée.
Préservation de la fonctionnalité : Elle permet de vérifier la propriété sans dégrader les capacités du modèle sur ses tâches d'application (classification, segmentation).
Garantie Statistique : La démonstration théorique des faibles probabilités d'erreur rend la méthode fiable pour des applications juridiques ou commerciales de vérification de propriété.

En résumé, RandMark comble le vide actuel dans la protection des VFMs en offrant une solution robuste, statistiquement fondée et compatible avec les transformations structurelles et fonctionnelles inévitables lors de l'adaptation de ces modèles puissants.