🤖 machine learning

Dynamics-Level Watermarking of Flow Matching Models with Random Codes

Ce papier présente une technique de filigrane au niveau de la dynamique pour les modèles d'appariement de flux, qui intègre des messages dans le champ de vitesse par le biais de perturbations dépendantes d'une clé durant l'entraînement, permettant une détection en boîte noire fiable sans compromettre la qualité de la génération.

Auteurs originaux : Shuchan Wang

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuchan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Cacher un Secret dans le « Flux » de la Création

Imaginez que vous possédez une usine qui fabrique des jouets sur mesure. Vous voulez prouver qu'un jouet spécifique provient de votre usine, même si quelqu'un copie le design du jouet ou tente de dissimuler votre nom.

La plupart des méthodes actuelles tentent de marquer ces créations de deux façons :

Sur le jouet final : En collant un petit autocollant invisible sur le produit fini. (Problème : Si vous poncez le jouet ou le repeignez, l'autocollant disparaît.)
Dans les plans de l'usine : En cachant un code secret dans les instructions que suivent les ouvriers. (Problème : Si quelqu'un vole les plans et modifie quelques chiffres, le code se brise.)

Ce document propose une troisième méthode, plus intelligente. Au lieu de cacher le secret dans le jouet ou dans les plans, ils le cachent dans le mouvement de l'usine elle-même.

L'Analogie : La Rivière et le Bateau

Le document se concentre sur un type d'IA appelé Flow Matching (Appariement de Flux). Imaginez cette IA comme une rivière qui transporte un bateau (une particule de bruit aléatoire) d'un point de départ (Point A) vers une destination (Point B, qui est une image réelle comme un chat ou un chiffre).

Le Champ de Vitesse : C'est le courant de la rivière. Il indique au bateau exactement à quelle vitesse et dans quelle direction se déplacer à chaque instant pour aller de A à B.
Le Filigrane : Les chercheurs ne modifient pas la destination (l'image finale). Ils ne modifient pas la carte (les plans). Au lieu de cela, ils ajoutent un tout petit frémissement rythmique au courant de la rivière.

Imaginez que la rivière coule habituellement en ligne droite. Les chercheurs font osciller le courant d'avant en arrière comme une onde sinusoïdale (un mouvement lisse et ondulé) pendant que le bateau voyage.

Le Secret : Le modèle du frémissement est le message secret.
La Magie : Parce que le frémissement va de l'avant puis revient parfaitement en arrière, le bateau se retrouve exactement à la même place où il aurait été sans le frémissement. L'image finale est parfaite. Le « frémissement » disparaît du résultat final, mais il était présent tout au long du voyage.

Comment Cela Fonctionne (Les Étapes Simples)

1. Entraînement (Intégration du Secret)
Lorsque l'IA apprend à dessiner des images, les chercheurs lui apprennent à ajouter ce « frémissement » spécifique au courant de la rivière.

Ils donnent à l'IA une clé secrète (comme un mot de passe).
Sur la base de cette clé, l'IA apprend à faire osciller le courant selon un modèle spécifique correspondant à un message (par exemple : « Ce modèle appartient à la Société X »).
Crucialement, le frémissement est conçu de manière à ce que, sur l'ensemble du trajet, il s'annule lui-même. Le bateau arrive toujours au bon endroit.

2. Détection (Trouver le Secret)
Vous n'avez pas besoin de voir les plans ou l'image finale pour trouver le secret. Vous devez simplement demander à l'IA : « Hé, si je suis à cet endroit de la rivière à ce moment-là, dans quelle direction me pousses-tu ? »

Le détecteur pose à l'IA des milliers de ces questions (requêtes en boîte noire).
Il écoute ce « frémissement » rythmique spécifique dans les réponses.
Si l'IA possède la clé secrète, le détecteur peut décoder le message. Si l'IA ne possède pas la clé, le détecteur n'entend que du bruit aléatoire.

Pourquoi C'est Spécial (Les 5 Superpouvoirs)

Le document affirme que cette méthode résout cinq grands problèmes que rencontrent les autres méthodes :

Elle est Indestructible par le « Ponçage » : Puisque le secret réside dans le mouvement (la dynamique) et non dans l'image finale, vous ne pouvez pas l'éliminer en modifiant l'image. Le « frémissement » fait partie de la façon dont l'image est créée.
Elle est Compatible avec la Boîte Noire : Vous n'avez pas besoin de voir le code interne ou les poids de l'IA. Vous avez simplement besoin de pouvoir lui poser des questions (comme en utilisant une API).
Elle Préserve la Qualité : Parce que le frémissement s'annule lui-même au fil du temps, les images finales sont tout aussi parfaites que sans filigrane. Le document a testé cela sur des images de chiffres (MNIST) et de petites photos en couleur (CIFAR-10), et la qualité n'a pas baissé.
Elle Nécessite une Clé : Si vous n'avez pas la clé secrète (le modèle spécifique du frémissement), vous ne pouvez pas trouver le message. C'est comme essayer d'entendre une station de radio spécifique sans la fréquence ; vous n'entendez que des parasites. Le document a constaté que sans la clé, le taux de détection n'était pas meilleur qu'une devinette aléatoire.
Elle Peut Transporter Beaucoup de Données : Ce n'est pas juste un filigrane « Oui/Non ». Il peut porter un message complet (comme un numéro de série ou un identifiant de version) car ils ont utilisé un « livre de codes » de différents modèles de frémissement.

Les Résultats

Les chercheurs ont testé cela sur deux types de modèles d'IA (un modèle simple appelé MLP et un modèle complexe appelé UNet).

Taux de Succès : Ils ont pu récupérer le message secret 100 % du temps à partir des modèles filigranés.
Faux Positifs : Les modèles propres (sans filigrane) n'ont jamais été confondus avec des modèles filigranés (0 % de faux positifs).
Qualité : Les images générées étaient tout aussi bonnes que les originales.

L'Essentiel

Ce document présente une méthode pour apposer une signature secrète, indélébile et de haute qualité directement dans le « mouvement » d'une IA au fur et à mesure qu'elle crée des choses. C'est comme apprendre à une rivière à couler avec un rythme secret que seul le propriétaire peut entendre, garantissant que même si l'eau est versée dans un nouveau verre, le rythme demeure.

Résumé technique : Filigranage au niveau de la dynamique des modèles d'appariement de flux avec codes aléatoires

1. Énoncé du problème

L'article aborde la nécessité d'une protection de propriété robuste et vérifiable pour les modèles génératifs, spécifiquement les modèles d'appariement de flux (Flow Matching). Les paradigmes de filigranage existants souffrent de limitations spécifiques :

Les méthodes au niveau de la sortie intègrent des signaux dans les échantillons générés mais peuvent être supprimées par post-traitement et ne prouvent pas la propriété du modèle lui-même.
Les méthodes au niveau des poids intègrent des bits dans les paramètres mais nécessitent un accès en boîte blanche et sont fragiles face au fine-tuning ou à l'élagage.
Les méthodes au niveau du comportement (portes dérobées) permettent une vérification en boîte noire mais introduisent souvent des artefacts visibles, des irrégularités statistiques, ou manquent d'un verrouillage cryptographique fort (une fois le déclencheur trouvé, la vérification est triviale).

De plus, aucun travail antérieur n'a intégré de filigranes directement dans les dynamiques continues apprises (le champ de vitesse) d'un processus génératif. Les auteurs posent la question centrale : Un message multi-bit, vérifiable et verrouillé par une clé, peut-il être intégré directement dans le champ de vitesse d'un modèle d'appariement de flux de telle sorte que la détection ne nécessite qu'un accès en boîte noire, la qualité de génération soit préservée, et la récupération soit impossible sans une clé secrète ?

2. Méthodologie

Concept de base : Codage aléatoire sur les dynamiques de transport

Les auteurs formulent le filigranage comme un codage aléatoire sur un canal continu. Au lieu de modifier les poids ou les sorties, ils traitent le champ de vitesse appris $v_\theta(x, t)$ comme un canal continu de haute dimension. Un message est intégré en ajoutant une perturbation dépendante de la clé à ce champ de vitesse.

Construction du signal de filigrane

Le signal de filigrane $s_{K,m}(x, t)$ est construit pour satisfaire trois conditions : une moyenne nulle sur le temps (pour préserver la qualité), une orthogonalité approximative (pour la séparation des messages) et une normalisation de l'énergie.

Clé ( $K$ ) : Comprend une matrice de projection semi-orthogonale $P \in \mathbb{R}^{D \times k}$ et un codebook $C = \{c_m\}$ de vecteurs unitaires dans $\mathbb{R}^k$ .
Définition du signal : Pour un message $m$ , le signal est défini comme suit :
$s_{K,m}(x, t) = \sin(2\pi t) \cdot P c_m$
Ici, $P c_m$ intègre le mot de code dans l'espace des vitesses, tandis que $\sin(2\pi t)$ agit comme une porteuse temporelle.
Propriété de moyenne nulle : L'intégrale de $\sin(2\pi t)$ sur $t \in [0, 1]$ est nulle. Par conséquent, la perturbation s'intègre à zéro le long de toute trajectoire générative, préservant théoriquement la distribution terminale des échantillons générés.

Procédure d'entraînement (Intégration)

Pendant l'entraînement par appariement de flux, le modèle est optimisé pour minimiser une fonction de perte combinée :

Perte de vitesse ( $L_{vel}$ ) : Régresse la vitesse du modèle $v_\theta$ par rapport à une cible filigranée $\tilde{v} = u + \epsilon_0 s_{K,m}$ , où $u$ est la vitesse conditionnelle standard.
Perte de filigrane ( $L_{wm}$ ) : Un terme de régularisation qui récompense le modèle pour produire des vecteurs de vitesse dont la projection démodulée ( $\sin(2\pi t) P^T v_\theta$ ) s'aligne avec le mot de code cible $c_m$ .

L'analyse théorique montre que le prédicteur optimal sous cet objectif inclut une force de filigrane effective de $\epsilon_0 + \lambda/2$ .

Procédure de détection (Boîte noire)

La détection ne nécessite qu'un accès par requête au champ de vitesse du modèle.

Interrogation : Le détecteur échantillonne $N$ points aléatoires $(x_i, t_i)$ et interroge le modèle pour obtenir les vitesses $v(x_i, t_i)$ .
Démodulation synchrone : Le détecteur projette les vitesses dans l'espace de code latent ( $P^T v$ ) et multiplie par la porteuse temporelle $\sin(2\pi t_i)$ .
Moyenne : Les résultats sont moyennés pour estimer la signature $\hat{s}$ .
Décodage : Le message est récupéré en trouvant le mot de code $c_m$ dans le codebook qui maximise la corrélation avec $\hat{s}$ .

Sécurité et capacité

Sécurité : Sans la clé secrète ( $P$ et $C$ ), un attaquant fait face à un problème de recherche de sous-espace sur la variété de Grassmann $Gr(k, D)$ et à un problème de non-identifiabilité concernant la base du sous-espace. Empiriquement, la détection avec une clé erronée donne une précision au niveau du hasard.
Capacité : La capacité du canal évolue linéairement avec la dimension de projection $k$ et logarithmiquement avec le nombre de requêtes $N$ .

3. Contributions clés

Intégration au niveau de la dynamique : Premier travail à intégrer des filigranes directement dans le champ de vitesse continu des modèles d'appariement de flux, plutôt que dans les poids ou les sorties.
Préservation de la qualité : Conception d'une perturbation qui s'intègre à zéro sur les trajectoires, garantissant que la distribution générée reste statistiquement indiscernable de la version sans filigrane.
Sécurité verrouillée par clé : Mise en œuvre d'un schéma où la détection et la récupération du message nécessitent strictement une clé secrète (matrice de projection et codebook) ; sans elle, la précision chute au niveau d'une devinette aléatoire.
Capacité multi-bit : Utilisation d'une construction de codebook pour supporter des messages multi-bit (au-delà de la vérification binaire), permettant des applications telles que l'identification de propriétaires et le traçage de traîtres.
Validation empirique : Validation de la méthode sur MNIST et CIFAR-10 en utilisant des architectures MLP et UNet.

4. Résultats expérimentaux

Les auteurs ont évalué la méthode dans divers contextes (MNIST/CIFAR-10, MLP/UNet, différentes étapes d'entraînement).

Précision de détection : Les modèles filigranés ont atteint une récupération de message de 100 % sur toutes les configurations testées. Les modèles propres (sans filigrane) ont produit 0 % de faux positifs (ou 2,5 % dans un cas spécifique, en dessous de la base de devinette aléatoire de 3,1 %).
Sécurité verrouillée par clé : Les attaques utilisant une matrice de projection aléatoire (mauvaise clé) ont abouti à 0 récupération correcte sur 50, correspondant au taux de devinette aléatoire.
Séparation statistique : La séparation entre les signatures des modèles filigranés et propres était significative, avec une séparation minimale dépassant 8,4 $\sigma$ (jusqu'à 25,5 $\sigma$ dans certains contextes).
Préservation de la qualité : Les ratios de distance Fréchet Inception (FID) entre les modèles filigranés et propres sont restés proches de 1,0 $\times$ (variant de 0,95 $\times$ à 1,10 $\times$ ). Dans certains cas, les modèles filigranés ont montré un FID marginalement inférieur, attribué à une variation aléatoire de l'entraînement plutôt qu'au filigrane lui-même.
Persistance : L'extension de l'entraînement à 10 000 étapes n'a pas dégradé la récupération du filigrane.

5. Importance et revendications

L'article revendique que le filigranage au niveau de la dynamique fournit une base robuste pour :

Vérification de la propriété du modèle : Prouver la propriété d'un modèle déployé via des requêtes en boîte noire.
Traçage de traîtres : Identifier des copies spécifiques d'un modèle distribuées à différents clients.
Conformité réglementaire : Vérifier la provenance des modèles génératifs.

Les auteurs soulignent que leur approche traite le champ de vitesse appris comme un canal de communication continu, une perspective qui pourrait avoir une utilité au-delà du filigranage. Ils déclarent explicitement que, bien que la méthode soit prometteuse, l'évaluation à l'échelle du déploiement et l'analyse rigoureuse de la capacité du canal sur des échantillons finis sont laissées pour un travail futur. L'article ne prétend pas résoudre le filigranage pour toutes les familles de modèles génératifs, mais démontre spécifiquement son efficacité dans le cadre de l'appariement de flux.