🤖 AI

Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation

Cet article introduit un cadre non invasif pour vérifier la propriété des modèles de diffusion texte-image en exploitant la « génération effondrée », un phénomène propre à certains modèles où certaines conditions d'entrée produisent systématiquement des images identiques à travers différentes graines stochastiques, permettant ainsi une détection de propriété fiable dans des contextes de boîte blanche et de boîte noire sans filigranes invasifs.

Auteurs originaux : Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les artistes ne peignent pas seulement avec des pinceaux, mais avec des mots magiques. Vous tapez une phrase comme « un chat cyberpunk mangeant une pizza », et un ordinateur conjure instantanément une toute nouvelle image en haute définition. C'est le domaine des modèles de diffusion texte-image, les sorciers numériques derrière la dernière folie de l'art par IA. Ces modèles fonctionnent en partant d'un écran rempli de bruit statique (comme une vieille télévision sans signal) et en le nettoyant lentement, étape par étape, jusqu'à ce qu'une image claire émerge. Parce que ces modèles sont si puissants, les entreprises les vendent sous forme de services ou partagent leur « recette » (le fichier du modèle) pour que d'autres puissent l'utiliser. Mais cela crée un problème délicat : si quelqu'un vole la recette secrète d'une entreprise ou la modifie légèrement pour la vendre comme la sienne, comment le propriétaire original peut-il prouver que c'est la sienne ? Ils ne peuvent pas simplement regarder à l'intérieur du code si le voleur le cache, et ils ne peuvent pas toujours modifier le modèle pour y implanter un filigrane numérique secret sans gâcher l'art. Ils ont besoin d'un moyen de démasquer le voleur simplement en observant ce que le modèle fait.

Ce document présente une nouvelle astuce de détective ingénieuse appelée « génération effondrée » (Collapsed Generation). Voyez cela comme un test de personnalité pour l'IA. Habituellement, si vous demandez à une IA de dessiner une image cinq fois en utilisant les mêmes mots mais un point de départ aléatoire différent (comme lancer des dés), vous obtenez cinq images totalement différentes et uniques. C'est comme demander à un chef de faire cinq burgers ; vous vous attendez à cinq burgers légèrement différents. Cependant, les chercheurs ont découvert que pour certains mots spécifiques, certains modèles d'IA se retrouvent « coincés » dans une boucle. Peu importe le nombre de fois où vous lancez les dés, le modèle produit presque exactement la même image à chaque fois. C'est comme si le chef, lorsqu'on lui demande un « burger », oubliait soudainement de varier la recette et servait le burger identique cinq fois de suite. Le document suggère que ce comportement étrange et répétitif est une empreinte digitale unique de l'entraînement de ce modèle spécifique. Si vous trouvez un modèle suspect qui produit ces images de « burgers identiques » lorsque vous posez les bonnes questions, vous avez attrapé celui qui utilise la recette secrète du propriétaire original, même si le voleur a tenté de la déguiser.

Le nouvel outil du détective : Attraper l'IA par son bégaiement

Les chercheurs, une équipe de l'Université de Fudan et d'autres, ont réalisé que ce « bégaiement » ou génération effondrée n'est pas un bug, mais une caractéristique de la façon dont ces modèles apprennent. Lorsqu'un modèle mémorise certains motifs de ses données d'entraînement, il perd parfois sa capacité à être créatif pour ces invites (prompts) spécifiques. Au lieu d'explorer un large éventail de possibilités, il s'effondre en un résultat unique et hautement cohérent. L'équipe a compris que ce comportement est comme une empreinte vocale unique. Tout comme deux personnes peuvent dire la même phrase avec des accents différents, deux modèles d'IA différents entraînés sur des données différentes réagiront différemment à la même invite. L'un peut produire un ensemble d'images chaotiques et diverses, tandis que le modèle « volé » pourrait produire un ensemble ennuyeusement identique.

Le document propose un jeu de chat et de souris en deux étapes pour prouver la propriété. D'abord, le propriétaire original (le détective) doit trouver les « mots magiques » ou les « réglages magiques » qui déclenchent ce bégaiement sur son propre modèle. Ils font cela de deux manières, selon le degré d'accès qu'ils ont au suspect :

L'approche « Boîte Blanche » (L'initié) : Si le détective peut voir les rouages internes du modèle (par exemple, si le voleur a divulgué le code), il peut utiliser un ordinateur pour chercher mathématiquement l'« embedding » parfait (une version numérique d'une invite) qui force le modèle à bégayer. Ils n'ont pas besoin d'attendre l'image finale ; ils peuvent voir le modèle rester bloqué tôt dans le processus, ce qui économise énormément de puissance de calcul.
L'approche « Boîte Noire » (L'extérieur) : Si le modèle suspect est caché derrière un site web ou une application où vous ne pouvez que taper du texte et obtenir une image en retour, le détective ne peut pas modifier les rouages internes. Au lieu de cela, il fouille dans les données d'entraînement originales pour trouver des phrases réelles et naturelles qui provoquent déjà le bégaiement du modèle. Ils ont découvert que ces « invites bégayantes » correspondent souvent à des images que le modèle a apprises très facilement (faible « perte » ou loss pendant l'entraînement). En testant ces phrases naturelles, ils peuvent voir si le modèle suspect bégaye également sur elles.

Le verdict : Est-ce un imitateur ?

Une fois que le détective a sa liste de « déclencheurs de bégaiement », il teste le modèle suspect. Il demande au modèle suspect de générer des images en utilisant ces déclencheurs, en lançant les dés (en changeant la graine aléatoire ou seed) de nombreuses fois. Si le modèle suspect est un imitateur, il produira une pile d'images presque identiques, tout comme l'original. S'il s'agit d'un modèle totalement différent et sans rapport, il produira un tas désordonné d'images différentes, montrant qu'il ne partage pas la même « mémoire » de ces invites spécifiques.

Les chercheurs ont testé cette idée sur plusieurs types de modèles d'IA, incluant ceux basés sur les anciens designs « UNet » et les nouveaux designs « Transformer ». Ils ont constaté que cette méthode fonctionne très bien. Elle peut distinguer deux modèles qui ont été entraînés séparément, même s'ils se ressemblent en surface. Plus important encore, l'empreinte est difficile à briser. Même si le voleur tente de masquer ses traces en :

Effectuant un ajustement fin (fine-tuning) (apprendre de nouveaux tours au modèle),
Effectuant un élagage (pruning) (couper des parties du modèle pour le rendre plus petit),
Effectuant une quantification (quantization) (simplifier les nombres que le modèle utilise),
Ou même en essayant d'obscurcir (obfuscate) les résultats,

...le comportement de « bégaiement » survit souvent. Le document montre que vous n'avez pas besoin de poser des millions de questions pour attraper un voleur ; un nombre modeste de tests suffit pour obtenir une réponse statistiquement solide.

Ce que cela signifie (et ce que cela ne signifie pas)

Le document précise avec prudence que ce n'est pas une baguette magique qui résout instantanément tous les problèmes de droit d'auteur. Il ne prétend pas empêcher le vol de se produire, ni suggère que chaque modèle possède ces empreintes (bien qu'ils les aient trouvées dans les modèles testés). Il note également que, si la méthode de la « boîte blanche » est très efficace, la méthode de la « boîte noire » repose sur la recherche des bonnes invites naturelles, ce qui peut s'apparenter à la recherche d'une aiguille dans une botte de foin, bien que leur méthode de recherche d'échantillons d'entraînement à « faible perte » rende la tâche beaucoup plus rapide.

Fondamentalement, les auteurs soutiennent l'idée qu'il n'est pas nécessaire de planter un filigrane secret à l'intérieur du modèle pour prouver la propriété. Ils démontrent que le comportement naturel du modèle lui-même — sa tendance à rester bloqué dans une boucle pour certaines entrées — est une preuve suffisante. C'est un point majeur car cela signifie que vous n'avez pas besoin de modifier le modèle pour le protéger. Vous pouvez simplement observer son comportement.

En fin de compte, cette recherche suggère que la génération effondrée est un moyen fiable et non invasif de vérifier qui possède un modèle d'art par IA. Cela transforme les propres bizarreries du modèle en une signature. Si un modèle produit la même image encore et encore lorsqu'il devrait faire preuve de créativité, il est possible qu'il chante la chanson du propriétaire original, peu importe la force avec laquelle le voleur essaie d'en changer les paroles.

Résumé Technique : Empreinte Digitale des Modèles de Diffusion Texte-vers-Image via la Génération Effondrée

Énoncé du Problème

La prolifération rapide des modèles de diffusion texte-vers-image (T2I) propriétaires, distribués sous forme de services hébergés ou de points de contrôle (checkpoints) téléchargeables, a intensifié les litiges relatifs à la propriété intellectuelle (PI) concernant la fuite de modèles, la copie non autorisée et la propriété des dérivés. Les mécanismes de protection de la PI existants font face à des limitations significatives :

Tatouage Numérique (Watermarking) Invasif : Les méthodes qui intègrent des signaux dans les paramètres du modèle ou les objectifs d'entraînement introduisent souvent une surcharge de calcul, compromettent la qualité de la génération et ne peuvent pas être appliquées rétrospectivement à des modèles déjà entraînés.
Empreinte Digitale (Fingerprinting) Non-Invasive : Les approches non-invasives actuelles sont souvent restreintes par des hypothèses d'accès. Les méthodes en boîte blanche (white-box) reposant sur les représentations internes ou les trajectoires de débruitage échouent lorsque le modèle suspect est une API en boîte noire (black-box). Inversement, les méthodes en boîte noire reposant sur des suffixes de prompts optimisés produisent souvent des requêtes linguistiquement anormales, facilement détectables ou filtrables, et leur preuve est liée à des déviations sémantiques spécifiques plutôt qu'à un comportement intrinsèque du modèle.

Il existe un besoin critique pour un cadre d'empreinte digitale non-invasif qui fonctionne à la fois dans les contextes de boîte blanche (point de contrôle) et de boîte noire (API), qui repose sur les comportements intrinsèques du modèle plutôt que sur des paramètres modifiés, et qui reste robuste face aux obfuscations de modèles (ex: fine-tuning, élagage/pruning, quantification).

Méthodologie

Les auteurs proposent un cadre basé sur la Génération Effondrée (Collapsed Generation), un phénomène où des conditions d'entrée spécifiques poussent un modèle de diffusion à produire des images hautement cohérentes à travers de multiples graines stochastiques (seeds), supprimant la diversité habituelle de la génération.

Concept Central : Génération Effondrée

Dans des conditions normales, des échantillonnages stochastiques indépendants d'un modèle de diffusion produisent des images diverses. Cependant, sous certaines conditions d'entrée dépendantes du modèle, la stochasticité de l'échantillonnage est supprimée, provoquant la convergence de différentes trajectoires de génération vers des sorties visuellement similaires. Les auteurs formalisent cela via la cohérence inter-graines (cross-seed consistency), mesurée par la similitude perceptuelle (utilisant les scores SSCD) de $K$ images générées à partir de la même condition mais de différentes graines de bruit initiales.

Construction de l'Empreinte Digitale

Le cadre construit les empreintes différemment selon l'accès disponible au modèle suspect, mais les deux reposent sur le même principe de vérification :

Boîte Blanche (Accès au Pipeline) – Synthèse d'Embedding Continu :
- Objectif : Synthétiser des embeddings de conditionnement continus qui induisent l'effondrement.
- Défi : Optimiser directement pour la cohérence de l'image finale est coûteux en termes de calcul en raison de la nécessité de dériver à travers tout le processus de débruitage.
- Solution : Les auteurs observent que la structure stable des générations effondrées émerge tôt dans le processus de débruitage. Ils emploient une stratégie d'optimisation tronquée qui minimise la dispersion entre les latents intermédiaires après quelques étapes de débruitage ( $t_{trunc}$ ). Cet objectif de substitution réduit considérablement les coûts de calcul et de mémoire tout en synthétisant efficacement les embeddings d'empreinte ( $C_f$ ).
Boîte Noire (API Uniquement) – Minage de Prompts Naturels :
- Objectif : Identifier des prompts en langage naturel qui induisent l'effondrement sans recherche exhaustive.
- Solution : Les auteurs exploitent la corrélation entre la génération effondrée et une faible perte d'entraînement (training loss). Ils filtrent les données d'entraînement du modèle source pour identifier les échantillons présentant des pertes de débruitage exceptionnellement basses. Ces échantillons à faible perte sont fortement enrichis de prompts effondrés. Le cadre mine ces prompts, évalue leur cohérence inter-graines sur le modèle source, et sélectionne les meilleurs candidats pour former un ensemble de prompts naturels ( $P_f$ ). Cela garantit que les requêtes ressemblent à des interactions de service ordinaires, renforçant ainsi la furtivité.

Protocole de Vérification

Processus : Le vérificateur applique les conditions d'empreinte (embeddings ou prompts) au modèle suspect et génère $K$ images par condition.
Métrique : La cohérence inter-graines est calculée pour chaque condition. Les résultats sont agrégés sur l'ensemble de l'empreinte.
Décision : Un test t prédictif à queue droite compare la cohérence agrégée du modèle suspect par rapport à une distribution de référence du comportement de génération normale établie sur le modèle source. Une cohérence élevée statistiquement significative ( $p_{val} < \tau_f$ ) indique la propriété.

Contributions Clés

Identification de la Génération Effondrée : L'article identifie la génération effondrée comme une signature comportementale intrinsèque au modèle. Il démontre que ce comportement est spécifique au processus de génération appris (influencé par l'architecture, les données et la dynamique d'optimisation) et qu'il est difficile pour des modèles entraînés indépendamment de le reproduire.
Cadre Unifié : Un cadre unique relie la vérification en boîte blanche et en boîte noire. Il synthétise des embeddings continus pour les pipelines contrôlables et mine des prompts naturels pour les services de type API uniquement, les deux étant vérifiés via la même métrique de cohérence inter-graines.
Efficacité et Furtivité :
- La stratégie d'optimisation tronquée pour l'empreinte en boîte blanche évite le coût de la dérivation de l'intégralité du débruitage.
- La stratégie de minage de prompts naturels pour la vérification en boîte noire évite les anormalités linguistiques des suffixes adverses, rendant les requêtes indiscernables des interactions utilisateur normales.
Robustesse : Les empreintes restent vérifiables dans les dérivés faisant l'objet d'un fine-tuning et sous des obfuscations courantes (quantification, élagage) ainsi que face aux interventions adaptatives au niveau de la requête.

Résultats

Des expériences approfondies ont été menées sur des modèles de diffusion basés sur UNet et des Transformers (incluant des variantes de Stable Diffusion).

Discrimination : Les empreintes distinguent avec succès les différents modèles sources avec une confusion faible. Les paires prompt-modèle correspondantes présentent une cohérence inter-graines nettement plus élevée que les paires non correspondantes.
Robustesse : La méthode reste efficace même après que le modèle suspect a subi un fine-tuning, un élagage ou une quantification.
Budget : La vérification nécessite un budget de requêtes modeste, ce qui la rend pratique pour un déploiement réel.

Signification et Revendications

L'article affirme établir la génération effondrée comme une source de preuve fiable et intrinsèque pour la vérification non-invasive de la propriété des modèles de diffusion. En exploitant un phénomène qui est inhérent à la distribution de données apprise par le modèle et à sa dynamique d'optimisation, le cadre évite les pièges du tatouage numérique invasif (dégradation de la qualité, surcharge d'entraînement) et les limitations des méthodes non-invasives existantes (contraintes d'accès, requêtes détectables).

Les auteurs positionnent leur travail comme une solution à la tension croissante dans les litiges de PI, fournissant un mécanisme qui :

Ne nécessite pas de modifier le modèle suspect.
Fonctionne que le modèle soit exposé sous forme de point de contrôle ou d'API hébergée.
Fournit des preuves statistiquement rigoureuses de propriété, robustes contre les obfuscations adverses courantes.

La signification réside dans le changement de paradigme, passant de "l'insertion de signaux" à "l'élicitation de signatures comportementales intrinsèques", offrant un outil polyvalent pour protéger la propriété intellectuelle des modèles d'IA générative dans divers scénarios de déploiement.