💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

Cet article introduit les signatures de débruitage spectral (Spectral Denoising Signatures, SDS), une méthode d'attribution non invasive qui identifie la source des images générées par diffusion en empreinte l'empreinte géométrique spectrale unique de chaque modèle dans son comportement de débruitage, atteignant une grande précision à travers diverses architectures et conditions d'entraînement sans nécessiter d'inversion ni d'optimisation.

Auteurs originaux : Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une immense bibliothèque d'art, mais que chaque tableau se ressemble exactement à l'œil nu. Vous ne pouvez pas déterminer si un tableau spécifique a été réalisé par l'« Artiste A » ou l'« Artiste B » simplement en regardant l'image finale. Dans le monde de l'IA, c'est le problème des Modèles de Diffusion. Ce sont les moteurs derrière des outils comme Stable Diffusion qui créent des images à partir de texte. Même si deux modèles d'IA différents sont entraînés sur des ensembles de photos différents, ils apprennent souvent à peindre de manière si similaire que leurs images finales sont indiscernables.

Ce document présente un nouvel outil de détective appelé Signatures de Débruitage Spectral (SDS) pour résoudre ce mystère. Voici comment cela fonctionne, expliqué simplement :

Le Problème : Le « Tableau Fini » est une impasse

La plupart des méthodes actuelles tentent d'identifier l'artiste en regardant le tableau fini (l'image générée).

La faille : Si deux artistes utilisent le même type de toile et de peinture (la même technologie d'« Autoencodeur » sous-jacente), leurs tableaux finis sont statistiquement identiques. C'est comme essayer de dire si un gâteau a été cuit par deux boulangers ayant utilisé exactement la même recette et le même four ; le gâteau lui-même ne donne aucun indice.
L'ancienne méthode : Certaines méthodes tentent de rétro-concevoir la peinture pour revenir aux ingrédients bruts (un processus appelé « inversion »). C'est lent, coûteux en calcul, et échoue complètement si les boulangers ont utilisé le même four.

La Solution : Écouter le processus de « Débruitage »

Les auteurs ont réalisé que le secret ne réside pas dans l'image finale, mais dans la manière dont l'artiste nettoie le bruit pour la créer.

Imaginez un modèle de diffusion comme un sculpteur partant d'un bloc d'argile bruyant et rempli de statique. Pour obtenir la statue finale, le sculpteur doit enlever le bruit étape par étape.

L'intuition : Même si deux sculpteurs aboutissent à la même statue, ils peuvent tailler l'argile selon des motifs légèrement différents. L'un peut être très méticuleux avec les détails fins (hautes fréquences), tandis qu'un autre se concentre d'abord sur les formes globales (basses fréquences).
La partie « Spectrale » : Les auteurs traitent ces « motifs de taille » comme des ondes sonores. Ils décomposent le bruit en différentes « fréquences » (comme les basses, les médiums et les aigus en musique).

Comment fonctionne le SDS : La « Sonde de Fréquence »

Au lieu d'attendre que la statue soit terminée, la méthode SDS agit comme un diapason ou un sonar qui tapote le sculpteur pendant qu'il travaille.

La configuration : Le système prend une image standard et la transforme en un code « latent » (une version compressée de l'image).
Le Tapotement : Il injecte une quantité infime et contrôlée de « bruit » dans une bande de fréquence spécifique (comme chuchoter une note particulière à l'oreille du sculpteur).
La Réaction : Il demande au modèle d'IA d'effectuer juste une étape de son processus de nettoyage (débruitage).
L'Empreinte : Le système mesure comment ce murmure de bruit spécifique s'est dispersé. Le bruit est-il resté dans les basses ? A-t-il sauté vers les aigus ? A-t-il disparu ?
- Chaque modèle d'IA possède une « personnalité » unique dans sa façon de déplacer cette énergie. Ce motif de mouvement est la Signature de Débruitage Spectral.

Pourquoi est-ce un changement de paradigme ?

Pas de réentraînement nécessaire : Vous n'avez pas besoin de modifier l'IA ou d'ajouter des filigranes cachés. Vous posez simplement une question et écoutez la réponse.
Cela fonctionne sur les « Jumeaux » : Le papier a testé cela sur des modèles presque identiques (comme Stable Diffusion v1.4 et v1.5, qui partagent 99 % de leur code). Bien qu'ils produisent des images visuellement identiques, leurs « motifs de taille » (géométrie spectrale) étaient suffisamment différents pour que le SDS puisse les distinguer avec une précision de 99,9 %.
C'est robuste : Même si vous prenez l'image finale et que vous la floutez, la recadrez ou changez sa luminosité, l'« empreinte » reste intacte car l'empreinte concerne la façon dont le modèle pense, et non ce à quoi ressemble l'image.

L'essentiel à retenir

Le papier prouve que pour identifier un modèle d'IA, il ne faut pas regarder l'output (l'image) ; il faut regarder le processus (comment il nettoie le bruit).

En traitant le comportement interne de « nettoyage » de l'IA comme un instrument de musique unique, les auteurs ont créé une méthode capable de dire de manière fiable : « Cette image a été faite par le Modèle X », même quand le Modèle X et le Modèle Y se ressemblent exactement pour nos yeux. C'est comme être capable d'identifier un chanteur non pas par la chanson qu'il a terminée, mais par la façon unique dont il se racle la gorge avant de chanter une seule note.

Résumé technique : Attribution des modèles de diffusion via le couplage spectral des réponses du débruiteur

1. Énoncé du problème

Le document traite du défi de l'attribution des modèles de diffusion : déterminer quel modèle de diffusion spécifique a généré une image donnée. Cela est crucial pour la vérification de la provenance, la protection de la propriété intellectuelle et la détection des usages malveillants.

La difficulté fondamentale réside dans le fait que les modèles de diffusion entraînés sur des jeux de données différents convergent souvent vers des fonctions de score similaires, produisant des sorties visuellement indiscernables. Par conséquent, les méthodes d'attribution reposant uniquement sur les images générées (signaux de l'espace de sortie) font face à une ambiguïté inhérente. Les approches non invasives existantes souffrent de limitations fondamentales :

Les méthodes basées sur des classifieurs peinent à distinguer des variantes architecturalement similaires qui produisent des sorties visuellement semblables.
Les méthodes basées sur l'inversion (ex: RONAN, LATENTTRACER) reposent sur des pertes de reconstruction. Lorsque les modèles candidats partagent le même auto-encodeur (VAE), ces pertes deviennent non informatives, provoquant l'effondrement de ces méthodes vers un choix aléatoire.
Les méthodes invasives (ex: tatouage numérique/watermarking) nécessitent une modification ou un réentraînement du modèle, ce qui dégrade la qualité de génération et est inapplicable aux modèles open-source existants.

L'article postule que le signal discriminatif ne réside pas dans la sortie générée, mais dans la fonction de débruitage elle-même, plus précisément dans sa géométrie spectrale.

2. Méthodologie : Signatures de débruitage spectrales (SDS)

Les auteurs proposent les Signatures de débruitage spectrales (SDS), une méthode d'attribution non invasive qui identifie un modèle en sondant son comportement de débruitage plutôt qu'en analysant ses sorties.

Concept clé

La fonction de score de débruitage d'un modèle présente une géométrie spectrale distinctive, reflétée par la manière dont elle redistribue l'énergie à travers les bandes de fréquences spatiales pendant le processus de débruitage. Ce comportement est intrinsèque à la fonction de score apprise par le modèle et est indépendant du prompt spécifique ou de la graine de bruit utilisée pour la génération.

Le pipeline SDS

Standardisation : Pour garantir que les signatures reflètent l'identité du modèle plutôt que des artefacts, tous les modèles candidats utilisent un VAE partagé pour encoder les images d'entrée dans un espace latent ( $z_0$ ) cohérent et un scheduler partagé. Le sondage est effectué avec des plongements textuels vides pour éliminer les signaux dépendants du prompt.
Partitionnement spectral : Le plan fréquentiel de l'espace latent est partitionné en $K$ anneaux radiaux concentriques. L'anneau 0 couvre les basses fréquences (structure globale), tandis que l'anneau $K-1$ couvre les hautes fréquences (texture fine).
Sondage contrôlé par la fréquence :
- Injection : Un bruit limité en bande ( $\eta^{(k)}$ ) est injecté dans un anneau de fréquence $k$ spécifique à un instant $t$ choisi.
- Requête du débruiteur : Le débruiteur $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ est interrogé pour prédire le bruit.
- Analyse du résidu : Le résidu $r = \hat{\eta} - \eta^{(k)}$ est calculé. L'énergie de ce résidu est mesurée à travers tous les anneaux de fréquences de sortie $j$ .
- Matrice de couplage : Cela produit une matrice de couplage $C \in \mathbb{R}^{K \times K}$ , où $C[k, j]$ quantifie comment l'énergie injectée dans l'anneau $k$ est acheminée vers l'anneau $j$ par le débruiteur. Cette matrice est une projection de la jacobienne du débruiteur.
Agrégation des signatures :
- Les mesures sont prises à travers plusieurs amplitudes de perturbation ( $S$ ) et plusieurs instants ( $T_n$ ) couvrant la trajectoire de débruitage.
- Les matrices de couplage résultantes sont concaténées et aplaties pour former un vecteur de signature de haute dimension $\Phi(M, z_0)$ .
- Construction de prototypes : Pour chaque modèle, une signature prototype $\Psi(M)$ est créée en moyennant les signatures de $N$ images de référence. Une normalisation par ligne est appliquée pour supprimer les variations d'échelle dépendantes du contenu.
Identification : Une image de requête est encodée, sondée pour générer sa signature, puis comparée à des prototypes stockés via une correspondance de type plus proche voisin (argmin) ou un classifieur linéaire entraîné (LinearSVC).

3. Contributions clés

Cadre SDS : Une méthode d'attribution non invasive qui sonde la géométrie spectrale du débruiteur via de simples passages avant (forward passes), ne nécessitant ni inversion, ni optimisation, ni modification du modèle.
Signatures de modèles intrinsèques : Démonstration que les signatures de couplage spectral sont intrinsèques au modèle, robustes aux distorsions et discriminantes à travers les variations de données d'entraînement, d'architecture et de procédures d'entraînement.
Résolution des modes de défaillance des bases de référence : Preuve que le sondage direct du débruiteur résout l'échec fondamental des méthodes d'inversion existantes lorsque les modèles partagent le même auto-encodeur.

4. Résultats expérimentaux

La méthode a été évaluée sur une tâche en ensemble fermé impliquant huit modèles de diffusion divers (incluant Stable Diffusion v1.4/v1.5, SDXL, PixArt- $\alpha$ et des variantes affinées) avec des données d'entraînement, des architectures et des procédures d'entraînement variés.

Précision d'attribution : SDS a atteint une précision d'environ 99,9 % sur les huit modèles en utilisant un classifieur LinearSVC. Il a réussi à distinguer SD v1.4 de SD v1.5 (qui partagent presque tous les poids et le même VAE), un cas où les caractéristiques basées sur la sortie avaient totalement échoué.
Généralisation inter-domaines : Lorsque des prototypes construits à partir de prompts SD ont été testés sur des images générées à partir de prompts MS-COCO, le LinearSVC a maintenu une prision de 96,2 %, soit une baisse de seulement 3,8 points de pourcentage. Cela indique que les signatures sont largement intrinsèques au modèle plutôt qu'au prompt.
Robustesse : SDS est resté hautement robuste face aux distorsions de post-traitement sévères (rotation, compression JPEG, recadrage, mise à l'échelle de la luminosité, bruit et flou). Alors que les distorsions dans l'espace des pixels dégradaient considérablement la qualité de l'image, la signature de routage spectral restait intacte, le LinearSVC atteignant plus de 90 % de précision même sous un bruit et un flou importants.
Comparaison avec les bases de référence :
- RONAN et LATENTTRACER (basés sur l'inversion) se sont effondrés à environ 20–27 % de précision (proche du hasard) pour les cinq modèles partageant le même VAE.
- SDS a atteint 100 % de précision sur ces mêmes modèles, surpassant la meilleure base de référence (LATENTTRACER) de 55 points de pourcentage et RONAN de 70 points de pourcentage sur les paires de modèles les plus difficiles.

5. Signification et affirmations

L'article affirme que l'identité du modèle est encodée dans la géométrie spectrale de la jacobienne du débruiteur, et non dans les sorties générées. Cette découverte établit une base rigoureuse pour l'attribution, indépendante de l'auto-encodeur utilisé.

Praticité : SDS ne nécessite que des passages avant standards, ce qui le rend applicable à l'immense écosystème des modèles de diffusion open-source existants sans nécessiter de réentraînement ou de tatouage numérique.
Insight fondamental : Ce travail démontre que même lorsque les modèles convergent vers des fonctions de score visuellement similaires, ils conservent des "empreintes spectrales" distinctes dans leur manière d'acheminer l'énergie à travers les bandes de fréquences.
Limitations : Les auteurs reconnaissent que SDS opère actuellement dans un cadre en ensemble fermé (la source du modèle doit être dans le registre) et nécessite un accès white-box aux poids du modèle candidat (ce qui est satisfait par les modèles open-source). Il ne détecte pas les altérations post-génération.

En résumé, l'article soutient qu'en déplaçant l'attention de ce que un modèle génère vers comment il débruite, on peut obtenir une attribution fiable et non invasive, même dans les scénarios les plus complexes où les modèles partagent des architectures et des auto-encodeurs.