💻 computer science

Vision-Encoder Behavioral Fingerprints of Image-to-Image Generative Models: A Training-Paradigm-Driven Taxonomy of Six Commercial APIs

Cet article propose une taxonomie de six modèles génératifs d'image à image commerciaux pilotée par le paradigme d'entraînement, démontrant qu'ils se partitionnent en deux clusters comportementaux distincts — entraînés par édition versus adaptés lors de l'échantillonnage — sur la base de leurs réponses à des perturbations adverses sous-JND adaptatives au contenu mesurées via les distances de jetons DINOv2 gelés.

Auteurs originaux : Hunter Hill

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hunter Hill

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une encre invisible très spéciale, que vous pouvez peindre sur une photo. Cette encre est si ténue que l'œil humain ne peut pas la voir, mais elle laisse une « empreinte digitale » unique dans l'ADN numérique de l'image.

Ce document traite de ce qui arrive lorsque vous prenez des photos peintes avec cette encre invisible et que vous les passez à travers six différents outils d'IA populaires conçus pour éditer ou redessiner des images (comme transformer un croquis en photo, ou changer le style d'une image).

Voici la décomposition simple de ce que les chercheurs ont découvert :

1. Les deux groupes de « personnalité »

Les chercheurs ont testé six systèmes d'IA commerciaux différents. Ils s'attendaient à ce que les résultats dépendent de la manière dont l'IA a été construite (son architecture). Au lieu de cela, ils ont constaté que les IA se répartissaient en deux groupes de « personnalité » distincts, basés entièrement sur la manière dont elles ont été entraînées :

Les « Éditeurs Prudents » (La bande serrée) : Ces IA (comme Flux Kontext, Qwen Edit et Gemini) ont été entraînées spécifiquement pour suivre des instructions afin d'éditer une photo existante. Lorsqu'on leur donne une photo, elles essaient de rester aussi proches que possible de l'original.
- L'analogie : Considérez ces outils comme un photographe utilisant Photoshop. Ils ajustent l'éclairage ou les couleurs, mais conservent la structure et les détails de la photo originale. Ils préservent presque parfaitement votre empreinte digitale d'encre invisible.
Les « Gros Régénérateurs » (La bande de dérive) : Ces IA (comme SDXL, SD3 et gpt-image-1) ont été initialement entraînées pour créer des images à partir de zéro (text-to-image) et ont simplement été adaptées pour éditer des photos plus tard. Lorsqu'on leur donne une photo, elles ont tendance à la « réimaginer » de toutes pièces en se basant sur leur entraînement.
- L'analogie : Considérez ces outils comme un peintre regardant une photo et peignant une nouvelle version d'elle. Ils peuvent capturer l'ambiance générale, mais ils modifient considérablement les coups de pinceau et les détails. Ce faisant, ils effacent votre empreinte digitale d'encre invisible et la remplacent par leur propre « signature de peintre ».

2. L'entraînement compte plus que la marque

La découverte la plus surprenante est que la « marque » ou le type spécifique de technologie (comme s'il s'agit d'un modèle de diffusion ou d'un modèle de langage) importait moins que la méthode d'entraînement.

Même si deux IA utilisent la même technologie sous-jacente, si l'une est entraînée pour « éditer prudemment » et l'autre pour « régénérer lourdement », elles finissent par appartenir à des groupes complètement différents.
Les chercheurs ont constaté que savoir quelle IA a traité l'image expliquait 70 % du comportement, tandis que le type d'image (un visage versus un paysage) n'expliquait presque rien (0,2 %).

3. Le test de l'« empreinte digitale »

Pour déterminer quelle IA a effectué le travail, les chercheurs ont utilisé un test simple :

Ils ont pris la photo originale (la référence propre).
Ils ont pris la photo éditée par l'IA.
Ils ont utilisé un outil de vision par ordinateur intelligent (DINOv2) pour mesurer les différences infimes entre les deux.

Le Résultat :

Si l'IA était un « Éditeur Prudent », les différences étaient minuscules et cohérentes.
Si l'IA était un « Gros Régénérateur », les différences étaient larges et chaotiques.

En utilisant seulement cette mesure, ils pouvaient deviner correctement quelle IA parmi les six avait traité une photo environ 51 % du temps. Puisqu'il y avait six options, le hasard ne vous donnerait que 16 % de réussite. Ainsi, 51 % représente une amélioration significative.

4. Pourquoi la détection « aveugle » a échoué

Les chercheurs ont également essayé d'identifier l'IA sans regarder la photo originale (un test « aveugle »), ce qui est la manière dont la plupart des détecteurs d'IA actuels fonctionnent.

Le Résultat : Les détecteurs aveugles ont échoué lamentablement sur les « Éditeurs Prudents ». Parce que ces IA gardaient la photo très proche de l'original, les détecteurs aveugles ne pouvaient pas les distinguer de l'image originale ou les uns des autres. Ils étaient essentiellement en train de deviner.
La Leçon : La « photo originale » est la clé. Sans elle, vous ne pouvez pas savoir qui a fait l'édition prudente. Avec elle, vous le pouvez.

5. Qu'advient-il de l'« encre invisible » ?

Les chercheurs ont également mesuré quelle quantité de leur « encre invisible » spéciale a survécu au voyage à travers l'IA :

Gemini : A conservé environ 98 % de l'encre.
Flux Kontext : A conservé environ 80 % de l'encre (bien que l'image paraisse presque identique à l'œil humain).
gpt-image-1 : A totalement effacé l'encre et l'a remplacée par son propre bruit.

La conclusion

Ce document suggère que nous devrions cesser de considérer ces outils d'encre invisible uniquement comme une « défense » (essayer d'empêcher l'IA de voler l'art). Ils sont plutôt mieux utilisés comme des outils médico-légaux.

Si vous avez la photo originale et une photo suspectée d'avoir été éditée par une IA, vous pouvez utiliser cette méthode pour prouver quelle IA a touché l'image. Cependant, cela ne fonctionne que si vous possédez la photo originale pour la comparaison. Si vous n'avez pas l'original, et que l'IA était un « Éditeur Prudent », la technologie actuelle ne peut pas vous dire quelle IA a effectué le changement.

Résumé technique : Empreintes comportementales des encodeurs de vision des modèles génératifs d'image à image

Énoncé du problème

Alors que les systèmes d'IA générative d'image à image (img2img) commerciaux prolifèrent, il est crucial de comprendre comment ces systèmes de type « boîte noire » interagissent avec les perturbations adverses dans le domaine des pixels (ex. : Glaze, Mist, PhotoGuard). La littérature existante sur l'attribution se concentre principalement sur les sorties de texte vers image (T2I) dans des contextes aveugles où aucune image de référence n'existe. L'attribution img2img présente un défi méthodologique distinct : une image de référence propre est disponible par construction. Le document aborde trois questions fondamentales :

Comment les systèmes img2img commerciaux interagissent-ils avec les perturbations adverses sub-JND (sub-just-noticeable-difference / sous le seuil de perception humaine) ?
Peut-on attribuer des systèmes d'IA spécifiques à partir de leur comportement de sortie lorsqu'une référence propre est disponible ?
Quelles signatures comportementales ces systèmes laissent-ils, et sont-elles dictées par l'architecture ou par le paradigme d'entraînement ?

Méthodologie

L'étude utilise un cadre ancré sur la référence pour analyser six API img2img de production : gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img et Qwen Image Edit.

Corpus de données

Échelle : 3 588 appels d'API valides (après un taux de réussite de 99,7 %) dérivés d'un corpus de 200 images.
Domaines : Photographies COCO val2017, portraits CelebA-HQ-256 et images générées par Flux.
Répétition : Trois répétitions par cellule (image, IA).
Perturbation : Un pipeline personnalisé adaptatif au contenu applique des perturbations adverses sub-JND (L∞ ≤ 0,10, budget JND 2,0) en utilisant 120 étapes PGD contre un ensemble d'encodeurs de vision gelés.

Espace de caractéristiques

Pour chaque image de sortie $O$ et référence propre $R$ (redimensionnée en 518×518), les auteurs calculent un vecteur de caractéristiques comportementales en 2D en utilisant un encodeur DINOv2 ViT-B/14 gelé :

patch_mean : La distance cosinus moyenne par patch entre les plongements (embeddings) de jetons du dernier niveau de $O$ et $R$ sur une grille de 37×37. Cela capture la modification au niveau sémantique.
ssim_clean : La similitude structurelle de luminance entre $O$ et $R$ , capturant la fidélité visuelle au niveau des pixels.

Classification et analyse

Classification par bande : Les sorties sont catégorisées en bandes « serrées » (faible patch_mean, ≤ 0,25) ou « de dérive » (haut patch_mean, > 0,25) basées sur la distribution empirique.
Attribution : Un classificateur de type « leave-one-out » (LOO) à centroïde le plus proche opère sur le plan de caractéristiques 2D sans paramètres appris, classant les points exclus en fonction de la distance euclidienne par rapport au centroïde moyen de chaque IA.
Rigueur statistique : Les intervalles de confiance sont dérivés via un bootstrap de grappes non paramétrique de 2 000 itérations au niveau de l'image pour tenir compte de la corrélation intra-image.

Résultats clés

1. Une taxonomie de deux bandes basée sur le paradigme d'entraînement

Les six systèmes se partitionnent en deux bandes comportementales distinctes et invariantes par rapport à l'image sur le plan 2D :

Bande serrée (Tight Band) : Flux Kontext, Qwen Image Edit et Gemini. Ces modèles préservent étroitement la structure de l'entrée.
Bande de dérive (Drift Band) : SDXL, SD3 et gpt-image-1. Ces modèles présentent une dérive sémantique significative par rapport à l'entrée.

Résultat crucial : La variable discriminante est le paradigme d'entraînement, et non la famille d'architecture.

Les modèles entraînés sur des données d'édition (supervision appariée propre-vers-éditée) se regroupent dans la bande serrée, qu'ils soient basés sur la diffusion (Flux) ou multimodaux autorégressifs (Qwen, Gemini).
Les modèles dont les architectures T2I de base sont adaptées au moment de l'échantillonnage (en commençant le débruitage à partir d'une entrée partiellement bruitée) se regroupent dans la bande de dérive, qu'ils soient de type diffusion (SDXL/SD3) ou autorégressifs (gpt-image-1).

Décomposition de la variance : L'identité de l'IA explique 69,5 % de la variance comportementale, tandis que le domaine de l'image n'explique que 0,2 %.

2. Précision de l'attribution

Précision LOO à six voies : Le cadre ancré sur la référence atteint une précision de 51,4 % [49,3, 53,4] sur six IA, surpassant de manière significative la ligne de base de probabilité de 16,7 %.
Précision pilote : Sur un test pilote focalisé sur 3 IA, l'attribution par image (moyenne de trois répétitions) atteint 82,2 % [73,3, 90,0].
Comparaison avec la base aveugle : Testées sur le même corpus, les méthodes d'attribution aveugles (AEROBLADE et un encodeur DINOv2 de type PRISM) atteignent respectivement seulement 0,222 et 0,373 de précision. Les méthodes aveugles performent au niveau du hasard dans la « bande serrée » (où les sorties sont des copies presque fidèles), là où la méthode ancrée sur la référence réussit.

3. Survie différentielle de la perturbation

L'étude quantifie la quantité de signal advers de survie à travers le pipeline img2img :

Gemini : Environ 98 % du signal de perturbation survit (presque intact).
Flux Kontext : Environ 80 % survivent, malgré un SSIM de 0,99 de fidélité visuelle. Le processus de diffusion agit comme un filtre sélectif, atténuant le contenu de la perturbation à haute fréquence tout en préservant les détails perceptibles par l'humain.
gpt-image-1 : La perturbation est effectivement écrasée par la propre variance générative du modèle.

Signification et revendications

Cet article recadre les pipelines de perturbation dans le domaine des pixels, passant d'outils purement défensifs à des primitives forensiques pour l'attribution du traitement d'image par l'IA ancrée sur la référence.

Paradigme d'entraînement plutôt qu'architecture : La principale contribution est de démontrer que les empreintes comportementales sont déterminées par le fait que le modèle a été entraîné pour l'édition ou adapté de T2I au moment de l'échantillonnage (bande de dérive), plutôt que par la famille d'architecture sous-jacente (Diffusion vs AR).
Nécessité de la référence : L'étude valide empiriquement que l'image de référence propre est le signal « porteur » pour l'attribution. Les méthodes aveugles échouent à distinguer les modèles qui préservent les entrées (la bande serrée), tandis que l'approche ancrée sur la référence réussit en mesurant la déviation par rapport à l'original connu.
Mesure systématique : Ce travail fournit la première mesure systématique de l'« effet de purification par diffusion » à travers les systèmes img2img commerciaux déployés, montrant que les taux de survie varient systématiquement selon le paradigme d'entraînement.

Les auteurs concluent que bien que ce schéma nécessite de conserver l'image originale (limitant son applicabilité aveugle), il offre un seuil prêt pour le déploiement et un espace de caractéristiques comportementales validé pour attribuer les reproductions quasi-fidèles générées par l'IA commerciale, un régime où la détection aveugle échoue actuellement.