💻 computer science

Vision-Encoder Behavioral Fingerprints of Image-to-Image Generative Models: A Training-Paradigm-Driven Taxonomy of Six Commercial APIs

Dit artikel stelt een op het trainingsparadigma gebaseerde taxonomie voor van zes commerciële image-to-image generatieve modellen, waarbij wordt aangetoond dat zij zich verdelen in twee duidelijke gedragsklusters — edit-getraind versus tijdens de sampling-tijd aangepast — op basis van hun reacties op content-adaptieve sub-JND adversariële perturbaties, gemeten via bevroren DINOv2 token-afstanden.

Oorspronkelijke auteurs: Hunter Hill

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hunter Hill

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel speciale, onzichtbare inkt hebt die je op een foto kunt schilderen. Deze inkt is zo vaag dat het menselijk oog het niet kan zien, maar het laat een unieke "vingerafdruk" achter op het digitale DNA van de afbeelding.

Dit artikel gaat over wat er gebeurt als je foto's die met deze onzichtbare inkt zijn beschilderd door zes verschillende populaire AI-tools haalt die ontworpen zijn om afbeeldingen te bewerken of opnieuw te tekenen (zoals het veranderen van een schets in een foto, of het veranderen van de stijl van een plaatje).

Hier is de eenvoudige samenvatting van wat de onderzoekers hebben gevonden:

1. De twee "persoonlijkheidsgroepen"

De onderzoekers testten zes verschillende commerciële AI-systemen. Ze verwachtten dat de resultaten zouden afhangen van hoe de AI was gebouwd (de architectuur). In plaats daarvan zagen ze dat de AI's zichzelf verdeelden in twee duidelijke "persoonlijkheidsgroepen", gebaseerd op volledig hoe ze waren getraind:

De "Zorgvuldige Bewerkers" (De nauwe band): Deze AI's (zoals Flux Kontext, Qwen Edit en Gemini) zijn specifiek getraind om instructies op te volgen om een bestaande foto te bewerken. Wanneer je hen een foto geeft, proberen ze deze zo dicht mogelijk bij het origineel te houden.
- De analogie: Denk aan deze AI's als een fotograaf die Photoshop gebruikt. Ze passen de belichting of kleuren aan, maar houden de structuur en details van de originele foto intact. Ze bewaren je onzichtbare inkt-vingerafdruk bijna perfect.
De "Zware Regeneratoren" (De driftband): Deze AI's (zoals SDXL, SD3 en gpt-image-1) zijn oorspronkelijk getraind om afbeeldingen vanaf nul te creëren (text-to-image) en werden later aangepast om foto's te bewerken. Wanneer je hen een foto geeft, hebben ze de neiging om het beeld opnieuw te "verbeelden" vanuit het niets, gebaseerd op hun training.
- De analogie: Denk aan deze AI's als een schilder die naar een foto kijkt en een nieuwe versie ervan schildert. Ze vangen misschien de algemene sfeer, maar ze veranderen de penseelstreken en details aanzienlijk. Hierdoor wassen ze je onzichtbare inkt-vingerafdruk weg en vervangen ze deze door hun eigen "schildershandtekening".

2. Training is belangrijker dan het merk

De meest verrassende bevinding is dat het "merk" of het specifieke type technologie (zoals of het een diffusiemodel of een taalmodel is) minder belangrijk was dan de trainingsmethode.

Zelfs als twee AI's dezelfde onderliggende technologie gebruiken, als de één getraind is om "zorgvuldig te bewerken" en de ander om "zwaar te regenereren", eindigden ze in volledig verschillende groepen.
De onderzoekers ontdekten dat het weten welke AI de afbeelding heeft verwerkt, 70% van het gedrag verklaarde, terwijl het type afbeelding (een gezicht versus een landschap) bijna niets verklaarde (0,2%).

3. De "Vingerafdruktest"

Om te achterhalen welke AI het werk had gedaan, gebruikten de onderzoekers een eenvoudige test:

Ze namen de originele foto (de schone referentie).
Ze namen de door AI bewerkte foto.
Ze gebruikten een slim computervisie-instrument (DINOv2) om de minuscule verschillen tussen de twee te meten.

Het resultaat:

Als de AI een "Zorgvuldige Bewerker" was, waren de verschillen minuscuul en consistent.
Als de AI een "Zware Regenerator" was, waren de verschillen groot en chaotisch.

Door alleen deze ene meting te gebruiken, konden ze met een nauwkeurigheid van 51% correct raden welke van de zes AI's de foto had verwerkt. Aangezien er zes opties waren, zou willekeurig gokken je slechts 16% goed laten scoren. Dus 51% is een significante verbetering.

4. Waarom "Blinde" Detectie Faalde

De onderzoekers probeerden ook de AI te identificeren zonder naar de originele foto te kijken (een "blinde" test), wat is hoe de meeste huidige AI-detectoren werken.

Het resultaat: De blinde detectoren faalden hopeloos bij de "Zorgvuldige Bewerkers". Omdat deze AI's de foto zo dicht bij het origineel hielden, konden de blinde detectoren ze niet onderscheiden van de originele afbeelding of van elkaar. Ze waren in feite aan het gokken.
De les: De "originele foto" is de sleutel. Zonder de originele foto kun je niet zien wie de zorgvuldige bewerking heeft uitgevoerd. Met de originele foto kan dat wel.

5. Wat gebeurt er met de "Onzichtbare Inkt"?

De paper mat ook hoeveel van hun speciale "onzichtbare inkt" de reis door de AI overleefde:

Gemini: Behield ongeveer 98% van de inkt.
Flux Kontext: Behield ongeveer 80% van de inkt (hoewel de afbeelding voor het menselijk oog bijna identiek leek).
gpt-image-1: Wiste de inkt volledig uit en verving deze door zijn eigen ruis.

De Kernboodschap

Dit paper suggereert dat we deze onzichtbare inkt-tools niet alleen moeten zien als "verdediging" (proberen te voorkomen dat AI kunst steelt). In plaats daarvan zijn ze beter te gebruiken als forensische instrumenten.

Als je de originele foto hebt en een verdachte AI-bewerkte foto, kun je deze methode gebruiken om te bewijzen welke AI de afbeelding heeft aangeraakt. Dit werkt echter alleen als je de originele foto hebt om mee te vergelijken. Als je de originele foto niet hebt, en de AI was een "Zorgvuldige Bewerker", dan kan de huidige technologie je niet vertellen welke AI de wijziging heeft aangebracht.

Technische Samenvatting: Gedragsvingerafdrukken van Vision-Encoder bij Image-to-Image Generatieve Modellen

Probleemstelling

Nu commerciële image-to-image (img2img) generatieve AI-systemen prolifereren, is er een kritieke behoefte om te begrijpen hoe deze black-box systemen interageren met perturbaties in het pixeldomein (bijv. Glaze, Mist, PhotoGuard). Bestaande attributieliteratuur richt zich primair op text-to-image (T2I) outputs in blind settings waar geen referentieafbeelding aanwezig is. Echter, img2img attributie presenteert een onderscheidende methodologische uitdaging: een schone referentieafbeelding is door constructie beschikbaar. Dit artikel adresseert drie kernvragen:

Hoe interageren commerciële img2img systemen met sub-just-noticeable-difference (sub-JND) adversarial perturbaties?
Kunnen specifieke AI-systemen worden toegeschreven aan hun outputgedrag wanneer een schone referentie beschikbaar is?
Welke gedragssignaturen laten deze systemen achter, en worden deze gedreven door architectuur of trainingsparadigma?

Methodologie

De studie maakt gebruik van een referentie-verankerd framework om zes productierenderende img2img API's te analyseren: gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img, en Qwen Image Edit.

Datacorpus

Schaal: 3.588 geldige API-aanroepen (na een succespercentage van 99,7%) afgeleid van een corpus van 200 afbeeldingen.
Domeinen: COCO val2017 foto's, CelebA-HQ-256 portretten, en Flux-gegenereerde afbeeldingen.
Repetitie: Drie repetities per (afbeelding, AI) cel.
Perturbatie: Een aangepaste content-adaptieve pipeline past sub-JND adversarial perturbaties toe (L∞ ≤ 0,10, JND budget 2,0) met behulp van 120 PGD-stappen tegen een ensemble van bevroren vision encoders.

Feature Ruimte

Voor elke outputafbeelding $O$ en schone referentie $R$ (rescaled naar 518×518), berekent de auteur een 2D gedragsfeature-vector met behulp van een bevroren DINOv2 ViT-B/14 encoder:

patch_mean: De gemiddelde per-patch cosine afstand tussen de last-layer token embeddings van $O$ en $R$ over een 37×37 grid. Dit vangt semantische modificatie op.
ssim_clean: De luminantie structurele gelijkenis tussen $O$ en $R$ , wat de visuele getrouwheid op pixelniveau vastlegt.

Classificatie & Analyse

Band Classificatie: Outputs worden gecategoriseerd in "tight" (lage patch_mean, ≤ 0,25) of "drift" (hoge patch_mean, > 0,25) banden op basis van de empirische distributie.
Attributie: Een leave-one-out (LOO) nearest-centroid classifier opereert op het 2D feature-vlak zonder geleerde parameters, waarbij heldenpunten worden geclassificeerd op basis van de Euclidische afstand tot het gemiddelde centroid van elke AI.
Statistische Rigor: Betrouwbaarheidsintervallen worden afgeleid via 2.000-iteratie non-parametrische cluster bootstrapping op beeldniveau om binnen-beeld correlatie te accounten.

Belangrijkste Resultaten

1. Een Twee-Band Trainingsparadigma Taxonomie

De zes systemen verdelen zich in twee onderscheidende, beeld-invariante gedragsbanden op het 2D-vlak:

Tight Band: Flux Kontext, Qwen Image Edit, en Gemini. Deze modellen behouden de inputstructuur nauwgezet.
Drift Band: SDXL, SD3, en gpt-image-1. Deze modellen vertonen significante semantische drift van de input.

Cruciale Bevinding: De discriminerende variabele is het trainingsparadigma, niet de architectuurfamilie.

Modellen getraind op edit data (gepaarde clean-naar-edited supervisie) clusteren in de tight band, ongeacht of ze diffusie-gebaseerd (Flux) of multimodale autoregressief (Qwen, Gemini) zijn.
Modellen die T2I-basisarchitecturen zijn aangepast tijdens sampling (door denoising te starten vanaf een gedeeltelijk genoisde input) clusteren in de drift band, ongeacht of ze diffusie (SDXL/SD3) of autoregressief (gpt-image-1) zijn.

Variantie Decompositie: AI-identiteit verklaart 69,5% van de gedragsvariantie, terwijl het beelddomein slechts 0,2% verklaart.

2. Attributienauwkeurigheid

Zes-weg LOO Nauwkeurigheid: Het referentie-verankerde framework bereikt een 51,4% [49,3, 53,4] nauwkeurigheid over zes AI's, wat de 16,7% kans-baseline aanzienlijk overtreft.
Pilot Nauwkeurigheid: Bij een gefocuste 3-AI pilot bereikt per-beeld attributie (gemiddelde van drie repetities) 82,2% [73,3, 90,0].
Blind Baseline Vergelijking: Wanneer getest op hetzelfde corpus, bereiken blind-attributiemethoden (AEROBLADE en een PRISM-stijl DINOv2 embedder) respectievelijk slechts 0,222 en 0,373 nauwkeurigheid. Blind-methoden presteren op niveau van toeval binnen de "tight" band (waar outputs nabij-getrouwe kopieën zijn), terwijl de referentie-verankerde methode slaagt.

3. Differentieel Perturbatie Overleven

De studie kwantificeert hoeveel adversarial signaal overleeft in de img2img pipeline:

Gemini: ~98% van de perturbatie-signaal overleeft (bijna intact).
Flux Kontext: ~80% overleeft, ondanks het bereiken van een SSIM van 0,99 visuele getrouwheid. Het diffusieproces fungeert als een selectief filter dat hoogfrequente perturbatie-inhoud dempt terwijl menselijk waarneembare details behouden blijven.
gpt-image-1: De perturbatie wordt effectief overschreven door de eigen generatieve variantie van het model.

Betekenis en Claims

Het artikel herkadert pixeldomein perturbatie-pipelines van louter defensieve tools naar forensische primitieven voor referentie-verankerde AI-verwerkingsattributie.

Trainingsparadigma boven Architectuur: De primaire bijdrage is het aantonen dat gedragsvingerafdrukken worden bepaald door of een model is getraind voor editing of is aangepast van T2I tijdens sampling (drift band), in plaats van door de onderliggende architectuurfamilie (Diffusion vs. AR).
De Noodzaak van Referentie: De studie valideert empirisch dat de schone referentieafbeelding het "load-bearing" signaal is voor attributie. Blind-methoden falen in het onderscheiden van modellen die inputs behouden (de tight band), terwijl de referentie-verankerde methode slaagt door de afwijking van de bekende originele afbeelding te meten.
Systematische Meting: Dit werk biedt de eerste systematische meting van het "diffusie-zuiveringseffect" over breed ingezette commerciële img2img systemen, waarbij wordt aangetoond dat overlevingspercentages systematisch variëren met het trainingsparadigma.

De auteurs concluderen dat hoewel het schema een behouden originele afbeelding vereist (wat de blind-toepasbaarheid beperkt), het een inzetbare drempelwaarde en een gevalideerde gedragsfeature-ruimte biedt voor het attribueren van bijna-getrouwe reproducties gegenereerd door commerciële AI, een regime waarin blind detectie momenteel faalt.