💻 computer science

Vision-Encoder Behavioral Fingerprints of Image-to-Image Generative Models: A Training-Paradigm-Driven Taxonomy of Six Commercial APIs

Questo articolo propone una tassonomia dei sei modelli generativi commerciali di immagine-immagine basata sul paradigma di addestramento, dimostrando che essi si suddividono in due distinti cluster comportamentali — addestrati per l'editing rispetto ad adattati al tempo di campionamento — in base alle loro risposte a perturbazioni avversarie sub-JND adattive al contenuto misurate tramite distanze di token DINOv2 congelate.

Autori originali: Hunter Hill

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hunter Hill

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un inchiostro invisibile molto speciale che puoi dipingere su una foto. Questo inchiostro è così tenue che l'occhio umano non può vederlo, ma lascia un "impronta digitale" unica nel DNA digitale dell'immagine.

Questo documento parla di cosa succede quando prendi delle foto dipinte con questo inchiostro invisibile e le fai passare attraverso sei diversi strumenti di IA popolari, progettati per modificare o ridisegnare immagini (come trasformare uno schizzo in una foto o cambiare lo stile di un'immagine).

Ecco la suddivisione semplice di ciò che hanno scoperto i ricercatori:

1. I due gruppi di "Personalità"

I ricercatori hanno testato sei diversi sistemi commerciali di IA. Si aspettavano che i risultati dipendessero da come l'IA fosse stata costruita (la sua architettura). Invece, hanno scoperto che le IA si dividevano in due distinti "gruppi di personalità" basandosi interamente su come erano state addestrate:

I "Editor Accorti" (La banda stretta): Queste IA (come Flux Kontext, Qwen Edit e Gemini) sono state addestrate specificamente per seguire istruzioni per modificare una foto esistente. Quando dai loro una foto, cercano di mantenerla il più possibile vicina all'originale.
- L'analogia: Pensa a questi come a un fotografo che usa Photoshop. Regolano l'illuminazione o i colori, ma mantengono intatta la struttura e i dettagli della foto originale. Preservano la tua impronta digitale di inchiostro invisibile quasi perfettamente.
I "Rigeneratori Pesanti" (La banda di deriva): Queste IA (come SDXL, SD3 e gpt-image-1) sono state originariamente addestrate per creare immagini da zero (text-to-image) e sono state solo adattate successivamente per modificare le foto. Quando dai loro una foto, tendono a "reimmaginarla" da zero in base al loro addestramento.
- L'analogia: Pensa a questi come a un pittore che guarda una foto e ne dipinge una nuova versione. Possono catturare l'atmosfera generale, ma cambiano significativamente le pennellate e i dettagli. Facendo ciò, lavano via la tua impronta digitale di inchiostro invisibile e la sostituiscono con la propria "firma del pittore".

2. L'addestramento conta più del Marchio

La scoperta più sorprendente è che il "marchio" o il tipo specifico di tecnologia (come se si tratti di un modello di diffusione o di un modello linguistico) non contava molto quanto il metodo di addestramento.

Anche se due IA utilizzano la stessa tecnologia sottostante, se una è stata addestrata per "modificare con cura" e l'altra per "rigenerare pesantemente", finiscono in gruppi completamente diversi.
I ricercatori hanno scoperto che conoscere quale IA ha elaborato l'immagine spiegava il 70% del comportamento, mentre il tipo di immagine (un volto rispetto a un paesaggio) non spiegava quasi nulla (0,2%).

3. Il test dell' "Impronta Digitale"

Per capire quale IA avesse fatto il lavoro, i ricercatori hanno utilizzato un test semplice:

Hanno preso la foto originale (il riferimento pulito).
Hanno preso la foto modificata dall'IA.
Hanno usato uno strumento di visione artificiale intelligente (DINOv2) per misurare le minuscole differenze tra le due.

Il Risultato:

Se l'IA era un "Editor Accorto", le differenze erano minuscole e costanti.
Se l'IA era un "Rigeneratore Pesante", le differenze erano grandi e caotiche.

Usando solo questa singola misurazione, potevano indovinare correttamente quale delle sei IA avesse elaborato una foto circa il 51% delle volte. Poiché c'erano sei opzioni, indovinare casualmente ti darebbe solo il 16% di probabilità. Quindi, il 51% è un miglioramento significativo.

4. Perché il rilevamento "cieco" è fallito

I ricercatori hanno anche provato a identificare l'IA senza guardare la foto originale (un test "cieco"), che è il modo in cui funzionano la maggior parte degli attuali rilevatori di IA.

Il Risultato: I rilevatori ciechi sono falliti miseramente sugli "Editor Accorti". Poiché queste IA mantenevano la foto molto vicina all'originale, i rilevatori ciechi non riuscivano a distinguerle dall'immagine originale o l'una dall'altra. Stavano essenzialmente tirando a indovinare.
La Lezione: La "foto originale" è la chiave. Senza di essa, non puoi capire chi ha effettuato l'editing accurato. Con essa, puoi farlo.

5. Cosa succede all' "Inchiostro Invisibile"?

I ricercatori hanno anche misurato quanto del loro speciale "inchiostro invisibile" sia sopravvissuto al viaggio attraverso l'IA:

Gemini: Ha mantenuto circa il 98% dell'inchiostro.
Flux Kontext: Ha mantenuto l'80% dell'inchiostro (anche se l'immagine appariva quasi identica all'occhio umano).
gpt-image-1: Ha cancellato completamente l'inchiostro e lo ha sostituito con il proprio rumore.

Il Punto Fondamentale

Questo documento suggerisce che non dovremmo pensare a questi strumenti di inchiostro invisibile solo come "difesa" (cercare di impedire all'IA di rubare l'arte). Sono invece meglio utilizzati come strumenti forensi.

Se hai la foto originale e una foto sospetta di essere stata modificata dall'IA, puoi usare questo metodo per dimostrare quale IA ha toccato l'immagine. Tuttavia, questo funziona solo se hai la foto originale da confrontare. Se non hai l'originale, e l'IA era un "Editor Accorto", la tecnologia attuale non può dirti quale IA ha effettuato la modifica.

Sintesi Tecnica: Impronte Digitali Comportamentali di Modelli Generativi Image-to-Image tramite Vision-Encoder

Problema

Con la proliferazione di sistemi di intelligenza artificiale generativa image-to-image (img2img) commerciali, esiste la necessità critica di comprendere come questi sistemi "black-box" interagiscano con le perturbazioni avversarie nel dominio dei pixel (es. Glaze, Mist, PhotoGuard). La letteratura esistente sull'attribuzione si concentra principalmente sui risultati text-to-image (T2I) in scenari ciechi dove non esiste un'immagine di riferimento. Tuttavia, l'attribuzione img2img presenta una sfida metodologica distinta: per costruzione, è disponibile un'immagine di riferimento pulita. Il documento affronta tre domande fondamentali:

Come interagiscono i sistemi img2img commerciali con le perturbazioni avversarie sub-just-noticeable-difference (sub-JND)?
È possibile attribuire specifici sistemi AI dalla loro condotta di output quando è disponibile un riferimento pulito?
Quali firme comportamentali lasciano questi sistemi e sono guidate dall'architettura o dal paradigma di addestramento?

Metodologia

Lo studio impiega un framework reference-anchored (ancorato al riferimento) per analizzare sei API img2img di produzione: gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img e Qwen Image Edit.

Corpus di Dati

Scala: 3.588 chiamate API valide (dopo un tasso di successo del 99,7%) derivate da un corpus di 200 immagini.
Domini: Fotografie COCO val2017, ritratti CelebA-HQ-256 e immagini generate da Flux.
Ripetizione: Tre ripetizioni per ogni cella (immagine, AI).
Perturbazione: Una pipeline personalizzata content-adaptive applica perturbazioni avversarie sub-JND ( $L_\infty \le 0.10$ , budget JND 2.0) utilizzando 120 passi PGD contro un ensemble di vision encoder congelati.

Spazio delle Caratteristiche

Per ogni immagine di output $O$ e riferimento pulito $R$ (ridimensionato a 518×518), gli autori calcolano un vettore di caratteristiche comportamentali 2D utilizzando un encoder DINOv2 ViT-B/14 congelato:

patch_mean: La distanza coseno media per patch tra gli embedding dei token dell'ultimo layer di $O$ e $R$ su una griglia 37×37. Cattura la modifica a livello semantico.
ssim_clean: La similarità strutturale della luminanza tra $O$ e $R$ , catturando la fedeltà visiva a livello di pixel.

Classificazione e Analisi

Classificazione per Band: Gli output sono categorizzati in bande "tight" (basso patch_mean, $\le 0.25$ ) o "drift" (alto patch_mean, $> 0.25$ ) basandosi sulla distribuzione empirica.
Attribuzione: Un classificatore nearest-centroid leave-one-out (LOO) opera sul piano delle caratteristiche 2D senza parametri appresi, classificando i punti esclusi in base alla distanza euclidea dal centroide medio di ciascuna AI.
Rigore Statistico: Gli intervalli di confidenza sono derivati tramite bootstrapping di cluster non parametrico con 2.000 iterazioni a livello di immagine per tenere conto della correlazione intra-immagine.

Risultati Chiave

1. Una tassonomia a due bande basata sul paradigma di addestramento

I sei sistemi si partizionano in due distinte bande comportamentali invarianti rispetto all'immagine sul piano 2D:

Banda Tight: Flux Kontext, Qwen Image Edit e Gemini. Questi modelli preservano strettamente la struttura dell'input.
Banda Drift: SDXL, SD3 e gpt-image-1. Questi modelli mostrano una significativa deriva semantica rispetto all'input.

Risultato Cruciale: La variabile discriminante è il paradigma di addestramento, non la famiglia di architetture.

I modelli addestrati su dati di editing (supervisione accoppiata clean-to-edited) si raggruppano nella banda tight, indipendentemente dal fatto che siano basati su diffusione (Flux) o multimodali autoregressivi (Qwen, Gemini).
I modelli che sono architetture T2I-base adattate al tempo di campionamento (iniziando la denoising da un input parzialmente rumoroso) si raggruppano nella banda drift, indipendentemente dal fatto che siano diffusion (SDXL/SD3) o autoregressivi (gpt-image-1).

Decomposizione della Varianza: L'identità dell'AI spiega il 69,5% della varianza comportamentale, mentre il dominio dell'immagine spiega solo lo 0,2%.

2. Accuratezza dell'Attribuzione

Accuratezza LOO a sei vie: Il framework reference-anchored raggiunge un'accuratezza del 51,4% [49,3, 53,4] su sei AI, superando significativamente la baseline di probabilità del 16,7%.
Accuratezza Pilot: Su un pilot focalizzato su 3 AI, l'attribuzione per immagine (mediando tre ripetizioni) raggiunge l'82,2% [73,3, 90,0].
Confronto con la Baseline Cieca: Testando lo stesso corpus, i metodi di attribuzione cieca (AEROBLADE e un embedder DINOv2 di tipo PRISM) raggiungono rispettivamente un'accuratezza di soli 0,222 e 0,373. I metodi ciechi operano al livello del caso nella banda "tight" (dove gli output sono copie quasi fedeli), mentre il metodo reference-anchored ha successo.

3. Sopravvivenza Differenziale della Perturbazione

Lo studio quantifica quanta parte del segnale avversario sopravvive alla pipeline img2img:

Gemini: Circa il 98% del segnale di perturbazione sopravvive (quasi intatto).
Flux Kontext: Circa l'80% sopravvive, nonostante raggiunga un SSIM di fedeltà visiva di 0,99. Il processo di diffusione agisce come un filtro selettivo, attenuando il contenuto di perturbazione ad alta frequenza pur preservando i dettagli percepibili dall'uomo.
gpt-image-1: La perturbazione viene efficacemente sovrascritta dalla propria varianza generativa del modello.

Significato e Rivendicazioni

Il documento inquadra le pipeline di perturbazione nel dominio dei pixel non solo come strumenti difensivi, ma come primitivi forensi per l'attribuzione del processing AI ancorata al riferimento.

Paradigma di Addestramento sopra l'Architettura: Il contributo primario è dimostrare che le impronte digitali comportamentali sono determinate dal fatto che un modello sia stato addestrato per l'editing (banda tight) o adattato da T2I al tempo di campionamento (banda drift), piuttosto che dalla famiglia di architetture sottostante (Diffusion vs. AR).
Necessità del Riferimento: Lo studio valida empiricamente che l'immagine di riferimento pulita è il segnale "portante" per l'attribuzione. I metodi ciechi falliscono nel distinguere i modelli che preservano gli input (la banda tight), mentre l'approccio reference-anchored ha successo misurando la deviazione dall'originale noto.
Misurazione Sistematica: Questo lavoro fornisce la prima misurazione sistematica dell' "effetto di purificazione della diffusione" attraverso i sistemi img2img commerciali distribuiti, mostrando che i tassi di sopravvivenza variano sistematicamente con il paradigma di addestramento.

Gli autori concludono che, sebbene lo schema richieda un'immagine originale conservata (limitandone l'applicabilità cieca), esso offre una soglia pronta per il deployment e uno spazio di caratteristiche comportamentali validato per attribuire riproduzioni quasi fedeli generate da AI commerciali, un regime in cui il rilevamento cieco attualmente fallisce.