🤖 AI

CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

Il paper presenta CSF, il primo metodo in black-box per l'impronta digitale semantica compositiva che permette di attribuire modelli text-to-image affinati a specifiche linee di sviluppo utilizzando solo l'accesso alle query, senza richiedere l'accesso interno al modello o la pre-impronta digitale.

Autori originali: Junhoo Lee, Mijin Koo, Nojun Kwak

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Junhoo Lee, Mijin Koo, Nojun Kwak

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cuoco stellato (il modello di intelligenza artificiale originale, come Stable Diffusion o Flux) che crea piatti incredibili. Questo cuoco ha un suo stile unico, un "segreto di famiglia" nel modo in cui mescola gli ingredienti.

Ora, immagina che un furto accada: qualcuno prende la ricetta segreta del cuoco, la modifica un po' (aggiunge spezie, cambia il fuoco) e vende il nuovo piatto come se fosse suo, senza dire che è nato dalla ricetta originale. Questo è il problema della violazione del copyright nei modelli di generazione immagini.

Il problema è: come fai a dimostrare che quel nuovo piatto è stato rubato dalla ricetta originale, specialmente se il ladro ti vende il piatto solo tramite un servizio di consegna (l'API) e non ti lascia mai entrare in cucina per vedere i pesi o gli ingredienti grezzi?

Ecco dove entra in gioco la ricerca di Lee, Koo e Kwak, che chiamano il loro metodo CSF (Compositional Semantic Fingerprinting).

L'Analogia: Il "Gioco del Dettaglio Nascosto"

Fino a oggi, per scoprire un furto, si usavano due metodi:

Il Marchio d'Acqua (Watermarking): Come mettere un timbro invisibile sulla ricetta prima di venderla. Ma se il ladro non ha la ricetta originale, non può metterci il timbro. E se lo scopre, può lavarlo via.
L'Ispezione della Cucina (Fingerprinting bianco): Entrare in cucina e controllare gli ingredienti. Ma se il ladro ti vende solo il piatto finito (API), non puoi entrare.

CSF è come un investigatore privato molto astuto. Non entra in cucina e non ha bisogno di un timbro preesistente. Funziona così:

1. La Domanda "Impossibile" (Prompt Compositi)

L'investigatore non chiede al cuoco di fare una "pizza" o un "hamburger" (cose che tutti sanno fare e che il ladro potrebbe aver copiato perfettamente).
Invece, gli chiede cose strane e specifiche, come:

"Fammi un'immagine di un animale pericoloso che si trova in uno studio con luci soffuse."

Perché questa domanda è speciale?

"Animale pericoloso" è generico (potrebbe essere un leone, un lupo, un orso).
"Studio con luci soffuse" è un contesto specifico.
La combinazione delle due cose è rara. È molto improbabile che il ladro abbia mai visto o addestrato il suo modello su esattamente questa combinazione strana.

2. Il "Sapore" Inconfondibile (Bias Semantico)

Quando il cuoco originale riceve questa domanda strana, il suo cervello (il modello) deve fare una scelta: "Ok, un animale pericoloso in uno studio... beh, secondo la mia esperienza, un lupo è la scelta più logica".
Quando il ladro (il modello modificato) riceve la stessa domanda, potrebbe pensare: "Un animale pericoloso? Forse un orso?".

Anche se il ladro ha cambiato lo stile dei suoi piatti (li ha resi più realistici o più cartoneschi), il modo in cui il suo cervello risolve i dubbi rimane legato alla ricetta originale. È come se il ladro avesse cambiato i vestiti, ma il suo modo di camminare fosse rimasto quello del cuoco originale.

3. La Statistica come Prova

L'investigatore non chiede una sola immagine. Ne chiede 30 per ogni domanda strana.

Se il modello originale pensa che il 70% delle volte sia un lupo, e il modello sospetto pensa che sia un lupo nel 70% delle volte, sono la stessa famiglia.
Se il modello sospetto pensa che sia un orso, allora non è quello.

Perché è Geniale? (Il Vantaggio Asimmetrico)

Il vero trucco di CSF è l'asimmetria:

Il Ladro: Deve difendersi da tutte le possibili domande strane che l'investigatore potrebbe fargli. È impossibile per lui cancellare tutte le combinazioni strane dal suo modello senza distruggerlo.
Il Proprietario (Difensore): Può inventare nuove domande strane in qualsiasi momento. Se il ladro impara a non rispondere a "animali pericolosi in studio", il proprietario inventa "animali pericolosi in una cucina di legno". Il ladro non può prevedere tutto.

In Sintesi

Immagina di dover riconoscere tuo fratello che ha cambiato parrucca, occhiali e vestiti, ma che hai solo la possibilità di fargli una domanda al telefono.
Se gli chiedi: "Cosa mangi a colazione?", potrebbe dirti la stessa cosa di tutti (panino).
Ma se gli chiedi: "Se dovessi mangiare un animale pericoloso in una stanza buia, quale sceglieresti e perché?", la sua risposta rivelerebbe il suo vero carattere, quello che non può cambiare.

CSF fa esattamente questo: usa domande semantiche strane e rare per "fissare" l'identità del modello originale, permettendo di dire con certezza matematica: "Questo modello è nato da quella famiglia di modelli, anche se è stato modificato".

È una soluzione senza costi di addestramento, che funziona anche se hai solo accesso all'API (il servizio di consegna), e che costa pochissimo (circa 50 dollari per testare un modello), rendendo la protezione della proprietà intellettuale accessibile a tutti.

1. Il Problema

L'articolo affronta la sfida critica della protezione della proprietà intellettuale (IP) nei modelli di generazione di immagini da testo (Text-to-Image o T2I), come Stable Diffusion, Flux e Kandinsky.

Contesto: I modelli T2I sono asset commerciali preziosi distribuiti spesso con licenze restrittive (es. non commerciali o solo ricerca). Tuttavia, gli infrattori possono fine-tunare (adattare) questi modelli protetti e distribuirli esclusivamente tramite API, rendendo impossibile l'accesso ai pesi interni o ai dati di addestramento.
Limiti delle soluzioni esistenti:
- Watermarking (Marcatura): Richiede l'iniezione di trigger durante l'addestramento (pre-deployment), il che degrada la qualità del modello e può essere rimosso se il trigger è noto. Non è applicabile a modelli già distribuiti senza watermark.
- Fingerprinting Tradizionale: Spesso richiede accesso "white-box" (pesi, attivazioni interne) o "gray-box", che non sono disponibili nelle API commerciali. I metodi basati su caratteristiche visive falliscono perché il fine-tuning altera drasticamente lo stile, i colori e la composizione, oscurando i segnali a livello di pixel.
Obiettivo: Sviluppare un metodo di fingerprinting in black-box (solo accesso all'API di generazione) che possa attribuire un modello sospetto alla sua "lineage" (famiglia di origine) anche dopo adattamenti significativi come LoRA, DPO, merging o distillazione.

2. Metodologia: CSF (Compositional Semantic Fingerprinting)

CSF propone un approccio innovativo che sposta il problema dallo spazio visivo allo spazio semantico, trattando i modelli come generatori di categorie semantiche piuttosto che sintetizzatori di pixel.

Concetti Chiave:

Astrazione Semantica: Invece di analizzare le immagini generate direttamente, CSF le classifica in categorie semantiche discrete (es. "tigre", "leone", "lupo") utilizzando un classificatore zero-shot (CLIP). Questo riduce la variabilità stilistica e isola i pregiudizi semantici intrinseci del modello.
Prompt Compositi Sottospecificati (Compositional Underspecification):
- Il metodo utilizza prompt che combinano una categoria superiore (es. "animale") con attributi semantici multipli e contestuali (es. "pericoloso", "in uno studio in penombra").
- Rarità Combinatoria: La combinazione specifica di questi attributi è progettata per essere rara nei dati di fine-tuning. Poiché il fine-tuning aggiorna i parametri basandosi sui dati presenti nel dataset di addestramento, le condizioni rare (assenti o quasi assenti) non ricevono segnali di aggiornamento significativi. Di conseguenza, il comportamento del modello di base su queste condizioni rare viene preservato.
- Asimmetria: Gli attaccanti non possono rimuovere tutti i possibili fingerprint perché lo spazio delle combinazioni è esponenziale. I difensori, invece, possono generare nuove combinazioni rare al momento della rilevazione.
Protocollo di Campionamento:
- Per ogni prompt composito, il modello sospetto genera $N=30$ immagini.
- Ogni immagine viene classificata per ottenere una distribuzione categorica.
- Si aggregano le distribuzioni per formare un "fingerprint" probabilistico per quel prompt.
Framework di Attribuzione Bayesiana:
- Si calcola la distanza di Wasserstein tra le distribuzioni empiriche del modello sospetto e quelle dei modelli di riferimento (base).
- Si aggregano i risultati su 42 prompt diversi utilizzando un'inferenza Bayesiana (distribuzione Beta-Binomial) per calcolare intervalli di credibilità e prendere decisioni statisticamente rigorose.
- Vengono utilizzati due criteri decisionali: il Significance Test (migliore del caso) e il Dominance Test (il modello candidato è più probabile di tutti gli altri combinati).

3. Contributi Chiave

Primo metodo Black-box: CSF è il primo metodo di fingerprinting per modelli T2I che opera esclusivamente in un setting "query-only", senza bisogno di accesso ai pesi o ai dati di addestramento.
Robustezza al Fine-tuning: Sfrutta il principio che i comportamenti su condizioni rare (assenti nei dati di addestramento del fine-tuning) rimangono stabili, permettendo di identificare il modello di base anche dopo adattamenti aggressivi (LoRA, DPO, merging, distillazione).
Indipendenza dallo Stile: Spostando l'analisi dallo spazio delle immagini a quello delle distribuzioni semantiche, il metodo è immune alle variazioni di stile (es. da realistico ad anime) introdotte dal fine-tuning.
Costo e Praticità: Il metodo è "training-free" (non richiede addestramento di nuovi modelli) e ha un costo computazionale/burocratico basso (circa 50$ per modello tramite API commerciali).

4. Risultati Sperimentali

Gli autori hanno valutato CSF su 6 famiglie di modelli (Flux, Kandinsky, SD1.5, SD2.1, SD3, SDXL) e 13 varianti fine-tuned.

Accuratezza: Tutti i modelli fine-tuned sono stati attribuiti correttamente alla loro famiglia di origine con un'accuratezza media a posteriori superiore al 50%, soddisfacendo il criterio di Dominance Test (l'intervallo di confidenza al 95% supera la soglia del 50%).
Robustezza Estrema: Il metodo ha funzionato anche su casi estremi come:
- Modelli con DPO (Direct Preference Optimization) che riscrivono attivamente i pregiudizi semantici.
- Modelli Distillati (es. SDXL-Lightning, Flux-Turbo) che riducono i passaggi di generazione, un caso in cui i watermark tradizionali falliscono.
- Modelli Merged (cocktail di pesi) che diluiscono i fingerprint originali.
Confronto con Baseline:
- I prompt "naive" (casuali) hanno fallito, portando a un'accuratezza vicina al caso casuale (18% nello studio umano vs 71% con CSF).
- L'uso della distanza di Wasserstein ha dimostrato prestazioni superiori rispetto alla divergenza Jensen-Shannon (JSD), catturando meglio la struttura geometrica delle distribuzioni semantiche.
Studio Umano: Un esperimento su Amazon Mechanical Turk ha confermato che i bias isolati da CSF sono percepibili anche dagli esseri umani quando si ignora lo stile visivo e si guarda alla distribuzione dei contenuti.

5. Significato e Impatto

CSF rappresenta un cambiamento di paradigma nella protezione della proprietà intellettuale per i modelli generativi:

Rovesciamento dell'Asimmetria: A differenza dei watermark (che possono essere rimossi una volta scoperti), CSF offre un vantaggio asimmetrico ai proprietari IP: possono generare infinite nuove "chiavi" (prompt compositi) dopo il deployment, rendendo impossibile per gli attaccanti difendersi contro tutte le possibili combinazioni.
Applicabilità Reale: Fornisce uno strumento pratico per le dispute legali e l'audit delle licenze in scenari reali dove i modelli sono distribuiti come servizi API chiusi.
Fondamento Teorico: Introduce l'idea di utilizzare la "rarità combinatoria" e l'underspecification semantica come firma intrinseca, offrendo una nuova direzione per la ricerca sulla sicurezza e la forense dell'IA generativa.

In sintesi, CSF dimostra che è possibile identificare l'origine di un modello T2I anche se questo è stato pesantemente modificato, sfruttando le sue risposte statistiche a concetti semantici complessi e rari, senza mai vedere il modello internamente.