TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery

Each language version is independently generated for its own context, not a direct translation.

Immagina il mondo dell'Intelligenza Artificiale generativa come un enorme laboratorio di cucina magica. Qui, i chef (i modelli AI) possono creare piatti (immagini) incredibili basandosi su una ricetta scritta (il testo).

Il problema è questo: se un chef copia lo stile unico di un altro cuoco o usa un ingrediente segreto protetto da copyright per creare un nuovo piatto, come facciamo a sapere chi ha contribuito alla ricetta? Spesso, l'AI mescola tutto insieme e il risultato sembra un unico piatto, rendendo impossibile dire: "Ehi, questa parte è dello Chef Mario e quella parte dello Chef Luigi".

Il Problema: Il "Pasticcio" dei Concetti

Fino a oggi, i tentativi di risolvere questo problema erano come cercare di mettere un adesivo invisibile su un quadro già finito.

Se il quadro viene copiato, ritagliato o compresso (come quando lo invii su WhatsApp), l'adesivo si rovina e sparisce.
Inoltre, se il quadro contiene due cose diverse (es. un gatto disegnato nello stile di Van Gogh), i metodi vecchi mettevano un solo "codice" sull'intero quadro. Non riuscivano a dire: "Il codice per il gatto è questo, e quello per lo stile Van Gogh è quello". Era tutto un groviglio.

La Soluzione: TokenTrace (La "Firma nel DNA")

Gli autori di questo studio hanno inventato TokenTrace. Invece di mettere un adesivo sopra l'immagine, decidono di modificare la ricetta stessa prima ancora che l'immagine venga cucinata.

Ecco come funziona, usando un'analogia culinaria:

1. L'Ingresso Segreto (La Doppia Modifica)

Quando l'AI riceve la ricetta (il testo, es. "un gatto nello stile di Van Gogh"), TokenTrace fa due cose magiche contemporaneamente:

Modifica la parola chiave: Cambia leggermente la "firma" della parola "gatto" e della parola "Van Gogh" nella ricetta. È come se, invece di scrivere "gatto", si scrivesse un codice segreto che solo l'AI conosce, ma che non cambia il significato della parola per chi legge.
Modifica la materia prima: Cambia leggermente il "fondo" (il rumore iniziale) su cui l'AI inizia a dipingere. È come se il chef usasse un tipo di farina leggermente diverso, impercettibile all'occhio umano, ma che influenza come l'impasto lievita.

Queste due modifiche sono come impronte digitali nascoste nel DNA dell'immagine. Non sono visibili, ma sono parte integrante della struttura dell'immagine fin dal primo istante.

2. La Ricerca Mirata (Il "Cacciatore di Segnali")

Ora, immagina di avere un'immagine misteriosa e vuoi sapere: "Chi ha contribuito a questo?"
Con i vecchi metodi, dovevi cercare un segnale generico. Con TokenTrace, puoi fare una domanda specifica, come un detective che interroga un testimone:

"Mostrami la firma del gatto."
"Mostrami la firma dello stile Van Gogh."

Il modulo TokenTrace è come un detective specializzato. Tu gli dai l'immagine e gli dici cosa cercare (la domanda testuale). Lui guarda l'immagine, cerca specificamente il segnale nascosto legato al "gatto" e lo estrae. Poi, se vuoi, puoi chiedergli di cercare lo "stile Van Gogh" e lui lo trova separatamente.

L'analogia chiave: È come se in un'orchestra che suona un brano complesso, invece di sentire solo il rumore generale, potessi chiedere al tecnico del suono: "Isola e mostrami solo il violino". TokenTrace fa esattamente questo: isola i concetti sovrapposti.

Perché è Geniale?

Resistenza: Poiché la firma è nel "DNA" della ricetta e non è un adesivo sopra l'immagine, anche se l'immagine viene ritagliata, compressa o modificata, la firma sopravvive. È come se il DNA di un essere umano rimanesse lo stesso anche se si cambia vestito o si fa una doccia.
Separazione: Risolve il problema del "pasticcio". Se un'immagine ha 4 concetti diversi, TokenTrace può estrarre 4 firme diverse, una per ciascuna, senza confondersi.
Qualità: L'immagine finale è identica all'originale. Nessuno nota la differenza, ma l'AI sa esattamente chi ha contribuito.

In Sintesi

TokenTrace è come un sistema di tracciamento invisibile che si infila nella ricetta prima che il piatto venga servito.

Prima: "Chi ha fatto questo quadro? Non lo so, è tutto un miscuglio."
Ora (con TokenTrace): "Ah, vedo che qui c'è la firma segreta del gatto e qui quella dello stile Van Gogh. Sono entrambi presenti e separati!"

Questo permette di proteggere il lavoro degli artisti e degli creatori, assicurando che quando l'AI usa il loro stile o i loro oggetti, il credito venga dato a chi lo merita, anche in scenari complessi dove tutto è mescolato insieme.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

I modelli di Intelligenza Artificiale generativa (in particolare quelli basati su architetture di diffusione testo-immagine) pongono una sfida significativa alla proprietà intellettuale (IP). Questi modelli possono replicare stili artistici unici e concetti specifici senza attribuzione. Sebbene il watermarking (filigrana digitale) offra una soluzione potenziale, i metodi esistenti presentano limitazioni critiche:

Fragilità: I metodi basati sullo spazio dei pixel sono spesso fragili e non sopravvivono a trasformazioni comuni come compressione o ritaglio.
Incapacità di gestione multi-concetto: I metodi proattivi più recenti (che incorporano il watermark durante la generazione) tendono a inserire un unico segnale olografico. Quando un'immagine generata combina più concetti distinti (es. un oggetto specifico in uno stile artistico unico), questi metodi non riescono a "disentangle" (separare) e attribuire individualmente ciascun concetto. Il segnale visivo sovrapposto rende impossibile identificare quale parte dell'immagine appartiene a quale concetto originale.

2. Metodologia: TokenTrace

TokenTrace è un framework di watermarking proattivo progettato per l'attribuzione robusta e multi-concetto. La sua innovazione risiede nel legame diretto tra il segreto del watermark e la semantica testuale del concetto, piuttosto che nello spazio dei pixel.

A. Codifica del Concetto (Dual-Conditioning)

Il processo di generazione dell'immagine viene modificato tramite una strategia di doppia condizionamento che perturba simultaneamente due domini:

Dominio Semantico (Text Prompt): Un Concept Encoder ( $f_{enc}$ ) prende il segreto del concetto ( $S$ ) e il token di embedding del concetto target ( $e_c$ ) e genera una perturbazione. Questa viene aggiunta solo al token specifico nel prompt testuale, creando un embedding perturbato $\hat{e}_c$ .
Dominio Latente (Initial Noise): Un Secret Mapper ( $f_{map}$ ) prende il segreto $S$ e genera un pattern di rumore strutturato che viene fuso con il rumore iniziale gaussiano ( $z_T$ ), creando un rumore perturbato $\hat{z}_T$ .

Il modello di diffusione (DM) genera l'immagine finale ( $I_{wm}$ ) condizionato sia dal prompt perturbato che dal rumore perturbato. Questo integra il watermark profondamente nella struttura generativa dell'immagine.

B. Decodifica e Recupero (Query-Based Module)

Per recuperare l'attribuzione, TokenTrace introduce un modulo basato su una query testuale:

Input: L'immagine generata ( $I_{wm}$ ) e un prompt di query ( $P_{query}$ ) che specifica quale concetto si vuole verificare (es. "una foto di ").
Architettura: Il modulo utilizza encoder CLIP congelati (per immagini e testo) per estrarre caratteristiche. Queste vengono allineate e fuse tramite layer di proiezione e attenzione addestrabili per prevedere l'embedding del concetto originale ( $\tilde{e}_c$ ).
Recupero del Segreto: L'embedding previsto viene passato a un decoder lineare ( $f_{dec}$ ) che lo traduce nel segreto binario originale ( $\tilde{S}$ ).
Vantaggio: Richiedendo una query specifica, il sistema può isolare e verificare singoli concetti all'interno di un'immagine complessa, risolvendo il problema della sovrapposizione visiva.

C. Funzione di Loss

L'addestramento è guidato da una funzione di perdita composita ( $L_{total}$ ) che bilancia quattro obiettivi:

Cross-Entropy ( $L_{CE}$ ): Per garantire l'accuratezza nel recupero del segreto binario.
Contrastive Style Descriptor ( $L_{CSD}$ ): Per mantenere la coerenza semantica di alto livello (stile) tra l'immagine pulita e quella con watermark.
Loss L2 ( $L_{L2}$ ): Per minimizzare le differenze visibili a livello di pixel (impercezione).
Regularization ( $L_{reg}$ ): Per garantire che l'embedding previsto dal modulo TokenTrace sia vicino all'embedding originale del concetto.

3. Contributi Chiave

Framework TokenTrace: Un nuovo approccio che incorpora i watermark sia nel dominio del prompt testuale che nel rumore latente, legando intrinsecamente il segreto alla semantica del concetto.
Modulo di Recupero Basato su Query: Un meccanismo innovativo che permette di disentanglare e attribuire indipendentemente concetti multipli e sovrapposti (es. oggetto + stile) da una singola immagine, superando i limiti dei metodi basati su pixel.
Efficienza Parametrica: Il modulo di recupero utilizza encoder CLIP congelati con pochi layer addestrabili, permettendo un adattamento scalabile a nuovi concetti senza costi computazionali elevati o "catastrophic forgetting".

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come WikiArt (stili artistici) e ImageNet (oggetti), sia per attribuzione a singolo concetto che multi-concetto.

Attribuzione a Singolo Concetto: TokenTrace ha raggiunto un'accuratezza di attribuzione del 91,67% su WikiArt e del 90,43% su ImageNet, superando significativamente i baselines statali (come ProMark e CustomMark) e i metodi passivi.
Attribuzione Multi-Concetto: In scenari complessi con più concetti (es. un oggetto in uno stile specifico), TokenTrace ha dimostrato una capacità superiore di separazione, raggiungendo un'accuratezza del 88,62% (fino al 90,53% con la variante TokenTraceP che usa il weighting del prompt), contro l'85,14% di CustomMark.
Qualità Visiva: Il metodo mantiene un'alta fedeltà visiva. I punteggi FID e CSD indicano che le immagini con watermark sono quasi indistinguibili dalle originali, con una degradazione minima rispetto ai metodi basati su pixel.
Robustezza: Il sistema dimostra alta resilienza a trasformazioni comuni (compressione JPEG, rotazione, ritaglio, rumore gaussiano) e attacchi avversariali, mantenendo un'accuratezza superiore all'82-87% anche dopo alterazioni significative.
Scalabilità: Il metodo scala bene da 10 a 1000 concetti, con un calo di accuratezza minimo e graduale.

5. Significato e Impatto

TokenTrace rappresenta un passo avanti fondamentale nella protezione della proprietà intellettuale nell'era dell'IA generativa.

Risoluzione del problema della composizione: È uno dei primi framework in grado di gestire l'attribuzione in immagini composte da più concetti, un problema finora irrisolto dai metodi esistenti.
Protezione IP per Creatori: Offre agli artisti e ai creatori uno strumento per tracciare l'uso dei loro stili e concetti unici anche quando vengono combinati in nuove opere generate dall'IA.
Robustezza e Impercezione: Dimostra che è possibile integrare firme crittografiche robuste direttamente nel processo generativo senza compromettere la qualità artistica dell'output, rendendo il sistema pratico per applicazioni reali.

In sintesi, TokenTrace sposta il paradigma del watermarking da una semplice marcatura visiva o latente a un recupero semantico guidato da query, permettendo una tracciabilità precisa e granulare dei concetti generati.