Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Sintesi Tecnica: Forense dei Watermark per Modelli Generativi: Una Prospettiva Informatica

Enunciato del Problema
Il documento affronta le capacità forensi dei watermark nei modelli generativi, andando oltre la domanda binaria "questo contenuto è stato generato da una macchina?" (rilevamento) per muoversi verso una gerarchia di compiti più complessi: attribuzione (identificare quale tra $N$ utenti ha generato il contenuto), estrazione (recuperare un payload nascosto) e localizzazione (identificare la regione specifica del contenuto che trasporta il segno). Gli autori sostengono che la letteratura esistente tratti questi come problemi disparati con soluzioni ad hoc, spesso confondendo il meccanismo di embedding (es. "incorporare" un pattern vs "distorcere" una distribuzione) con i limiti informativi fondamentali di ciò che può essere recuperato. La domanda centrale è: qual è la complessità campionaria (lunghezza $n$) richiesta per ciascun compito forense, e come questi costi si relazionano ai vincoli di qualità del watermark (fedeltà, budget di distorsione o entropia)?

Metodologia e Framework
Gli autori introducono un framework unificato organizzato attorno a un singolo oggetto: il profilo informativo $\nu(t)$.

• Definizione: $\nu(t) := I(S; X_t | X_{<t})$, dove $S$ è il segreto (identità dell'utente o payload), $X$ è il carrier generato (sequenza di token), e $X_{<t}$ rappresenta i token precedenti. Questo misura l'informazione sul segreto $S$ rivelata dal $t$-esimo token, condizionata dal passato.
• La Scala Forense (Forensic Ladder): Il documento modella i compiti forensi come una scala di problemi statistici:
  • Livello 0 (Rilevamento): Il segno è presente? (Baseline indipendente dal meccanismo).
  • Livello 1 (Attribuzione): Quale tra $N$ utenti?
  • Livello 2 (Estrazione): Qual è il payload di $\ell$ bit?
  • Livello 3 (Localizzazione): Dove si trova il segno? (Robusto al cropping).
• Modelli di Qualità: Il framework unifica due distinti modelli di qualità presenti in letteratura come "limiti di norma" sullo stesso profilo $\nu$:
  1. Distorsione Limitata (Biasing) $B(\Delta)$: Il segno è sottile su ogni token, imponendo un limite $L_\infty$ ($\nu(t) \le \Delta$). Esempi: Green-list watermarks.
  2. Footprint (Embedding) $E(m)$: Il segno è concentrato su un piccolo insieme di posizioni (footprint $T$ con $|T| \le m$), imponendo un limite $L_0$ ($\nu(t) = 0$ per $t \notin T$). Esempi: Tree-Ring.
• Il Budget di Recupero Forense: Per disuguaglianza di elaborazione dei dati, l'informazione totale recuperabile è limitata dalla massa del profilo: $\Phi(n) = \|\nu\|_1 = I(S; X)$. Questo budget finanzia sia l'attribuzione che l'estrazione.

Contributi Chiave e Risultati

1. Chiudere la Colonna dell'Entropia (Attribuzione in Regimi Senza Distorsione):

   • Il documento stabilisce la prima legge di complessità campionaria stretta per l'attribuzione multi-utente in schemi statisticamente privi di distorsione (dove l'output mediato sulla chiave è indistinguibile dalla distribuzione naturale).
   • Risultato: Per una sorgente stazionaria-ergodica con tasso di entropia $h$, attribuire un testo a uno di $N$ utenti costa $n_{att} = \Theta(\log N / h)$ token.
   • Meccanismo: Gli autori propongono un decodificatore a soglia di surprisal. A differenza dei decoder di "consistenza" ingenui che contano le chiavi corrispondenti (che soffrono della "trappola della collisione" e richiedono $n \approx \log N / r_2$, dove $r_2$ è il tasso di Rényi-2), il decoder di surprisal accetta una chiave solo se la surprisal realizzata $-\log p_{nat}(X)$ supera una soglia $\tau = \log(N/\delta)$. Ciò raggiunge il tasso di Shannon $h$ con una garanzia di falso positivo per innocente esatta e non asintotica ($\delta/N$).
   • Significato: Questo risolve il divario tra il contrappunto (Fano bound) e l'ottenibilità, dimostrando che il tasso di entropia di Shannon, e non il tasso di collisione, governa la complessità decisionale.

2. Il Gap Forense (Rilevamento vs Attribuzione):

   • Il documento prova che rilevamento e attribuzione sono fondamentalmente costi differenti. Il rilevamento è un test a due punti fisso che costa $\Theta(1/\Delta)$ (o $\Theta(\lambda/h)$ per i casi senza distorsione), indipendente da $N$. L'attribuzione richiede l'estrazione di $\log N$ nats di identità.
   • Risultato: Esiste una finestra di "gap forense" in cui un testo è rilevabile (errore $\to 0$) ma non attribuibile (errore $\to 1$). Nello specifico, per gli schemi di biasing, l'attribuzione richiede $n \approx \log N / \Delta$, mentre il rilevamento si satura molto prima.
   • Implicazione: Un testo può essere provato come generato da una macchina senza essere attribuibile a un utente specifico.

3. Decoupling tramite Footprint (I Due Modelli di Qualità):

   • Il documento formalizza la distinzione tra schemi di "biasing" (supporto completo) e "embedding" (piccolo footprint).
   • Risultato:
     • Biasing ($B(\Delta)$): L'attribuzione costa $\Theta(\log N / \Delta)$. Il costo è accoppiato al budget di distorsione; rendere il segno più furtivo ($\Delta \to 0$) rende l'attribuzione infinitamente costosa.
     • Embedding ($E(m)$): L'attribuzione costa $\Theta(\log N / \log q)$, indipendente da qualsiasi limite di distorsione per token. L'impercettibilità è ottenuta tramite un footprint evanescente ($m/n \to 0$), non tramite una distorsione sottile per token.
   • Limitazione: Il documento nota che, sebbene il decoupling informatico esista, l'unico testimone noto (un "timbro digitale") non è robusto alle edizioni. Gli schemi impiegabili che localizzano (es. SEAL, EditGuard) sono identificati come a supporto completo (biasing), ma ottengono la localizzazione tramite una lettura fine, non tramite piccoli footprint.

4. Localizzazione e Principio di Incertezza:

   • Il documento deriva un principio di incertezza tra footprint e risoluzione per una localizzazione robusta al cropping.
   • Risultato: Per localizzare un segno in una finestra di dimensione $w$ in modo robusto contro il cropping, il footprint del carrier deve soddisfare $|R| \cdot w = \Omega(n)$.
   • Implicazione: Uno schema di embedding a piccolo footprint ($m = o(n)$) non può essere robusto al cropping ad alta risoluzione. La localizzazione ad alta risoluzione forza il segno ad avere un supporto completo (biasing), escludendo di fatto gli schemi a piccolo footprint per compiti di localizzazione robusta.

5. Validazione Empirica:

   • Gli autori validano la "trappola della collisione" su modelli linguistici reali (GPT-2, Pythia-410M, Qwen2.5). Misurano il rapporto $h/r_2 \approx 1.6$ attraverso i modelli, confermando che i decoder basati sulla consistenza ingenua sovrastimano il costo di questo fattore rispetto all'ottimale decoder a soglia di surprisal.
   • Gli esperimenti sul watermark Green-list confermano il gap forense: il rilevamento si satura a $\approx 28$ token, mentre l'accuratezza dell'attribuzione ritarda significativamente, crescendo linearmente con $\log N$.

Significatività e Rivendicazioni
Il documento sostiene di fornire le prime leggi informative strette e bidirezionali per la complessità campionaria di attribuzione ed estrazione nei modelli generativi.

• Unificazione: Unifica compiti forensi disparati (rilevamento, attribuzione, estrazione, localizzazione) e modelli di qualità (biasing vs embedding) sotto una singola misura: il profilo informativo $\nu(t)$.
• Impatto Regolatorio: Gli autori sostengono che le attuali regolamentazioni (es. l'AI Act dell'UE) spesso presumono un "oggetto estraibile" (ontologia di embedding). I risultati del documento mostrano che per i watermark di tipo biasing (la classe dominante nella pratica), tali mandati comportano un costo campionario divergente ($\Theta(\log N / \Delta)$) man mano che il segno diventa più furtivo, mentre gli schemi di embedding offrono un costo fisso ma sono attualmente limitati da vincoli di robustezza.
• Problemi Aperti: Il documento identifica esplicitamente la mancanza di uno schema di attribuzione privo di distorsione e robusto alle edizioni come il problema aperto più crito. Sebbene il tasso teorico $\Theta(\log N / h)$ sia risolto, l'attuale testimone (allineamento esatto) non è robusto alle edizioni. Resta aperto se un decoder robusto alle edizioni possa raggiungere questo tasso o se sia costretto a tornare al costo superiore di Rényi-2.

In sintesi, il documento postula che il potere forense di un watermark non è determinato dalla meccanica del suo embedding, ma dall'informazione che lo rende recuperabile (il profilo $\nu$) e dalla geometria del suo footprint. I "prezzi" dei compiti forensi sono strettamente governati da queste quantità informative.