Watermarking Discrete Diffusion Language Models

Titolo: Watermarking Discrete Diffusion Language Models

Autore: Avi Bagchi et al. (Università della Pennsylvania, UIUC, Stony Brook University)

---

1. Il Problema

Con la rapida diffusione degli agenti di Intelligenza Artificiale (AI), emerge la necessità critica di garantire l'autenticità e la tracciabilità dei contenuti generati. Un problema di sicurezza significativo è la distinzione tra testi generati da AI e quelli scritti da umani, specialmente considerando che attori malevoli utilizzano modelli generativi per creare disinformazione.

Sebbene esistano tecniche di watermarking ben consolidate per:

• LLM Autoregressivi: (es. Kirchenbauer et al., 2024) che dividono il vocabolario in liste "rosse" e "verdi".
• Modelli di Diffusione per Immagini: (es. Wen et al., 2023).

Esiste un vuoto di ricerca significativo per i Modelli di Diffusione Discreti (DDLMs). Questi modelli stanno guadagnando popolarità grazie alla loro elevata velocità di inferenza (throughput), ma le tecniche di watermarking esistenti non sono direttamente applicabili a causa delle differenze architetturali:

1. Generazione Parallela vs Sequenziale: I DDLM generano tutti i token simultaneamente in più passaggi di diffusione, a differenza dei LLM autoregressivi che generano token uno dopo l'altro.
2. Trade-off Completeness-Distorsione: Le tecniche attuali per i DDLM richiedono la selezione di un sottoinsieme di passaggi di diffusione su cui applicare il watermark, creando un compromesso: più passaggi si marcano, maggiore è la rilevabilità (completeness) ma anche la distorsione del testo (peggioramento della qualità).
3. Dipendenza dal Contesto: Le tecniche che usano i token precedenti per seminare la casualità (come nei LLM) non funzionano nei DDLM dove non esiste una dipendenza sequenziale durante la generazione.

2. Metodologia Proposta

Gli autori introducono uno dei primi metodi di watermarking specifici per i DDLM, basato su un trucco di campionamento Gumbel-max che preserva la distribuzione originale del modello.

Algoritmo di Generazione (Watermarking)

Invece di forzare una preferenza per un sottoinsieme di token (lista verde), il metodo modifica il processo di campionamento a ogni passo di diffusione mantenendo invariata la distribuzione di probabilità:

1. Campionamento Gumbel-Max: Per ogni posizione nel testo e per ogni passo di diffusione, il modello calcola la probabilità $p$ per ogni token del vocabolario.
2. Seme basato sulla Posizione: Viene generato un numero casuale $r \sim \text{Unif}[0, 1]$ per ogni token, ma il generatore di numeri casuali viene "seminato" (seeded) in base alla posizione del token nella sequenza ($i \mod m$). Questo permette di rigenerare lo stesso numero casuale durante la fase di rilevamento.
3. Selezione del Token: Il token selezionato è quello che massimizza il valore $S = \ln(r) / p$.
   • Teorema Chiave: È stato dimostrato teoricamente che questa procedura preserva esattamente la distribuzione originale del modello $p_\theta$, rendendo il watermark privo di distorsione (distortion-free).

Algoritmo di Rilevamento

Il rilevatore rigenera i numeri casuali $r_i$ utilizzando lo stesso seme basato sulla posizione e calcola un punteggio statistico:
$$\text{Score} = \frac{1}{L} \sum_{i=1}^{L} \ln\left(\frac{1}{1 - r_i}\right)$$

• Per testo non marcato, il punteggio normalizzato è centrato intorno a 1.
• Per testo marcato, il punteggio è significativamente superiore a 1.
• Robustezza: Per resistere alla cancellazione di prefissi (che sposterebbe l'indice di semina), il metodo prova tutti gli offset possibili $s \in \{0, ..., m-1\}$ e sceglie quello che massimizza il punteggio.

3. Contributi Chiave

1. Metodo di Watermarking a Distribuzione Preservata: Un approccio che applica il trucco Gumbel-max a ogni passo di diffusione, garantendo teoricamente che il testo generato abbia la stessa distribuzione del modello originale (nessuna distorsione).
2. Garanzie Teoriche:
   • Distortion-freeness: Il watermark non altera la qualità del testo.
   • Soundness: La probabilità di falsi positivi (rilevare un watermark dove non c'è) decade esponenzialmente con la lunghezza della sequenza.
3. Semplicità di Implementazione: A differenza dei metodi basati su liste verdi che richiedono una costosa ottimizzazione degli iperparametri (dimensione della lista verde $\gamma$, bias $\delta$, intervallo di passi $S_W$), questo metodo richiede la sintonizzazione di un solo parametro: la soglia di rilevamento $\tau$.
4. Validazione Empirica: Applicazione e test su LLaDA, uno stato dell'arte tra i modelli di diffusione linguistica discreti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 1000 prompt da WaterBench utilizzando il modello LLaDA.

• Rilevabilità (Detectability):
  • Il metodo Gumbel-max ha raggiunto una completeness del 96.0% e una soundness del 97.7% (con $\tau^* = 1.19$).
  • Le prestazioni sono paragonabili alle migliori configurazioni dei metodi "Green-List", ma senza la necessità di un'ampia ricerca degli iperparametri.
• Qualità del Testo (Distortion):
  • I metodi "Green-List" mostrano un degrado della qualità (misurato tramite Perplexity e punteggi di GPT-4 come giudice) all'aumentare della forza del watermark.
  • Il metodo Gumbel-max mantiene una qualità del testo molto vicina a quella del modello non marcato (es. Perplexity: 10.65 vs 10.39 per il baseline), con una riduzione minima della qualità rispetto ai metodi basati su liste verdi ad alta rilevabilità.
• Robustezza: Il metodo mantiene un'alta capacità di rilevamento anche dopo cancellazioni di prefissi, grazie alla strategia di allineamento degli offset.

5. Significato e Conclusioni

Questo lavoro colma una lacuna importante nel campo della sicurezza dell'AI, fornendo una soluzione praticabile per i modelli di diffusione discreta, una categoria in rapida crescita.

• Vantaggio Pratico: La capacità di ottenere un watermark robusto e privo di distorsione senza costose ricerche di iperparametri rende il metodo facilmente deployabile su diversi modelli e benchmark.
• Impatto Teorico: Dimostra che è possibile marcare i contenuti generati da modelli di diffusione discreta senza comprometterne la distribuzione statistica o la qualità, superando il tradizionale compromesso tra rilevabilità e fedeltà del testo.
• Direzioni Future: Gli autori suggeriscono di esplorare strategie di rimasking più sofisticate per concentrare il segnale del watermark in regioni più stabili e di integrare tecniche di allineamento basate sulla distanza di edit per una robustezza ancora maggiore.

In sintesi, il paper propone un metodo elegante ed efficiente che utilizza le proprietà statistiche del campionamento Gumbel-max per tracciare i contenuti generati da DDLM, garantendo al contempo che la qualità del testo rimanga intatta.