Riepilogo Tecnico: Nascosti nei Token in Vista

Enunciato del Problema

Il rapido avanzamento dell'IA generativa, in particolare dei modelli autoregressivi per le modalità continue come l'audio, ha creato un bisogno urgente di una provenienza dei contenuti robusta. Sebbene le tecniche di watermarking per i domini discreti (ad esempio, il testo) siano ben consolidate, la loro applicazione alle modalità continue incontra un ostacolo fondamentale: il mismatch di retokenizzazione.

Nei modelli audio autoregressivi, il contenuto viene generato come una sequenza di token discreti ma sintetizzato in un'onda continua. Per rilevare un watermark, l'onda deve essere nuovamente codificata (retokenizzata) dal codec. Tuttavia, poiché i codec neurali danno priorità alla qualità di ricostruzione rispetto alla preservazione esatta degli indici, la sequenza retokenizzata spesso differisce dalla sequenza generata originale. Questo "errore di retokenizzazione" fa sì che il segnale del watermark, tipicamente incorporato polarizzando i logit di token specifici, svanisca rapidamente, specialmente all'aumentare della dimensione della finestra di contesto ($h$). Le soluzioni esistenti tentano di risolvere il problema affinando i moduli del codec per renderli idempotenti, un processo computazionalmente costoso, che richiede accesso white-box e annulla il vantaggio "senza addestramento" degli schemi di watermarking standard.

Metodologia

Gli autori propongono Hidden in Plain Tokens, un metodo di watermarking leggero e privo di gradienti che sfrutta la ridondanza strutturale intrinseca nell'apprendimento di rappresentazioni discrete. Invece di forzare il codec a essere idempotente, il metodo adatta lo schema di watermarking ai pattern di errore naturali del codec.

1. Analisi Statistica della Retokenizzazione

Il documento modella inizialmente il processo di retokenizzazione come un canale rumoroso. Derivano che la statistica di rilevamento attesa (punteggio $z$) per un watermark KGW standard (Kirchenbauer et al., 2023) decade esponenzialmente con la dimensione della finestra di contesto $h$ e il tasso di corrispondenza dei token $r$:
$$E[z|H_1] \propto \sqrt{N} \cdot r^{h+1}$$
Poiché $r < 1$ nelle modalità continue, il segnale svanisce rapidamente. Gli autori osservano che, sebbene le corrispondenze esatte dei token siano rare, i token vengono spesso confusi con un piccolo insieme di "vicini semantici".

2. Riduzione del Vocabolario tramite Rilevamento delle Comunità

Per mitigare questo problema, gli autori introducono un approccio di clustering del vocabolario:

• Costruzione del Grafo: Codificano e ricodificano un dataset di onde per costruire una matrice di confusione, trattando i token come nodi in un grafo e le frequenze di confusione come pesi degli archi.
• Rilevamento delle Comunità: Utilizzando algoritmi non supervisionati (in particolare il metodo Leiden), identificano cluster stabili di token che vengono frequentemente confusi tra loro. Questo riduce efficacemente la dimensione del vocabolario da $|V|$ a un insieme più piccolo di cluster.
• Watermarking a Livello di Cluster: Invece di polarizzare i singoli token, il bias del watermark viene applicato a livello di cluster. La storia del contesto (usata per l'hashing) e la selezione del token corrente vengono entrambe mappate sui loro indici di cluster prima di applicare la regola del watermark.

3. Miglioramento Teorico

Operando a livello di cluster, il metodo sostituisce il tasso di corrispondenza dei token $r$ con un tasso di corrispondenza dei cluster $r_{cl}$. Poiché $r_{cl} > r$ (i cluster aggregano i vicini più prossimi), il termine di decadimento esponenziale diventa $r_{cl}^{h+1}$, aumentando significativamente il punteggio $z$ atteso e la robustezza del rilevamento senza modificare il modello generativo sottostante o il codec.

Contributi Chiave

1. Analisi Statistica: Gli autori forniscono una quantificazione teorica di come gli errori di retokenizzazione degradino la rilevabilità del watermark, evidenziando il decadimento esponenziale del segnale rispetto alla dimensione della finestra di contesto.
2. Metodo Senza Gradienti: Introducono un metodo innovativo, black-box, che scopre le strutture sottostanti del vocabolario tramite rilevamento delle comunità e le distilla prima di applicare le regole di watermarking. Questo preserva il paradigma senza addestramento.
3. Robustezza e Qualità: Il metodo ottiene una robustezza intrinseca alle modifiche audio e al rumore di retokenizzazione, minimizzando al contempo il degrado della qualità audio percepita.

Risultati Sperimentali

Il metodo è stato valutato su modelli audio autoregressivi all'avanguardia, tra cui Moshi (parla conversazionale) e MusicGen (generazione musicale), nonché su modelli da testo a voce come CosyVoice3 e Spark-TTS.

• Rilevabilità: Il metodo proposto aumenta la rilevabilità di diversi ordini di grandezza rispetto alle linee di base, inclusi i metodi "Base" (KGW grezzo) e "WMAR" (codec affinato). Anche con contesti di ordine superiore ($h=1, 2$), il metodo mantiene alti tassi di veri positivi (TPR) con tassi di falsi positivi (FPR) molto bassi.
• Robustezza: Il watermark rimane rilevabile sotto vari attacchi, inclusi l'elaborazione del segnale (smussatura, filtraggio, rumore), la compressione (MP3, DAC, EnCodec) e le modifiche temporali (taglio, spostamento). Sebbene il disallineamento temporale rimanga una sfida per tutti i metodi basati su token, il metodo proposto supera le linee di base in modo significativo.
• Qualità Audio: La valutazione tramite le metriche Fréchet Audio Distance (FAD) e Mean Opinion Score (MOS) indica che il processo di watermarking non degrada severamente la qualità audio. In molti casi, i punteggi di qualità dell'audio con watermark sono comparabili o superiori rispetto alle linee di base WMAR affinate.

Significato e Affermazioni

Il documento afferma di stabilire un nuovo stato dell'arte per i watermark a livello di token nei multimedia. Il suo significato principale risiede nel dimostrare che la fragilità percepita del watermarking audio a livello di token è risolvibile non attraverso un addestramento invasivo del modello, ma distillando lo spazio di rappresentazione discreto appreso dal modello.

Gli autori sostengono che l'allineamento strutturale nello spazio latente (catturato tramite rilevamento delle comunità) si traduce direttamente in robustezza nel dominio del segnale. Questo approccio offre un'alternativa pratica ed efficiente all'affinamento computazionalmente costoso dei codec, rendendo il watermarking robusto per l'audio sintetico più accessibile e distribuibile. Il lavoro suggerisce che la ridondanza nell'apprendimento di rappresentazioni discrete è una caratteristica che può essere sfruttata per superare le limitazioni delle modalità continue.