XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts

1. Il Problema

L'adozione diffusa dei Large Language Models (LLM) ha sollevato preoccupazioni significative riguardo alla sicurezza e all'etica, in particolare per quanto riguarda la possibilità che utenti malintenzionati generino contenuti dannosi (fake news, phishing, recensioni fraudolente).
Sebbene esistano metodi di "watermarking" (filigrana digitale) per rilevare i contenuti generati dall'AI, la maggior parte si concentra sul watermarking a zero bit (rilevamento binario: "è AI" o "non è AI"). Questo approccio è insufficiente per tracciare l'origine specifica o attribuire la responsabilità a un utente.
Il watermarking multi-bit (che incorpora messaggi binari come ID utente o timestamp) è la soluzione ideale, ma le tecniche esistenti presentano limiti critici:

• Scalabilità computazionale: Alcuni metodi richiedono un'enumerazione brutale di tutti i possibili messaggi, diventando intrattabili per messaggi lunghi.
• Compromesso Qualità-Accuratezza: I metodi che preservano la qualità del testo spesso hanno un'accuratezza di decodifica bassa, mentre quelli ad alta accuratezza degradano significativamente la fluidità del testo.
• Dipendenza dalla lunghezza del testo: L'accuratezza di decodifica crolla drasticamente quando il testo sospetto è corto (pochi token), una situazione comune nell'uso pratico.

2. Metodologia: XMARK

Gli autori propongono XMARK, un nuovo metodo di watermarking multi-bit progettato per bilanciare alta qualità del testo, robustezza e accuratezza di decodifica, anche con un numero limitato di token. La metodologia si basa su tre innovazioni chiave:

A. Strategia "Leave-one-Shard-out" (LOSO)

Nei metodi precedenti (es. MPAC), il "green list" (l'insieme di token i cui logit vengono aumentati per codificare il messaggio) corrisponde a una singola frazione del vocabolario (es. 1 su $2^d$), lasciando il resto invariato. Questo riduce la probabilità di campionamento dei token non scelti, distorcendo la distribuzione e peggiorando la qualità del testo.
XMARK inverte la logica:

• Per codificare un blocco di messaggio, seleziona tutti i frammenti (shards) del vocabolario tranne uno (quello corrispondente al valore del messaggio).
• Il green list è quindi l'unione di tutti gli shards tranne quello escluso.
• Vantaggio: Il rapporto del green list ($\gamma$) diventa molto più alto ($\gamma \approx 1 - 2^{-d}$), preservando la distribuzione originale dei logit e mantenendo un'alta qualità del testo (bassa Perplexity).

B. Lista "Evergreen" (Intersezione di Permutazioni)

Per compensare la perdita di segnale dovuta all'allargamento del green list (che rende il messaggio più difficile da decodificare), XMARK utilizza $k$ chiavi di hash distinte.

• Il vocabolario viene permutato $k$ volte diverse.
• Per ogni permutazione, viene costruita una lista green secondo la strategia LOSO.
• Viene creata una "Evergreen List" ($E$) che è l'intersezione di tutte le $k$ liste green.
• Solo i token presenti in questa lista intersezione ricevono un bias positivo ($\delta$) sui logit.
• Risultato: Sebbene la lista sia più piccola di una singola lista green, la sua dimensione attesa è proporzionale a $(1 - 2^{-d})^k$, garantendo un segnale robusto senza sacrificare eccessivamente la qualità del testo.

C. Decodificatore con Matrice di Mappatura Token-Shard Vincolata (cTMM)

Il decodificatore tradizionale conta quante volte un token appare in uno specifico shard. Tuttavia, con liste green ampie e pochi token, questo conteggio può essere impreciso.
XMARK introduce la cTMM (constrained Token-Shard Mapping Matrix):

• Per ogni token, il decodificatore ricostruisce le $k$ permutazioni e le relative partizioni in shard.
• Il token contribuisce all'aggiornamento della matrice di mappatura per ciascuna delle $k$ permutazioni, ma con un vincolo fondamentale: ogni token può incrementare il conteggio di uno shard specifico al massimo una volta per blocco di messaggio.
• Vantaggio: Questo impedisce che i token non potenziati (quelli che non appartengono a nessuna lista green) vengano contati eccessivamente nello stesso shard "sbagliato", migliorando la distinzione tra gli shard potenziati e quello escluso (che codifica il messaggio). Questo è cruciale per decodificare correttamente anche con pochi token.

3. Risultati Sperimentali

Gli autori hanno valutato XMARK su tre task downstream (completamento testo, generazione di storie, riassunto) utilizzando modelli come LLaMA-2-7B e dataset come C4, WritingPrompts e CNN/DailyMail.

• Accuratezza di Decodifica (Bit Accuracy - BA): XMARK supera costantemente tutti gli stati dell'arte (MPAC, StealthInk, DepthW, ecc.).
  • Nel task di completamento testo con $T=150$ token, XMARK raggiunge un 98.75% di accuratezza, superando di +3.5% il metodo precedente migliore (CycleShift).
  • Con messaggi più lunghi ($b=32$) e testi brevi, XMARK mantiene un vantaggio significativo (+4.62% rispetto a MPAC).
• Qualità del Testo (Perplexity - PPL): XMARK mantiene una qualità del testo quasi indistinguibile dal testo non watermarked.
  • Nel completamento testo, il PPL medio è 4.61, paragonabile a StealthInk (che però ha un'accuratezza di decodifica molto inferiore) e significativamente migliore di MPAC.
• Robustezza agli Attacchi: XMARK dimostra una maggiore resistenza agli attacchi di editing del testo (Copy-Paste e Paraphrase) rispetto ad altri metodi, mantenendo un'alta accuratezza di decodifica anche quando il testo viene modificato.
• Efficienza Computazionale:
  • Codifica: Il tempo di codifica è trascurabile e dominato dall'inferenza dell'LLM (simile agli altri metodi).
  • Decodifica: XMARK è estremamente veloce (0.08 secondi), paragonabile a MPAC e molto più veloce di metodi basati su enumerazione come DepthW (16.16 secondi).

4. Contributi Chiave

1. Nuovo Paradigma di Codifica (LOSO): Spostamento dalla selezione di una piccola frazione di token alla selezione della maggior parte del vocabolario, riducendo la distorsione della distribuzione dei logit.
2. Meccanismo di Intersezione (Evergreen List): Utilizzo di multiple permutazioni di vocabolario per creare un segnale di watermark robusto e ridondante senza degradare la qualità.
3. Decodificatore Avanzato (cTMM): Un algoritmo di decodifica che massimizza l'informazione estratta da ogni token, risolvendo il problema della decodifica affidabile su testi corti.
4. Superamento dei Limiti Esistenti: XMARK risolve il compromesso tra qualità del testo e accuratezza di decodifica, offrendo prestazioni superiori sia in scenari con pochi token che con messaggi lunghi.

5. Significato e Impatto

XMARK rappresenta un passo avanti significativo nella sicurezza dei LLM. La sua capacità di incorporare metadati complessi (come ID utente) in modo impercettibile e affidabile, anche in contesti reali dove il testo generato può essere breve o soggetto a editing, lo rende uno strumento pratico per:

• Tracciabilità: Identificare l'origine specifica di contenuti generati da AI.
• Prevenzione dell'Abuso: Rendere più difficile l'uso anonimo di LLM per attività malevole.
• Adozione Pratica: Essendo computazionalmente efficiente e compatibile con i modelli esistenti, può essere integrato facilmente nei servizi LLM-as-a-Service.

Il lavoro evidenzia che è possibile ottenere watermarking robusto senza sacrificare la qualità linguistica, aprendo la strada a sistemi di attribuzione più sofisticati per l'ecosistema dell'IA generativa.