AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing

Riepilogo Tecnico: AliMark

Enunciazione del Problema
I metodi esistenti di watermarking a livello di frase per i Large Language Models (LLM), come SemStamp, mirano a migliorare la robustezza contro il parafrasaggio ancorando i watermark alle semantica delle frasi anziché ai pattern a livello di token. Tuttavia, questi metodi fanno tipicamente affidamento su una progettazione basata sul prefisso, in cui il segnale del watermark di una frase è condizionato dal contesto che la precede (ad esempio, la frase immediatamente precedente).

Il documento identifica una vulnerabilità critica in questa progettazione: le perturbazioni strutturali. I modelli avanzati di parafrasaggio (ad esempio DIPPER, GPT-3.5) alterano frequentemente la struttura del testo dividendo o unendo le frasi. Quando una frase viene divisa o unita, il contesto per le frasi successive cambia. Poiché il segnale del watermark è condizionato pseudocasualmente a questo specifico contesto, qualsiasi alterazione del contesto rompe la relazione pseudocasuale necessaria per il rilevamento. Di conseguenza, una singola modifica strutturale può innescare un effetto a cascata, causando la perdita dei segnali di watermark su più frasi successive, rendendo i framework esistenti fragili sotto forti attacchi di parafrasaggio.

Metodologia: AliMark
Per affrontare questo problema, gli autori propongono AliMark, un framework che riformula il watermarking a livello di frase come un problema di codifica e allineamento di sequenze di bit tra un testo potenzialmente marcato e una sequenza di bit segreta, anziché basarsi su dipendenze inter-frase.

Il framework opera in due fasi principali:

1. Generazione del testo marcato (Inserimento):

   • Invece di condizionarsi sul contesto del prefisso, AliMark utilizza una sequenza globale di bit segreti $s$ come chiave del watermark.
   • Questa sequenza è partizionata in blocchi di dimensione $M$, dove ogni blocco corrisponde ai segnali di bit inseriti in una singola frase.
   • Durante la generazione, l'LLM produce $Q$ frasi candidate per la posizione successiva.
   • Un Estrattore di Segnali di Bit (utilizzando un sentence embedder e vettori segreti) converte l'embedding semantico di ogni candidato in una sequenza di bit discreta.
   • Il sistema seleziona il candidato la cui sequenza di bit estratta corrisponde al blocco corrispondente della sequenza globale di bit segreti. Questo garantisce che l'intero testo codifichi un pattern di bit sequenziale indipendente dai confini delle frasi.

2. Rilevamento del testo marcato:
   Per gestire le perturbazioni strutturali (divisioni, unioni, inserimenti, cancellazioni) introdotte dal parafrasaggio, AliMark impiega una strategia di rilevamento in due fasi:

   • Re-Structurer (RS): Questo modulo opera a livello di testo per recuperare le strutture originali potenziali. Genera multiple varianti di testo eseguendo operazioni di ri-unione singola (combinando due frasi consecutive) e ri-divisione singola (dividendo una frase in due). Ciò crea un insieme di candidati di testi ristrutturati.
   • Allineamento Adattivo della Sequenza di Bit (ABSA): Questo modulo opera a livello di bit. Per ogni candidato ristrutturato, estrae la sequenza di bit e la allinea a un insieme di candidati di sequenza di bit segreti di lunghezze variabili (per tenere conto dei cambiamenti nel numero di frasi).
   • Metrica di Allineamento: Gli autori introducono il Block Edit Rate (BER), un adattamento della Distanza di Levenshtein adattato per scenari a livello di frase. A differenza della distanza di edit standard, il BER tratta l'inserimento o la cancellazione di una frase (un blocco di $M$ bit) come una singola operazione con un costo fisso, mentre i costi di sostituzione sono basati sulla distanza di Hamming tra i blocchi di bit.
   • Punteggio: Il sistema calcola uno $z$-score per ogni tentativo di allineamento. Il punteggio finale del watermark è lo $z$-score massimo ottenuto tra tutte le varianti ristrutturate e tutti i candidati di lunghezza della sequenza segreta.

Contributi Chiave

1. Identificazione della Vulnerabilità Strutturale: Il documento dimostra che le perturbazioni strutturali (divisione e unione delle frasi) sono comuni nel parafrasaggio automatizzato e degradano catastroficamente le prestazioni dei metodi di watermarking a livello di frase basati sul prefisso.
2. Nuova Formulazione: AliMark propone una nuova formulazione del watermarking a livello di frase come compito di codifica e allineamento di sequenze di bit globali, disaccoppiando i segnali del watermark dai contesti specifici delle frasi.
3. Meccanismo di Rilevamento Robusto: L'integrazione di un Re-Structurer e di un Allineamento Adattivo della Sequenza di Bit permette al sistema di recuperare i segnali di watermark anche quando la struttura del testo è stata significativamente alterata.
4. Validazione Empirica: Esperimenti estensivi mostrano che AliMark supera sostanzialmente i baseline all'avanguardia (inclusi SemStamp, k-SemStamp e metodi a livello di token come KGW) sotto diversi attacchi di parafrasaggio, in particolare contro modelli potenti come DIPPER e GPT-3.5.

Risultati Sperimentali

• Prestazioni: Su dataset come Booksum e C4, AliMark mantiene alti tassi di veri positivi (TPR) sotto forti attacchi di parafrasaggio dove i baseline falliscono. Ad esempio, utilizzando OPT-1.3B, AliMark raggiunge un TPR@5% del 61,6% sotto DIPPER e del 66,6% sotto GPT-3.5, mentre il miglior baseline (SemStamp) scende rispettivamente al 26,7% e al 22,0%.
• Robustezza Adversariale: In esperimenti di sondaggio che coinvolgono inserimento casuale di frasi, cancellazione e riordinamento, AliMark supera costantemente i baseline, mantenendo la rilevabilità anche a tassi di perturbazione di 0,4–0,5.
• Qualità del Testo: L'analisi della perplessità indica che AliMark introduce un degrado trascurabile alla qualità del testo rispetto alle uscite non marcate, con aumenti lievi osservati solo all'aumentare della dimensione del blocco $M$.
• Efficienza: Sebbene il processo di rilevamento coinvolga la generazione di più candidati, ottimizzazioni ingegneristiche (come la consolidazione dei calcoli delle tabelle di programmazione dinamica) mantengono il tempo di esecuzione gestibile, scalando linearmente con il numero di frasi in input.

Significato e Affermazioni
Il documento afferma che AliMark rappresenta un'evoluzione necessaria nel watermarking degli LLM affrontando la specifica fragilità dei metodi basati sulla semantica ai cambiamenti strutturali. Spostandosi dall'hashing del prefisso dipendente dal contesto all'allineamento di sequenze globali, AliMark offre una difesa robusta contro le capacità di riscrittura sofisticate degli LLM moderni. Gli autori posizionano questo lavoro come un passo critico verso la garanzia della provenienza dei contenuti e dell'integrità accademica in un'epoca in cui la scrittura automatizzata e il parafrasaggio sono prevalenti. Riconoscono le limitazioni, specificamente che l'attuale Re-Structurer utilizza un approccio a singolo passo e potrebbe non gestire perfettamente cambiamenti strutturali complessi a più passaggi, suggerendo che un lavoro futuro potrebbe coinvolgere euristiche di ristrutturazione più sofisticate o modelli addestrati su misura.