Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

1. Il Problema: Il Dilemma della Verifica Indipendente

L'articolo affronta una sfida fondamentale nella governance dei contenuti generati da Intelligenza Artificiale (LLM). Sebbene il watermarking (marcatura digitale) sia essenziale per tracciare la provenienza dei testi generati, le attuali soluzioni presentano un limite critico:

• Accoppiamento Chiave-Rilevamento: Gli schemi esistenti sono basati su chiavi segrete (secret-key). Il rilevamento richiede l'accesso alla stessa chiave utilizzata per l'inserimento del watermark o l'uso di un detector specifico fornito dal gestore del modello.
• Barriera alla Governance: Questo crea un "punto cieco" per la verifica indipendente. Corti, moderatori di piattaforme o enti regolatori non possono verificare autonomamente se un testo è marcato senza compromettere la sicurezza (condividendo la chiave) o affidarsi ciecamente alle affermazioni del fornitore del servizio.
• Mancanza di Neutralità: Le soluzioni recenti di "verifica pubblica" spesso mantengono un accoppiamento stretto tra l'inserimento e il rilevamento, richiedendo parametri condivisi o logiche specifiche che impediscono un audit neutrale e riutilizzabile su modelli eterogenei.

L'obiettivo è creare un framework che permetta a una Terza Parte Fiduciaria (TTP) di verificare la presenza di un watermark in modalità black-box (senza accesso alla chiave segreta, ai parametri interni o al modello di generazione), basandosi esclusivamente sul testo in output.

2. Metodologia: TTP-Detect

Il paper introduce TTP-Detect, un framework innovativo che riformula il problema della rilevazione come un test di ipotesi relativo invece che assoluto.

Concetto Chiave: Test di Ipotesi Relativa

Invece di cercare di ricostruire la distribuzione universale dei testi non marcati (impossibile in black-box), TTP-Detect confronta il testo in query ($t_q$) con due set di riferimento costruiti dinamicamente:

1. $T_o$ (Unwatermarked): Testo generato dallo stesso fornitore senza watermark.
2. $T_{wm}$ (Watermarked): Testo generato dallo stesso fornitore con watermark attivo.

L'ipotesi è: Il testo in query è più coerente con la distribuzione $P_{wm}$ (marcata) o con $P_o$ (non marcata)?

Componenti del Framework

Il processo si articola in tre fasi principali:

1. Estrazione di Rappresentazioni tramite Modello Proxy:

   • Viene utilizzato un modello proxy (es. Qwen2.5-3B) fine-tuned con un obiettivo di discriminazione supervisionata.
   • Il proxy impara a mappare i testi in uno spazio di rappresentazione dove le differenze legate al watermark sono amplificate, catturando sia il contesto semantico che le "tracce" discriminatorie del watermark.
   • Vengono estratti vettori di feature ($z$) normalizzati per il testo in query e per i set di riferimento.

2. Moduli di Misurazione Relativa Complementari:
   Poiché nessun singolo statistico può rilevare tutti i tipi di watermark, TTP-Detect utilizza quattro moduli complementari:

   • Test di Coerenza Locale ($A_{Loc}$): Verifica se la rappresentazione del query è circondata da campioni marcati nello spazio delle feature (densità locale).
   • Test di Geometria Globale:
     • Punteggio di Mahalanobis ($A_{Mah}$): Misura la distanza statistica considerando le correlazioni tra le perturbazioni del watermark (proiettando lo spazio in dimensioni inferiori via PCA).
     • Punteggio di Energia ($A_{Ene}$): Una misura non parametrica per catturare distribuzioni irregolari che violano le assunzioni gaussiane.
   • Test di Ranghi Adattivi ($A_{Ada}$): Analizza i pattern di probabilità di generazione (likelihood) a livello di token (entropia globale e volatilità locale) senza dipendere dalla geometria delle embedding. Utilizza un ranking adattivo basato sui set di riferimento per determinare la direzione del segnale.

3. Ensemble e Decisione:

   • I punteggi dei quattro moduli vengono aggregati in un unico punteggio finale tramite un ensemble leggero (logistic regression) calibrato su un set di validazione che include anche esempi perturbati (attacchi).
   • La soglia decisionale è calibrata per controllare rigorosamente il tasso di falsi positivi (FPR), rendendo il sistema adatto a scopi forensi o giudiziari.

3. Contributi Chiave

1. Paradigma di Verifica Agnostico alla Chiave: È il primo framework che decouplea completamente il rilevamento dall'inserimento, permettendo a una terza parte di auditare la presenza di watermark senza conoscere l'algoritmo o la chiave segreta.
2. Approccio Ibrido e Robusto: L'uso di rappresentazioni proxy combinate con misurazioni relative multiple (geometriche, statistiche e basate sulla likelihood) supera i limiti dei metodi basati su una singola statistica.
3. Validazione Estensiva: Il framework è stato testato su una vasta gamma di schemi di watermarking (da quelli basati su logits come KGW a quelli basati sul campionamento come SynthID e schemi sintetici come SymMark) e modelli LLM diversi (Llama-3, OPT).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (C4, OpenGen) e modelli come Llama-3.1-8B e OPT-6.7B.

• Prestazioni Superiori: TTP-Detect ha dimostrato prestazioni eccellenti, superando o eguagliando i metodi basati su chiavi pubbliche (come UPV) in scenari black-box.
  • Per schemi basati su logits (KGW, Unigram), ha raggiunto un AUC vicino a 1.000.
  • Ha ottenuto performance perfette (F1 e AUC = 1.000) su schemi sintetici come SymMark.
  • Ha mantenuto capacità di rilevamento significative anche su schemi "unbiased" o a distorsione zero (SynthID, Unbiased), dove le differenze statistiche sono minime.
• Robustezza agli Attacchi: Il sistema è stato testato contro sei tipi di attacchi (cancellazione parole, sostituzione sinonimi, parafrasi con Dipper e GPT-5.1).
  • TTP-Detect ha mantenuto un'alta robustezza (AUC medio > 0.98 per KGW) anche dopo parafrasi aggressive, dimostrando che l'approccio relativo riduce la dipendenza da feature specifiche fragili.
• Efficienza: Il costo computazionale lato TTP è contenuto (< 2 secondi per query), con il collo di bottiglia principale dato dalla generazione dei set di riferimento da parte del fornitore del servizio.

5. Significato e Impatto

Questo lavoro rappresenta un passo cruciale verso una governance neutrale e scalabile dei contenuti AI:

• Indipendenza: Abilita audit indipendenti senza compromettere la sicurezza dei fornitori di modelli (non è necessario rivelare le chiavi segrete).
• Fiducia Giuridica: Fornisce una metodologia statisticamente solida e controllabile per l'uso in contesti legali o di moderazione dei contenuti.
• Futuro della Ricerca: Apre la strada a un'infrastruttura di verifica dove i regolatori possono monitorare l'ecosistema LLM indipendentemente dal fornitore specifico, promuovendo la responsabilità (accountability) nell'era della generazione di testo su larga scala.

In sintesi, TTP-Detect risolve il paradosso della sicurezza vs. verificabilità trasformando la rilevazione del watermark da un problema di "decrittazione" a un problema di "confronto statistico relativo", rendendo possibile un controllo esterno efficace in ambienti black-box.