💬 NLP

SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

Il paper propone SSG (*Sort-then-Split by Groups*), un nuovo metodo di partizionamento del vocabolario basato sul bilanciamento dei logit per migliorare l'efficacia e la rilevabilità del watermarking nei modelli linguistici (LLM), specialmente in contesti a bassa entropia come la generazione di codice e il ragionamento matematico.

Autori originali: Chenxi Gu, Xiaoning Du, John Grundy

Pubblicato 2026-04-27

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Chenxi Gu, Xiaoning Du, John Grundy

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Marchio Invisibile" che svanisce nel buio

Immagina che ogni volta che un'Intelligenza Artificiale (come ChatGPT) scrive un testo, lasci una piccola "firma invisibile" (un watermark). È come un filo d'oro sottilissimo intrecciato nelle parole: non lo vedi, ma se usi una lente speciale, puoi dire: "Sì, questo testo l'ha scritto un'IA".

Il metodo più usato oggi (chiamato KGW) funziona bene quando l'IA scrive storie o articoli (testi "ricchi" e vari). È come cercare di vedere un filo d'oro su un tappeto colorato: il contrasto è alto e lo trovi subito.

Il problema? Quando l'IA deve scrivere codice informatico o problemi matematici, il "tappeto" diventa tutto nero. In questi casi, l'IA ha pochissime opzioni: per una certa formula matematica, ci sono solo due o tre modi corretti per scriverla. È come cercare di vedere un filo d'oro su un fondo nero e piatto: il filo si perde, diventa invisibile e la firma sparisce.

La Soluzione: SSG (L'Arte di Dividere il Tesoro)

Gli autori di questo studio hanno capito che il problema non è il "filo d'oro", ma come lo stiamo distribuendo.

Il vecchio metodo (KGW) lanciava i "semi" della firma a caso tra tutte le parole possibili. Se l'IA doveva scegliere tra tre parole cruciali, c'era il rischio che finissero tutte nello stesso gruppo, rendendo la firma debole o inesistente.

Qui entra in gioco il loro nuovo metodo: SSG (Sort-then-Split by Groups).

Immagina di avere una scatola di caramelle di vari gusti e colori.

Il vecchio metodo (KGW): Prendi un sacchetto e tiri a sorte: "Queste sono le caramelle 'verdi' (con la firma), queste sono le 'rosse' (senza)". Se per sfortuna tutte le caramelle più buone e importanti finiscono nel sacchetto rosso, la firma non si sente più.
Il nuovo metodo (SSG): Prima di dividere, ordini le caramelle dalla più buona alla meno buona. Poi, crei delle coppie: prendi la caramella n. 1 e la n. 2, e ne metti una nel sacchetto verde e una in quello rosso. Poi la n. 3 e la n. 4, e così via.

In questo modo, ti assicuri che le parole più importanti (quelle con più probabilità di essere usate) siano sempre equamente divise tra il gruppo "con firma" e quello "senza firma".

Perché è una rivoluzione?

Grazie a questo "ordine strategico", la firma diventa molto più robusta, specialmente nei compiti difficili come la programmazione.

È più forte: Anche se l'IA ha pochissime opzioni (bassa entropia), la firma è sempre presente perché le opzioni chiave sono state "bilanciate".
Non rovina il lavoro: Spesso, per rendere una firma più forte, si rischia di far scrivere all'IA cose senza senso. SSG invece è intelligente: non cambia la qualità del testo, si limita a scegliere meglio dove nascondere il segnale.
È veloce: Non deve riordinare l'intero dizionario ogni secondo (sarebbe troppo lento), ma si concentra solo sulle parole più probabili (le "top-k").

In sintesi

Se il vecchio metodo era come lanciare dadi sperando che la firma rimanesse visibile, SSG è come un architetto che distribuisce i pesi in modo preciso per garantire che la struttura (la firma) resti in piedi, anche quando il terreno (il compito matematico o informatico) è molto instabile.

Riassunto Tecnico: SSG (Sort-then-Split by Groups)

1. Il Problema: Debolezza del Watermarking in Ambienti a Bassa Entropia

Il paper affronta un limite critico degli attuali schemi di watermarking per i Large Language Models (LLM), in particolare il metodo KGW (Kirchenbauer et al.). Il metodo KGW funziona partizionando il vocabolario in due sottoinsiemi ("verde" e "rosso") tramite una funzione hash basata sul contesto, applicando poi un bias positivo ai logit dei token "verdi".

Tuttavia, gli autori identificano che l'efficacia di questo schema degrada drasticamente in scenari a bassa entropia, come la generazione di codice o il ragionamento matematico. In questi casi, la distribuzione di probabilità del prossimo token è estremamente concentrata su pochissimi candidati (picchi di probabilità). Se, per puro caso (partizionamento casuale), tutti i token ad alta probabilità finiscono nello stesso sottoinsieme (tutti verdi o tutti rossi), il bias applicato non riesce a spostare significativamente la distribuzione, rendendo il segnale del watermark quasi invisibile e non rilevabile.

2. Metodologia: L'algoritmo SSG

Per risolvere questo problema, gli autori introducono il concetto di Watermark Strength (Forza del Watermark), una metrica a livello di singolo token che quantifica lo spostamento della probabilità verso il set verde.

La soluzione proposta è l'algoritmo SSG (Sort-then-Split by Groups). Invece di un partizionamento casuale, SSG adotta un approccio basato sui logit:

Ordinamento e Raggruppamento: Per ogni passo di generazione, i logit di tutti i token del vocabolario vengono ordinati in modo decrescente. I token vengono quindi raggruppati in coppie consecutive.
Partizionamento Bilanciato: Per ogni coppia di token, un generatore di numeri pseudo-casuali (seedato con una chiave segreta e il contesto) decide quale dei due token appartiene al set verde ( $V_g$ ) e quale al set rosso ( $V_r$ ).
Garanzia di Bilanciamento: Questo metodo assicura che i token con i logit più alti siano distribuiti equamente tra i due set, impedendo che un singolo gruppo di token dominanti "monopolizzi" un solo colore.
Ottimizzazione (Top-k): Poiché l'ordinamento dell'intero vocabolario è computazionalmente costoso, gli autori propongono di applicare SSG solo ai primi $k$ token (i più probabili), lasciando il resto del vocabolario a un partizionamento casuale. Questo mantiene l'efficacia riducendo l'overhead computazionale.

3. Contributi Chiave

Analisi Teorica: Introduzione della metrica Watermark Strength e dimostrazione matematica che SSG alza il limite inferiore (lower bound) di tale forza, garantendo la rilevabilità anche quando la distribuzione è molto concentrata.
Nuovo Algoritmo di Iniezione: Proposta di SSG, un metodo di partizionamento bilanciato per i logit che non richiede modifiche all'algoritmo di rilevamento esistente (è compatibile con KGW, SWEET, EWD).
Efficienza Computazionale: Dimostrazione che l'applicazione del metodo solo ai primi $k$ token è sufficiente per ottenere prestazioni elevate con un impatto minimo sulla velocità di decodifica.

4. Risultati Sperimentali

Gli autori hanno testato SSG su diversi modelli (Qwen2.5-Coder, DeepSeekMath, LLaMA-3) e task (HumanEval, MBPP per il codice; GSM8K per la matematica).

Rilevabilità (Detectability): SSG ha mostrato miglioramenti sostanziali nei tassi di Veri Positivi (TPR) e nei punteggi F1, sia con un tasso di Falsi Positivi (FPR) dell'1% che del 5%. In molti casi, la rilevabilità è aumentata drasticamente rispetto ai metodi standard (KGW, SWEET, EWD) senza l'ausilio di SSG.
Qualità del Testo (Text Quality): A differenza di altri metodi che cercano di aumentare la forza del watermark aumentando il bias $\delta$ (il che spesso degrada la qualità del testo), SSG migliora la rilevabilità senza compromettere la precisione (misurata tramite Pass@1). In pratica, il modello continua a generare codice o soluzioni matematiche corrette.
Robustezza: Sebbene il watermarking rimanga vulnerabile agli attacchi di parafrasi (es. tramite GPT-4o-mini), SSG mantiene una robustezza competitiva su determinati modelli.

5. Significato e Conclusioni

Il lavoro è significativo perché sposta l'attenzione dal miglioramento degli algoritmi di rilevamento (detection) al miglioramento dell'algoritmo di iniezione. Dimostra che il problema della debolezza del watermark in compiti tecnici non è un limite intrinseco del watermarking, ma un problema di come il vocabolario viene partizionato. SSG fornisce un framework robusto e teoricamente fondato per proteggere la proprietà intellettuale e l'autenticità dei contenuti generati da modelli specializzati in ambiti logico-matematici e di programmazione.