Riepilogo Tecnico: SLAM (Structural Linguistic Activation Marking)

Enunciato del Problema

Il diffuso dispiegamento dei Large Language Models (LLM) richiede un'affidabile attribuzione della provenienza per distinguere il testo generato dall'IA da quello scritto da umani. Gli attuali schemi di watermarking affrontano un compromesso fondamentale tra rilevabilità, qualità del testo e robustezza.

I paradigmi dominanti (ad esempio KGW, EWD, Unigram) operano alterando la distribuzione del token successivo del modello (ad esempio, tramite la selezione di token dalla "green-list"). Sebbene efficienti, questo approccio comporta un costo misurabile in termini di qualità: sui modelli Gemma-2, questi metodi perdono da 7,5 a 11,5 punti di reward e mostrano rapporti di perplessità condizionale collassati (0,30–0,42), indicando un output ripetitivo e innaturale. Al contrario, i recenti metodi basati su autoencoder sparsi (SAE) come SAEMark raggiungono una qualità quasi senza perdite ma soffrono di un elevato sovraccarico computazionale (campionamento di $N=50$ candidati per passo) e di vulnerabilità a spostamenti semantici e semplici modifiche del testo.

Metodologia: SLAM

SLAM (Structural Linguistic Activation Marking) propone uno schema di watermarking white-box che disaccoppia il rilevamento dal bias sulla frequenza dei token. Invece di alterare quali token vengono campionati, SLAM scrive il watermark nella geometria strutturale del flusso residuo del modello.

Meccanismo Principale

1. Estrazione di Caratteristiche Strutturali:

   • Gli autori costruiscono un dataset contrastivo di 46.579 coppie di frasi che coprono 104 fenomeni linguistici (alternanze sintattiche, tempo, morfologia, discorso). Queste coppie mantengono costante il contenuto semantico variando le forme strutturali (ad esempio, voce attiva vs. passiva).
   • Utilizzando Autoencoder Sparsi (SAE) addestrati sul flusso residuo, il metodo identifica specifici sottospazi localizzati che codificano queste caratteristiche strutturali.
   • Un meccanismo di punteggio composito (magnitudine contrastiva $\times$ purezza $\times$ coerenza cross-dominio) isola le direzioni SAE che rispondono in modo robusto ai cambiamenti strutturali piuttosto che al contenuto semantico.

2. Costruzione delle Direzioni (SVD):

   • Per i fenomeni in cui i concetti strutturali sono distribuiti su più caratteristiche debolmente discriminative (comune nei modelli più grandi come Gemma-2 9B), SLAM esegue la Decomposizione ai Valori Singoli (SVD) sulla matrice delle differenze contrastive.
   • Questo produce $k$ modi strutturali ortogonali. Il metodo supporta sia l'orientamento di una singola caratteristica ($k=1$) sia l'orientamento di sottospazi compositi ($k>1$), permettendogli di scalare efficacemente verso modelli più grandi.
   • Estrazione Bidirezionale: Il sistema estrae direzioni sia per la struttura target che per la sua inversa, raddoppiando il pool di direzioni orientabili per ridurre i tassi di collisione durante la selezione.

3. Orientamento Causale e Iniezione:

   • Al momento della generazione, SLAM si aggancia al flusso residuo a livelli specifici (determinati dal livello di massima attivazione del fenomeno).
   • Aggiunge un vettore scalato ($\alpha \cdot v_{structure}$) al flusso residuo dei token appena generati. Questo orienta il modello verso la produzione di una specifica variante sintattica (ad esempio, voce passiva) senza vincolare la scelta lessicale dei singoli token.
   • Selezione delle Caratteristiche: Un sottoinsieme di caratteristiche per documento viene selezionato tramite campionamento ponderato con chiave HMAC per garantire unicità e sicurezza.
   • Generazione con Arresto Anticipato: Il sistema genera fino a $N=4$ candidati e restituisce il primo che supera una soglia di rilevamento calibrata ($\hat{z} \ge 2.0$), riducendo significativamente il sovraccarico rispetto ai metodi di punteggio dei candidati.

4. Rilevamento:

   • Il rilevamento richiede un singolo passaggio in avanti del modello. Le attivazioni del flusso residuo vengono proiettate sulle direzioni strutturali pre-calcolate per calcolare un punteggio $z$ di Stouffer.
   • Non è richiesto alcun passaggio in avanti dell'SAE al momento del rilevamento, rendendo il processo computazionalmente efficiente.

Contributi Chiave

1. Pipeline di Estrazione Contrastiva: Una pipeline che isola le direzioni SAE strutturali tramite un punteggio composito su 104 fenomeni e 5 domini semantici, garantendo l'invarianza di dominio.
2. Direzioni Strutturali PCA-Bidirezionali: Un metodo basato su SVD per costruire direzioni composite ortogonali ($k>1$), che permette a SLAM di gestire rappresentazioni strutturali distribuite nei modelli più grandi (9B+) e offre un compromesso regolabile tra qualità e rilevamento.
3. Schema White-Box Efficiente: Un sistema completo di watermarking con selezione basata su chiave HMAC e un ciclo di generazione con arresto anticipato. Richiede un ordine di grandezza di chiamate LLM inferiore rispetto a SAEMark ($N \le 4$ contro $N=50$) e opera con un sovraccarico modesto ($\sim 1,6\times$ il tempo di generazione).
4. Validazione Empirica: Valutazione completa su Gemma-2 2B e 9B rispetto a sei baseline attraverso quattro famiglie di metriche di qualità e sette attacchi di robustezza.

Risultati Sperimentali

Valutati sui modelli pre-addestrati Gemma-2 2B e 9B:

• Prestazioni di Rilevamento: SLAM raggiunge un 100% di Tasso di Veri Positivi (TPR) a un tasso di Falsi Positivi (FPR) del 2,3% su entrambe le dimensioni del modello.
• Preservazione della Qualità:
  • Divario di Reward: SLAM comporta una penalità di reward di soli $\Delta$Reward = -1,3 (2B) e -1,9 (9B). Questo è significativamente inferiore alle baseline basate sulla distribuzione dei token (KGW, EWD, Unigram), che perdono da 7,5 a 11,5 punti.
  • Naturalità: SLAM preserva le metriche della distribuzione di output (distinct-n, Self-BLEU, MAUVE) e i rapporti di perplessità condizionale (1,24/1,36) molto più vicini alla baseline senza watermark rispetto ad altri metodi. A differenza dei metodi basati sulla distribuzione dei token, non induce testo ripetitivo (collasso del rapporto PPL).
  • Grammatica: I tassi di errore grammaticale rimangono vicini ai livelli di baseline.
• Profilo di Robustezza:
  • Attacchi a Livello di Parola: SLAM è 100% robusto alla sostituzione di sinonimi, cancellazione di parole, sostituzione di parole e riordinamento delle frasi.
  • Attacchi di Parafrasi: SLAM è vulnerabile alla parafrasi con ristrutturazione sintattica (ad esempio, DIPPER), dove il TPR scende a circa il 10–12%. Tuttavia, il documento nota che tali attacchi impongono un costo di qualità all'attaccante (degradando il testo) e questa vulnerabilità è il contrario dei metodi basati sulla distribuzione dei token (che sono robusti alla parafrasi ma vulnerabili alle modifiche a livello di parola).

Significato e Affermazioni

Il documento afferma che SLAM dimostra che qualità e rilevamento non devono essere in compromesso quando il watermark è codificato al livello appropriato di astrazione linguistica (geometria strutturale vs. frequenze dei token).

• Insight Meccanistico: Orientando quale variante strutturale il modello produce piuttosto che quali token campiona, SLAM lascia la superficie lessicale e il significato semantico essenzialmente liberi da vincoli. Questo spiega le sue prestazioni superiori sui modelli di reward, sulla perplessità e sulle metriche di diversità.
• Robustezza Complementare: Il documento posiziona la vulnerabilità di SLAM alla parafrasi con ristrutturazione sintattica come un costo calcolato e accettabile per ottenere una qualità di generazione quasi senza perdite, mettendola in contrasto con la "firma di testo ripetitivo" dei metodi basati sul bias dei token.
• Scalabilità: L'uso di sottospazi compositi ($k>1$) è identificato come l'abilitatore critico per scalare il watermarking strutturale verso modelli più grandi dove le caratteristiche sono distribuite.

Gli autori concludono che, sebbene SLAM richieda l'accesso white-box e sia sensibile a riscritture strutturali severe, offre un equilibrio superiore tra rilevabilità e preservazione della qualità per l'attribuzione della provenienza rispetto alle esistenti approcci basati sulla distribuzione dei token e sul punteggio semantico.