Can Watermarking Techniques Help Prevent LLM Model Stealing?

Sintesi Tecnica: Tecniche di Watermarking per la Prevenzione del Furto di Modelli LLM

Definizione del Problema
I Large Language Models (LLM) commerciali sono tipicamente accessibili tramite API black-box, mantenendo proprietarie le loro architetture interne, i dati di addestramento e i parametri. Tuttavia, un lavoro recente di [Carlini et al., 2024b] ha dimostrato un attacco di "model stealing" scalabile capace di estrarre informazioni architettoniche precise, nello specifico la dimensione dello strato nascosto (hidden layer dimension) e dello strato di proiezione finale, da questi modelli black-box. L'attacco opera interrogando il modello con un set di prompt controllabili per raccogliere i vettori dei logit della predizione del next-token. Costruendo una matrice da questi logit e applicando l'Analisi delle Componenti Principali (PCA), un avversario può stimare il rango numerico della matrice, che corrisponde alla dimensione nascosta del modello. Questa vulnerabilità è critica perché la dimensione nascosta funge da fondamento per il furto dei parametri dell'ultimo strato del modello. L'attacco è versatile, poiché non dipende da specifiche funzioni di attivazione o strutture di rete, e rimane efficace anche quando il difensore tenta di mitigarlo tramite semplici tecniche di iniezione di rumore o media.

Metodologia
Gli autori propongono un meccanismo di difesa ispirato alle tecniche di watermarking per LLM [Kirchenbauer et al., 2023], progettato specificamente per interrompere gli attacchi di stima del rango preservando l'utilità del modello. La strategia centrale prevede la perturbazione strutturale dello strato dei logit del modello prima del campionamento dei token.

1. Rumore Deterministico Dipendente dal Prompt: A differenza delle difese naive che aggiungono rumore casuale indipendente (che può essere mediato da un avversario), il metodo proposto genera un rumore che è deterministico per un dato prompt ma varia tra diversi prompt. Ciò si ottiene calcolando un seed utilizzando una Funzione Pseudo-Casuale Crittografica (PRF) applicata allo stato nascosto finale ($h$) per un determinato prompt $p$. La PRF garantisce che prompt identici producano perturbazioni identiche (prevenendo gli attacchi di media) mentre prompt differenti producano perturbazioni distinte e apparentemente casuali.
2. Meccanismi di Perturbazione: Il documento valuta diverse strutture di rumore:
   • Rumore Additivo: Aggiunta diretta di vettori di rumore discreti o gaussiani. Sebbene efficaci contro la PCA di base, questi sono vulnerabili ad attacchi di media sofisticati o alla Robust PCA.
   • Rumore Moltiplicativo: Scalatura dei logit tramite fattori casuali. Gli esperimenti mostrano che questo degrada significativamente la qualità del modello e non riesce a prevenire il recupero del rango.
   • Softplus-Then-Perturb (STP): Gli autori propongono un nuovo meccanismo in cui il vettore dei logit $\ell$ viene prima trasformato tramite una funzione softplus ($\text{softplus}(\alpha\ell)$) per distorcere i valori e preservare l'ordinamento relativo dei token ad alta confidenza. Vengono poi aggiunte perturbazioni casuali a questo vettore trasformato. Questo approccio mira a mantenere l'ordinamento dei token (cruciale per la qualità) introducendo al contempo una sufficiente complessità strutturale per rompere il sottospazio a basso rango necessario per la stima del rango.

Contributi Chiave

• Difesa contro la Stima del Rango: Il documento introduce un framework di perturbazione strutturata che mira specificamente alla vulnerabilità matematica sfruttata da [Carlini et al., 2024b], impedendo il recupero della dimensione nascosta tramite PCA o Robust PCA.
• Analisi Teorica del Rumore: Gli autori analizzano la stabilità del recupero del rango sotto varie condizioni di rumore, utilizzando la disuguaglianza di Weyl e la teoria della perturbazione delle matrici. Dimostrano che il semplice rumore additivo è insufficiente contro gli attacchi di media e che la struttura di dipendenza tra il rumore e il prompt è critica.
• Meccanismo STP: La proposta del meccanismo Softplus-Then-Perturb, che bilancia la robustezza contro gli attacchi di estrazione con la preservazione delle prestazioni del modello.
• Validazione Empirica: Estesi esperimenti su Mistral-7B (e GPT-2 nell'appendice) dimostrano i compromessi tra robustezza della difesa e qualità del modello.

Risultati

• Prevenzione dell'Attacco: Le difese proposte, in particolare il meccanismo STP combinato con il rumore Gaussiano, prevengono con successo l'estrazione della dimensione nascosta. In esperimenti con 10.000 prompt, l'attacco non è riuscito a identificare il rango corretto (4.096 per Mistral-7B), con la dimensione predetta che non mostrava anomalie identificabili o salti significativi nei valori singolari.
• Robustezza agli Attacchi Avanzati: Il meccanismo STP con rumore Gaussiano ha resistito ai tentativi di attacchi di "inversione softplus" e alle estensioni di Robust PCA (RPCA). Al contrario, la sola softplus senza perturbazione era vulnerabile all'inversione, e il semplice rumore additivo era vulnerabile alla media.
• Preservazione della Qualità del Modello:
  • Perplessità (PPL): Il rumore additivo ha causato un significativo degrado della perplessità con magnitudo più elevate. Tuttavia, le perturbazioni basate su STP hanno mantenuto la perplessità vicina al modello originale (es. 3.37 vs 3.40 per l'originale).
  • Accuratezza MMLU: Mentre il rumore additivo ha ridotto significativamente i punteggi MMLU (scendendo a circa il 44-55%), il meccanismo STP ha preservato un'alta accuratezza (56-57%), quasi eguagliando il modello originale (57.78%).
  • Spostamento Distribuionale: Sebbene l'STP induca una divergenza distributiva elevata (alta divergenza KL e JS), ha mantenuto un alto accordo sui primi 50 token (≥0.92). Ciò indica che, sebbene la distribuzione di probabilità cambi, l'ordinamento relativo dei token più sicuri rimane intatto, preservando l'utilità funzionale del modello.

Significatività
Il documento sostiene che il suo approccio offre una difesa pratica ed efficace contro una specifica classe di attacchi di model stealing che minacciano la proprietà intellettuale dei modelli LLM commerciali. Sfruttando tecniche ispirate al watermarking per perturbare i logit in modo dipendente dal prompt, gli autori dimostrano che è possibile oscurare la dimensionalità interna del modello senza renderlo inutilizzabile. Il lavoro evidenzia che preservare l'ordinamento relativo dei logit è più critico per mantenere l'utilità del modello rispetto alla minimizzazione degli spostamenti distributivi grezzi, una scoperta che informa la progettazione del meccanismo STP. Gli autori concludono che il loro metodo rafforza la sicurezza e l'integrità dei modelli linguistici commerciali contro l'estrazione basata sul rango, fornendo una via percorribile per proteggere le architetture dei modelli proprietari.