💬 NLP

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

Il documento introduce RoSeMary, un nuovo framework di codesign ML/Crypto che utilizza l'addestramento end-to-end con CodeT5 e le prove a conoscenza zero per incorporare watermark robusti, funzionali e preservanti la privacy nel codice generato da LLM, affrontando efficacemente le sfide della bassa entropia e della verifica sicura.

Autori originali: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Pubblicato 2026-08-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer non si limitano a chiacchierare con noi, ma scrivono effettivamente i progetti delle nostre vite digitali. Questo è il regno dei Large Language Models (LLM) per il codice, gli assistenti IA super intelligenti in grado di generare funzioni software, correggere bug e costruire interi programmi semplicemente leggendo un prompt. Ma ecco il problema: quando queste IA scrivono codice, spesso è difficile capire chi ne sia il vero proprietario. L'ha scritto un ingegnere umano o un'IA? E se l'ha fatto un'IA, di quale azienda l'IA? Questa è una questione importante perché il codice è proprietà intellettuale preziosa, come una ricetta segreta o un'invenzione brevettata.

Per risolvere questo problema, gli scienziati hanno cercato di inserire una "filigrana" (watermark) nel codice dell'IA. Pensate a questo come a un inchiostro invisibile digitale o a una filigrana nascosta su una banconota. Volete poter dimostrare: "Ehi, questo codice è stato creato dalla mia IA", senza cambiare il modo in cui il codice funziona. Ma c'è un problema complicato: il codice è molto rigido. A differenza di un racconto dove puoi sostituire le parole con sinonimi, il codice deve seguire regole ferree per funzionare. Se cambi troppo per nascondere un messaggio segreto, il programma si rompe. Inoltre, per provare la proprietà in tribunale, di solito devi mostrare la chiave segreta (la filigrana) a un giudice. Ma se mostri la chiave, i malintenzionati possono rubarla e falsificare le proprie filigrane in seguito. È un frustrante gioco di "nascondino" dove le regole del gioco rendono quasi impossibile vincere senza perdere qualcos'altro.

È qui che entra in gioco un nuovo framework chiamato RoSeMary, che agisce come un abile mago capace di nascondere un messaggio segreto in una scatola chiusa a chiave senza mai mostrare la chiave. I ricercatori, un team dell'Università della California, San Diego e della San Diego State University, hanno progettato un sistema che combina l'apprendimento automatico (la parte IA) con la crittografia (la matematica segreta). Hanno capito come incorporare una firma nascosta nel codice generato dall'IA che sia difficile da rimuovere, che mantenga il codice perfettamente funzionante e che, cosa più importante, permetta a un giudice di verificare la proprietà senza mai vedere la firma segreta vera e propria.

Ecco come RoSeMary mette in scena questo trucco di magia. Per prima cosa, utilizza un modello di IA pre-addestrato chiamato CodeT5, che è come uno chef esperto che ha assaggiato milioni di ricette. Invece di cambiare il codice in modo casuale, questo chef comprende il "gusto" del codice. Prende il codice originale e un messaggio segreto (la filigrana) e decide il modo migliore per modificare leggermente il codice — come rinominare una variabile da x a item o cambiare un ciclo while in un ciclo for — in modo che il messaggio segreto sia nascosto all'interno di queste piccole modifiche. Poiché lo chef conosce le regole della cucina (la programmazione), il codice ha ancora lo stesso sapore (funziona perfettamente) anche con l'aggiunta dell'ingrediente segreto.

Ma la vera magia avviene quando è il momento di controllare l'autenticità del codice. Di solito, dovresti consegnare la ricetta segreta a un giudice. RoSeMary utilizza uno strumento crittografico chiamato Zero-Knowledge Proof (ZKP). Immaginate di voler dimostrare a un amico che conoscete la combinazione di una cassaforte, ma non volete dirgli i numeri. Potreste aprire la cassaforta davanti a lui, mostrargli il tesoro all'interno e poi richiuderla. Lui saprà che voi conoscete la combinazione, ma non vedrà mai i numeri. RoSeMary fa qualcosa di simile. Il proprietario dell'IA esegue un circuito matematico complesso che controlla se la firma nascosta è presente. Genera una piccola "prova" digitale che dice: "Sì, la firma è valida", senza rivelare cosa sia effettivamente la firma.

Il team ha testato questo sistema su migliaia di esempi di codice in linguaggi come Python, Java e C++. Hanno scoperto che RoSeMary è incredibilmente bravo nel suo lavoro. Ha nascosto con successo la filigrana nel 97,64% dei casi (il che significa che il codice funzionava ancora) e ha potuto rilevare la filigrana con un punteggio di accuratezza di 0,97 (dove 1,0 è perfetto). Anche quando i malintenzionati hanno cercato di rompere la filigrana rinominando le variabili o usando altre IA per riscrivere il codice, RoSeMary ha comunque trovato il messaggio nascosto il 98% delle volte.

Forse la parte più impressionante è la velocità e la privacy. Il sistema può generare una prova di proprietà in circa 7,15 secondi, e un giudice può verificare tale prova in soli 118,6 millisecondi (meno di un battito di ciglia). Fondamentalmente, durante tutto questo processo, il giudice non vede mai la filigrana segreta effettiva. Ciò significa che il proprietario può riutilizzare la stessa filigrana più e più volte senza preoccuparsi che qualcuno possa rubarla e falsificare una falsa rivendicazione di proprietà.

In breve, RoSeMary risolve un tiro alla fune a tre vie che ha messo in difficoltà i ricercatori per un certo periodo. Riesce a mantenere il codice funzionante (fedeltà), rendere la filigrana facile da trovare (rilevabilità) e renderla difficile da rompere (robustezza), il tutto mantenendo la chiave segreta al sicuro dagli occhi indiscreti. È un passo significativo nella protezione della proprietà intellettuale della rivoluzione dell'IA, garantendo che quando un'IA scrive un capolavoro, l'artista riceva il credito — e la protezione — che merita.

Sintesi Tecnica: Watermarking Verificabile a Conoscenza Zero Robusto per Code LLM tramite Co-Design ML/Crypto

Problematica
La proliferazione di codice generato da IA da parte dei Large Language Models (LLM) solleva significativi problemi di proprietà intellettuale (IP), tra cui il plagio, l'iniezione di vulnerabilità e l'uso commerciale non autorizzato. Il watermarking è proposto come soluzione per identificare il codice generato dagli LLM. Tuttavia, i metodi esistenti affrontano un conflitto critico su tre obiettivi: rilevabilità (capacità di trovare il watermark), fedeltà (preservare la funzionalità del codice) e robustezza (resistere alla rimozione).

Un collo di bottiglia specifico nel watermarking del codice è la natura a bassa entropia del codice. A differenza del linguaggio naturale, il codice ha uno spazio limitato per firme di alta qualità. I metodi di verifica attuali richiedono ai proprietari degli LLM di rivelare le proprie firme segrete a arbitri terzi per la validazione legale. Questa divulgazione crea un paradosso di sicurezza: una volta rivelata la firma, essa deve essere ricodificata per i futuri artefatti per prevenire la falsificazione. Nel codice a bassa entropia, la ricodifica spesso degrada la funzionalità del codice o riduce la resilienza del watermark, limitando la riutilizzabilità dello schema di watermarking. Inoltre, i metodi basati su reti neurali esistenti spesso si affidano a reti superficiali addestrate da zero, limitando le capacità di estrazione delle caratteristiche, mentre i metodi basati sull'inferenza manipolano i token in modi che possono interrompere la sintassi.

Metodologia: Framework RoSeMary
Il documento introduce RoSeMary, un framework che utilizza il co-design ML/Crypto per affrontare queste sfide. Esso consiste in due componenti primarie: un'architettura di watermarking basata su ML robusta e un protocollo di verifica a Conoscenza Zero (ZKP) personalizzato.

Architettura di Watermarking basata su ML:
- Backbone: RoSeMary utilizza CodeT5, un modello sequence-to-sequence pre-addestrato su milioni di snippet di codice, come backbone per l'estrazione delle caratteristiche. Ciò sfrutta la conoscenza pre-addestrata per comprendere meglio la semantica del codice rispetto ai modelli addestrati da zero.
- Inserimento: L'encoder fonde le caratteristiche del codice originale con un messaggio di watermark. Due decoder ( $S_{d1}$ e $S_{d2}$ ) predicono le probabilità per trasformazioni sintattiche (ad esempio, tipi di loop, sostituzione di operatori) e rinomina di variabili. Il codice watermarked viene generato applicando le trasformazioni più probabili.
- Addestramento Avversario: Per garantire la robustezza, il sistema genera varianti avversarie durante l'addestramento perturbando le distribuzioni di probabilità delle trasformazioni. Il modulo di estrazione è addestrato per recuperare il messaggio sia dal codice watermarked standard che da queste versioni trasformate avversariamente.
- Obiettivi di Addestramento: Il sistema è addestrato end-to-end per minimizzare tre perdite:
  - Perdita di Funzionalità ( $L_f$ ): Assicura che il codice watermarked venga compilato ed esegua identicamente l'originale (utilizzando una rete di approssimazione delle caratteristiche $R_f$ ).
  - Perdita di Rilevabilità ( $L_d$ ): Minimizza l'errore tra i messaggi codificati ed estratti.
  - Perdita di Robustezza ( $L_r$ ): Minimizza l'errore tra il messaggio codificato e il messaggio estratto dagli esempi avversari.
Verifica a Conoscenza Zero (ZKP):
- Obiettivo: Consentire la verifica legale della proprietà senza che il proprietario dell'LLM riveli la propria firma segreta all'arbitro, preservando così la firma per il riutilizzo.
- Meccanismo: RoSeMary impiega Zero-Knowledge Proofs (NIZK) non interattive basate sul sistema Halo2 zk-SNARK.
- Processo:
  - Il proprietario dell'LLM (Prover) genera una prova che un determinato snippet di codice watermarked contiene una firma valida corrispondente alla propria chiave privata, senza rivelare la firma stessa.
  - L'arbitro (Verifier) controlla la prova utilizzando una chiave di verifica pubblica.
- Ottimizzazioni: Per rendere la ZKP fattibile per l'inferenza di reti neurali, gli autori implementano quattro ottimizzazioni personalizzate:
  1. Approssimazione Polinomiale: Sostituzione dell'attivazione ReLU con un polinomio ( $x^2 + x$ ) per evitare costosi controlli di intervallo (range-check lookups).
  2. Quantizzazione: Utilizzo di Bfloat16 per i parametri per ridurre l'overhead di memoria.
  3. Circuito zkBER personalizzato: Un circuito dedicato per calcolare il Bit Error Rate (BER) all'interno della prova a conoscenza zero, vincolando il messaggio estratto a una firma binaria.
  4. Componibilità: Fusione dei circuiti feed-forward e BER in un unico grafo computazionale per ridurre la dimensione della prova e il tempo di verifica.

Contributi Chiave

Framework RoSe Mary: Un nuovo sistema di watermarking per Code LLM che ottimizza congiuntamente rilevabilità, fedeltà e robustezza utilizzando un backbone CodeT5 pre-addestrato.
Verifica Riservata: La prima applicazione di ZKP personalizzate al watermarking del codice, che consente la verifica della proprietà senza esporre la firma, risolvendo così il problema della riutilizzabilità nel codice a bassa entropia.
Addestramento Avversario: Una strategia di addestramento end-to-end che modella esplicitamente e difende contro attacchi di ridenominazione delle variabili, refactoring e attacchi di re-watermarking.
Co-Design a livello di Sistema: Integrazione di componenti ML e Crypto con ottimizzazioni specifiche (quantizzazione, approssimazioni polinomiali) per raggiungere una generazione e una verifica delle prove efficienti.

Risultati Sperimentali
Le valutazioni sono state condotte sui benchmark HumanEval, MBPP (Python, C++, Java) ed EvalPlus:

Rilevabilità e Fedeltà: RoSeMary ha raggiunto un AUROC di 0,97 attraverso i benchmark mantenendo un Pass Rate di circa il 95-97%, superando significativamente i baseline basati sull'inferenza (KGW, SWEET) in fedeltà e i baseline neurali (SrcMarker) in rilevabilità.
Robustezza: Sotto attacchi di ridenominazione delle variabili (fino al 50% delle variabili) e attacchi di refactoring basati su LLM, RoSeMary ha mantenuto un AUROC superiore a 0,73, superando SrcMarker e SWEET. Ha inoltre mostrato resilienza contro attacchi di re-watermarking.
Efficienza ZKP:
- Generazione della Prova: Richiede circa 7,15 secondi (costo una tantum per il proprietario).
- Verifica: Richiede circa 118,6 ms dall'arbitro.
- Comunicazione: La dimensione della prova è di 17,12 KB, e la chiave di verifica è di 577,3 KB.
- Scalabilità: Il tempo di verifica rimane statisticamente invariante tra i diversi linguaggi di programmazione (Python, Java, C++) e le lunghezze del watermark (da 4 a 16 bit), sebbene aumenti con la larghezza del decoder.

Significatività e Rivendicazioni
Il documento afferma che RoSeMary fornisce una soluzione bilanciata per i sistemi pratici di watermarking del codice. Attraverso il co-design dei componenti ML e Crypto, essa ottiene:

Watermark di Alta Qualità: Preservando la funzionalità del codice pur garantendo elevati tassi di rilevamento e robustezza contro gli attacchi comuni.
Riutilizzabilità della Firma: Eliminando la necessità di ricodificare i watermark dopo la verifica legale, il che è critico per il codice a bassa entropia dove lo spazio delle firme è limitato.
Verifica che Preserva la Privacy: Consentendo ad arbitri terzi di verificare la proprietà legalmente senza accedere alla firma proprietaria, proteggendo così i segreti commerciali del proprietario della IP.

Gli autori sottolineano che, sebbene la generazione della ZKP sia computazionalmente più pesante rispetto all'inferenza standard, si tratta di un costo una tantum per artefatto, rendendo l'intero sistema efficiente per la distribuzione. Il framework è presentato come uno strumento vitale per regolare i contenuti generati da LLM e proteggere la proprietà intellettuale nel ciclo di vita dello sviluppo software.

Articoli simili