💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark è un framework di watermarking robusto e impercettibile per modelli di completamento di codice neurale che sfrutta la selezione del vettore basata sulla complessità del codice e un nuovo pattern di concatenazione dei nomi di variabili per proteggere la proprietà intellettuale del dataset, ottenendo al contempo una precisione di verifica perfetta ed eludendo i metodi di rilevamento esistenti.

Autori originali: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Pubblicato 2026-05-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Rubare la "Salsa Segreta"

Immagina di essere uno chef che ha trascorso anni a raccogliere le migliori ricette del mondo, a testarle e a organizzarle in un enorme e perfetto ricettario. Questo ricettario è il tuo bene più prezioso.

Ora, immagina che qualcuno voglia aprire un ristorante usando il tuo ricettario senza pagarti. Non possono semplicemente fotocopiarlo (sarebbe troppo ovvio), quindi assumono un robot per leggere il tuo libro e imparare a cucinare. Una volta che il robot ha imparato, ti licenziano e aprono il loro ristorante. Non hai modo di dimostrare che il robot ha imparato dal tuo libro, perché la cucina del robot sembra esattamente quella di una cucina normale.

Nel mondo del codice informatico, questo "ricettario" è un dataset di codice, e il "robot" è un assistente di codifica AI (come GitHub Copilot). Creare questi dataset è costoso e faticoso. Ma al momento, non esiste un buon modo per dimostrare che un'AI è stata addestrata sul tuo dataset specifico se qualcuno lo ruba.

La Vecchia Soluzione: Il "Post-it" (e perché ha fallito)

I ricercatori precedenti hanno tentato di risolvere il problema nascondendo "filigrane" nel codice. Pensa a questo come a inserire un post-it ogni 10 pagine del ricettario con scritto: "Questo libro appartiene allo Chef X".

Il Difetto: Questi vecchi post-it erano troppo evidenti. Se un ladro guardava il libro, poteva facilmente notare le note strane, strapparle e buttare via le pagine. Oppure, potevano semplicemente scansionare il libro, trovare i pattern strani e rimuoverli prima di addestrare il loro robot. I "post-it" erano troppo facili da rilevare e rimuovere.

La Nuova Soluzione: PuzzleMark

Gli autori di questo documento propongono un nuovo metodo chiamato PuzzleMark. Invece di un post-it, trasformano il codice stesso in un puzzle sottile e invisibile.

Ecco come funziona, suddiviso in tre semplici passaggi:

1. Scegliere i "Nascondigli" Giusti (Selezione del Vettore)

Immagina di cercare di nascondere un messaggio segreto in una biblioteca.

L'Errore: Se nascondi il messaggio in un libro che è già strano, strappato o scritto in una lingua strana, le persone sospetteranno immediatamente qualcosa.
La Soluzione di PuzzleMark: Il sistema scansiona l'intera biblioteca e utilizza un "misuratore di complessità" per trovare libri che sono perfettamente normali, ben scritti e comuni. Rifiuta di nascondere messaggi in libri che sono già disordinati o sospetti. Scegliendo solo gli snippet di codice che sembrano più "naturali" per portare il segreto, la filigrana diventa molto più difficile da individuare.

2. Il Trucco del "Puzzle di Pezzi" (Pattern di Concatenazione)

Le vecchie filigrane si basavano su una regola semplice: "Se vedi la parola chiave, la parola successiva deve essere valore". È come un codice che dice: "Se vedi un'auto rossa, deve esserci un'auto blu accanto". I ladri possono facilmente individuare questo pattern e romperlo.

PuzzleMark utilizza un approccio da "Puzzle di Pezzi":

Invece di una regola fissa, prende due nomi di variabili esistenti nel codice (come chiave e iteratore) e li unisce per creare un nuovo nome leggermente insolito (come chiave_iteratore).
È come prendere due pezzi di puzzle normali e incollarli insieme per creare un nuovo pezzo che sembra appartenere al puzzle, ma solo se conosci la colla segreta.
Poiché il codice sembra per lo più normale e la "colla" cambia in base allo snippet di codice specifico, è incredibilmente difficile per un ladro trovarla e rimuoverla senza rompere il codice stesso.

3. Il Test della "Scatola Nera" (Verifica)

Come puoi dimostrare che l'AI ha imparato dal tuo libro?

Non hai bisogno di vedere dentro il cervello dell'AI. Devi solo darle un "trigger" specifico (uno snippet di codice specifico con i pezzi del puzzle nascosti).
Se l'AI è stata addestrata sul tuo dataset filigranato, completerà istintivamente il codice con il nome "incollato" che hai creato.
Se non è stata addestrata sui tuoi dati, indovinerà semplicemente un nome normale.
Gli autori utilizzano un test statistico (test esatto di Fisher) per vedere se l'AI indovina correttamente troppo spesso per essere una coincidenza. Se la matematica dice "sì", hai la prova.

Perché è Meglio? (I Risultati)

Il documento ha testato PuzzleMark contro i vecchi metodi e ha scoperto:

È Invisibile: Gli sviluppatori umani e gli strumenti automatizzati non potevano distinguere il codice filigranato dal codice normale. Era invisibile come un fantasma.
È Resistente: Anche se i ladri avessero tentato di "pulire" il dataset rimuovendo il codice che sembrava sospetto, la filigrana è sopravvissuta. Anche se avessero tentato di "diluirlo" mescolando milioni di altri file di codice puliti, la filigrana era ancora rilevabile.
Non Rompe Nulla: I modelli AI addestrati su questo codice filigranato hanno funzionato esattamente come i modelli addestrati su codice pulito. La "colla" non ha rovinato la ricetta.

La Conclusione

PuzzleMark è un nuovo metodo robusto per proteggere la proprietà intellettuale dei dataset di codice. Invece di lasciare "post-it" ovvi che i ladri possono strappare facilmente, nasconde la prova della proprietà all'interno del flusso naturale del codice stesso, come un ingrediente segreto di una ricetta che si rivela solo quando provi a cucinare il piatto. Garantisce che se qualcuno ruba i tuoi dati per addestrare un'AI, puoi dimostrarlo in tribunale, anche se cercano di nascondere le loro tracce.

1. Enunciato del Problema

I dataset di codice di alta qualità sono proprietà intellettuale (IP) preziosa che richiede risorse significative per essere curata. Tuttavia, affrontano gravi rischi di utilizzo non autorizzato da parte di attaccanti che addestrano Modelli di Completamento di Codice Neurale (NCCM). Sebbene la filigrana digitale offra un meccanismo a posteriori per la verifica della proprietà, i metodi esistenti per i dataset di codice soffrono di due difetti critici:

Selezione Fragile dei Vettori: Lavori precedenti (ad es. CoProtector, CodeMark) selezionano spesso i vettori della filigrana (frammenti di codice) in modo casuale o basandosi su vincoli rigidi (ad es. Trasformazioni che Preservano la Semantica). Ciò ignora la "naturalità" intrinseca del codice. Frammenti di codice complessi o innaturali selezionati come vettori vengono facilmente segnalati da strumenti di rilevamento automatizzati (come DeCoMa o KillBadCode) anche prima della filigranatura, portando a rischi di esposizione elevati.
Pattern di Filigrana Vulnerabili: I metodi esistenti si basano su pattern di co-occorrenza (coppie fisse attivatore-obiettivo). Ricerche recenti (DeCoMa) hanno dimostrato che questi pattern creano valori anomali ad alta frequenza che vengono facilmente rilevati e rimossi, risultando in tassi di rilevamento vicini al 100% e robustezza trascurabile contro gli attacchi di rimozione.

2. Metodologia: PuzzleMark

PuzzleMark introduce un framework di filigranatura robusto costituito da tre fasi principali: Selezione del Vettore, Inserimento della Filigrana e Validazione del Modello.

A. Selezione del Vettore della Filigrana (Evitare l'Esposizione)

Invece di una selezione casuale, PuzzleMark valuta l'idoneità dei frammenti di codice a fungere da vettori in base alla loro probabilità di essere rilevati come "sospetti".

Estrazione delle Caratteristiche: Estrae 10 caratteristiche di complessità (5 strutturali: ad es. complessità ciclomatica, NLOC; 5 semantiche: ad es. chiamate di funzione uniche, diversità delle espressioni) dall'Albero della Sintassi Astratta (AST).
Proiezione delle Caratteristiche: Utilizzando un meccanismo ispirato all'Analisi delle Componenti Principali (PCA), proietta queste caratteristiche su una direzione della componente principale per generare un punteggio di idoneità.
Filtraggio: I frammenti di codice con punteggi di idoneità bassi (problemi di alta complessità/naturalità) vengono filtrati. Solo i frammenti con punteggi di idoneità elevati (basso rischio di rilevamento) vengono selezionati come candidati per l'inserimento.

B. Inserimento della Filigrana (Il Pattern "Puzzle")

PuzzleMark sostituisce il tradizionale pattern di co-occorrenza con un innovativo pattern di concatenazione, funzionante come un "puzzle" in cui i pezzi si assemblano dinamicamente.

Meccanismo: Inserisce le filigrane concatenando due nomi di variabili all'interno del codice (ad es. prefisso + suffisso $\rightarrow$ prefisso_suffisso).
Due Strategie:
1. Strategia a Attivatore Fisso: Utilizza un nome di variabile definito dall'utente (ad es. chiave) come prefisso fisso. Il suffisso viene selezionato in modo adattivo dal codice, e l'obiettivo è il risultato concatenato.
2. Strategia di Filigrana Universale: Per impedire agli attaccanti di identificare un attivatore fisso, anche il prefisso è adattivo (ad es. la prima variabile nel codice). Ciò rende l'attivatore dinamico e più difficile da rilevare tramite regex o corrispondenza di pattern.
Perturbazione Adattiva: Il metodo dà priorità all'inserimento nel codice dove il prefisso attivatore esiste già naturalmente per minimizzare la perturbazione del codice. Se il prefisso è assente, lo introduce, ma solo quando necessario per soddisfare le soglie del tasso di inserimento.

C. Validazione del Modello Sospetto

Per verificare se un modello è stato addestrato su un dataset filigranato (scenario Black-Box):

Costruzione dell'Input: Vengono generati due insiemi di input: uno con il suffisso attivatore sostituito da un token semanticamente privo di significato (ad es. token_sconosciuto) e uno senza.
Test Statistico: Le uscite del modello vengono analizzate per vedere se predice la specifica variabile obiettivo concatenata. Viene utilizzato il Test Esatto di Fisher (invece dei test t) per determinare la significatività statistica dell'associazione tra l'attivatore e l'uscita obiettivo, fornendo un valore $p$ per la verifica.

3. Contributi Chiave

Valutazione dell'Idoneità: Primo a introdurre un meccanismo quantitativo per valutare e selezionare i vettori della filigrana in base alla complessità del codice per minimizzare il rischio di esposizione.
Pattern di Concatenazione: Primo a proporre e applicare un pattern di concatenazione (sostituendo la co-occorrenza) per la filigranatura dei dataset di codice, migliorando significativamente la robustezza contro il rilevamento.
Strategie Duali: Implementazione di entrambe le strategie Attivatore Fisso e Filigrana Universale tramite concatenazione di nomi di variabili, bilanciando la semplicità di progettazione con un'alta impercettibilità.
Valutazione Completa: Esperimenti estesi che dimostrano l'efficacia, l'innocuità, l'impercettibilità e la robustezza del metodo.

4. Risultati Sperimentali

Gli autori hanno valutato PuzzleMark su dataset Python e Java (CodeSearchNet) utilizzando tre NCCM (Qwen2.5, StarCoderBase, DeepSeek-Coder).

Efficacia: Ha raggiunto un tasso di successo di verifica del 100% e un tasso di falsi positivi del 0% su tutti i modelli e linguaggi.
Innocuità: Impatto trascurabile sulle prestazioni del modello. I punteggi BLEU non hanno mostrato differenze statisticamente significative tra modelli filigranati e modelli nudi ( $p > 0.05$ , $d$ di Cohen $< 0.2$ ).
Impercettibilità:
- Umana: Tasso medio di sospetto $\le 0.24$ (comparabile a CodeMark).
- Macchina: Ha superato significativamente le linee di base contro i rilevatori all'avanguardia (SS, AC, KillBadCode, DeCoMa). Il richiamo medio da parte di DeCoMa è sceso a $\le 30.41\%$ (rispetto a ~100% per le linee di base).
Robustezza:
- Attacchi di Rimozione: Ha mantenuto la verificabilità ( $p < 0.05$ ) anche dopo la rimozione di campioni rilevati da quattro diversi strumenti automatizzati.
- Attacchi di Diluizione: È rimasto efficace anche quando il tasso di inserimento della filigrana è stato diluito allo 0.1% (sebbene le filigrane universali richiedessero tassi leggermente più alti).
Scalabilità: Ha protetto con successo l'IP a livello di progetto, sebbene le prestazioni su progetti molto piccoli (<100 funzioni) siano state limitate a causa di una densità di segnale insufficiente.

5. Significato

PuzzleMark affronta la vulnerabilità critica delle attuali tecniche di filigranatura dei dataset di codice. Spostandosi dai pattern statici di co-occorrenza alla concatenazione dinamica e selezionando rigorosamente vettori "stealth", crea una filigrana che è:

Difficile da Rilevare: Evade sia l'ispezione umana che gli strumenti avanzati di rilevamento automatizzato.
Difficile da Rimuovere: Resiste agli attacchi di rimozione perché la filigrana è distribuita in modo adattivo e non si basa su valori anomali ad alta frequenza.
Pratica: Offre una soluzione praticabile per proteggere la proprietà intellettuale di dataset di codice ad alto valore utilizzati per addestrare assistenti di codifica AI commerciali.

Il documento conclude che PuzzleMark stabilisce un nuovo standard per la filigranatura di dataset robusta, impercettibile ed efficace nell'era dei grandi modelli linguistici.