Riepilogo Tecnico: SWaRL – Protezione del Filigrana del Codice tramite Apprendimento per Rinforzo

1. Enunciato del Problema

La proliferazione dei Modelli Linguistici su Grande Scala per il Codice (Code LLM) ha accelerato lo sviluppo software ma ha introdotto sfide significative riguardo alla protezione della Proprietà Intellettuale (IP) e alla responsabilità del codice. Il codice di alta qualità generato da questi modelli può essere ridistribuito o modificato senza attribuzione, oscurandone la provenienza. Inoltre, attori malevoli possono sfruttare questi modelli per generare codice offuscato o vulnerabile, complicando l'analisi forense.

Gli approcci esistenti al filigrana del codice affrontano un compromesso fondamentale tra correttezza funzionale e robustezza del filigrana:

• I metodi basati sull'inferenza (ad esempio, liste di token "verdi/rossi") manipolano le probabilità dei token durante la generazione. Sebbene non richiedano aggiornamenti del modello, spesso degradano la fedeltà del codice, causando errori di sintassi o fallimenti funzionali.
• I metodi basati su reti neurali si affidano a regole di trasformazione manuali (ad esempio, rinominazione delle variabili, ristrutturazione della sintassi) per incorporare firme. Sebbene preservino meglio la funzionalità, sono vulnerabili ad attacchi di refactoring che ristrutturano sistematicamente il codice e mancano di generalizzabilità verso nuovi pattern sintattici.

È necessario un framework che allinei automaticamente i Code LLM a generare codice funzionalmente corretto incorporando filigrane verificabili, senza fare affidamento su regole di trasformazione manuali o sacrificare la qualità del codice.

2. Metodologia: SWaRL

SWaRL è un framework di filigrana robusto e che preserva la fedeltà, che impiega l'Apprendimento per Rinforzo (RL) per addestrare congiuntamente un modello di generazione di codice (Attore) e un rilevatore di filigrana.

Componenti Principali

1. Modello Attore (Code LLM): Un LLM di base (ad esempio, Qwen2.5-Coder) fine-tuned per generare codice che soddisfi due obiettivi: superare i test unitari funzionali e incorporare una firma di filigrana rilevabile.
2. Rilevatore di Filigrana (Modello di Ricompensa): Una rete neurale addestrabile (basata su CodeBERT) che agisce come segnale di ricompensa. Distingue tra codice filigranato generato dall'Attore e codice di riferimento non filigranato.
3. Adattamento a Basso Rango (LoRA): Per garantire efficienza computazionale e modularità, SWaRL inietta il comportamento di filigrana tramite piccole matrici a basso rango addestrabili negli strati lineari dell'Attore, anziché fine-tunare tutti i parametri.

Framework di Ottimizzazione: GRPO

SWaRL utilizza l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), un algoritmo RL leggero, per ottimizzare l'Attore. Il processo prevede:

• Campionamento: Per un dato prompt, l'Attore genera un gruppo di $G$ output di codice candidati.
• Calcolo Ibrido della Ricompensa: Ogni candidato $\tau$ viene valutato utilizzando una funzione di ricompensa composita $R(\tau)$:
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • Ricompensa Filigrana ($R_{wm}$): L'output del modello rilevatore congelato $D(\tau; \theta_d)$, che stima la probabilità che il codice sia filigranato.
  • Ricompensa di Esecuzione ($R_{exec}$): Il tasso di superamento del codice rispetto a una suite di test unitari, garantendo la correttezza funzionale.
  • Penalità di Divergenza KL: Vincola la politica a rimanere vicina al modello di riferimento per prevenire la deriva distribuzionale e garantire un addestramento stabile.
• Aggiornamento della Politica: L'Attore viene aggiornato utilizzando un obiettivo di gradiente della politica troncato basato sul vantaggio relativo dei candidati all'interno del gruppo.
• Addestramento Congiunto: Il rilevatore di filigrana viene periodicamente scongelato e fine-tuned su un mix di output recenti dell'Attore e codice di riferimento. Questo garantisce che il rilevatore rimanga allineato con la politica di generazione in evoluzione, impedendo all'Attore di "hackerare" un rilevatore statico.

Distribuzione

All'inferenza, l'adattatore LoRA viene unito al modello di base. Il sistema opera come un'API standard di generazione di codice, producendo codice naturale ed eseguibile. Le parti autorizzate possono utilizzare il rilevatore addestrato per verificare la provenienza di qualsiasi frammento di codice senza bisogno di accedere al modello originale o di riaddestramento.

3. Contributi Chiave

Il paper rivendica i seguenti contributi:

1. Framework SWaRL: Introduzione di un framework di filigrana basato su RL che allinea automaticamente i Code LLM a generare codice funzionale con firme incorporate, eliminando la necessità di regole di trasformazione create manualmente.
2. Integrazione Algoritmica:
   • Utilizzo di GRPO per ottimizzare congiuntamente la correttezza funzionale, la rilevabilità del filigrana e la robustezza contro gli attacchi di refactoring.
   • Integrazione di LoRA per fornire un meccanismo modulare e leggero per iniettare comportamenti di filigrana nei Code LLM di base.
3. Superiorità delle Prestazioni: Dimostrazione che SWaRL raggiunge una rilevabilità del filigrana all'avanguardia mantenendo la massima accuratezza di generazione del codice tra le linee di base esistenti. Supera costantemente le linee di base di Fine-Tuning Supervisato (SFT) senza filigrana nei tassi di superamento e supera i metodi di filigrana precedenti nella robustezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su HumanEval, MBPP e le loro varianti estese (HumanEval+, MBPP+), confrontando SWaRL con le linee di base: Nessun Filigrana (Base+SFT), EXP-edit, WLLM e SWEET.

Correttezza Funzionale

• SWaRL ha ottenuto i punteggi Pass@1 e Pass@10 più alti su tutti i benchmark tra i metodi di filigrana.
• Notevolmente, SWaRL ha superato la linea di base SFT senza filigrana in diverse impostazioni (ad esempio, HumanEval Pass@1 migliorato dal 55,23% al 58,22%), suggerendo che l'obiettivo RL agisce come una fase di allineamento aggiuntiva per la validità sintattica.
• Al contrario, i metodi statistici come WLLM e SWEET hanno degradato significativamente la correttezza funzionale (ad esempio, WLLM ha fatto scendere HumanEval Pass@1 al 30,82%).

Rilevabilità del Filigrana

• SWaRL ha ottenuto forti punteggi AUROC (ad esempio, 0,908 su MBPP), bilanciando meglio la rilevabilità con la fedeltà rispetto ai metodi precedenti.
• Sebbene WLLM e SWEET mostrassero un alto AUROC, lo facevano a scapito della funzionalità del codice. EXP-edit preservava la funzionalità ma offriva una rilevabilità debole (vicina al caso su alcuni dataset).

Robustezza agli Attacchi

• Attacchi di Refactoring: Quando il codice è stato rifattorizzato da LLM esterni (Qwen2.5-3B e DeepSeek-Coder-7B), SWaRL ha mostrato la minore degradazione dell'AUROC.
  • Sotto l'attacco più forte (Attacco DS su MBPP), SWaRL ha mostrato una degradazione di solo 2,21%, rispetto al 14–17% per WLLM e SWEET.
• Rinominazione delle Variabili: SWaRL ha mantenuto un alto AUROC anche quando il 50% degli identificatori è stato rinominato, mentre i metodi a livello di token (WLLM, SWEET) hanno subito cali significativi delle prestazioni.

Efficienza

• Latenza di Generazione: SWaRL ha introdotto un sovraccarico minimo (0,039s/token), paragonabile ai metodi statistici.
• Latenza di Rilevamento: SWaRL ha ottenuto il tempo di rilevamento più veloce (0,0002s/token), superando significativamente EXP-edit (0,588s/token) e i metodi statistici.

5. Significato e Rivendicazioni

Il paper posiziona SWaRL come una soluzione pratica e scalabile per l'attribuzione e la verifica della proprietà nella programmazione assistita dall'IA. Il suo significato risiede nella risoluzione del compromesso tradizionale tra utilità del codice e sicurezza:

• Preservazione della Fedeltà: A differenza dei metodi basati sull'inferenza che rompono la sintassi, SWaRL garantisce che il codice generato sia funzionalmente corretto e superi i test unitari.
• Robustezza: Imparando comportamenti di generazione coerenti con il filigrana tramite RL invece di fare affidamento su regole statiche, SWaRL resiste al refactoring sistematico e alle trasformazioni avversarie che tipicamente sconfiggono i filigrana basati su regole o a livello di token.
• Efficienza: L'uso di LoRA e di un rilevatore leggero garantisce che il framework sia computazionalmente fattibile per la distribuzione nel mondo reale senza un sostanziale sovraccarico di inferenza.

Gli autori concludono che SWaRL consente un tracciamento affidabile della provenienza e la protezione della IP senza alterare il flusso di lavoro dell'utente o degradare la qualità del codice generato.

6. Limitazioni e Lavori Futuri

Il paper riconosce limitazioni specifiche e delinea le direzioni future:

• Filigrana a Livello Binario: L'implementazione attuale mira al codice sorgente; l'estensione al codice binario compilato è una potenziale estensione futura.
• Ambito a Livello di Repository: La valutazione è attualmente a livello di funzione. Gli autori notano che il filigrana a livello di repository rimane inesplorato, presentando uno spazio di modifica avversaria più ampio che richiede ulteriori ricerche.