Sintesi Tecnica: Rilevamento della Memorizzazione Funzionale nei Modelli di Linguaggio per il Codice

Definizione del Problema

I Large Language Models (LLM) addestrati su corpora di codice sono sempre più utilizzati per la generazione di codice. La ricerca precedente ha indagato estensivamente l' "estrazione dei dati di addestramento", in cui i modelli riproducono esempi di addestramento in modo letterale o quasi letterale. Tuttavia, gli esistenti metodi di auditing si affidano quasi esclusivamente a metriche di somiglianza testuale (es. BLEU, edit distance). Questo approccio non riesce a catturare un rischio critico: la memorizzazione funzionale.

Il codice può essere funzionalmente equivalente pur essendo testualmente dissimile. Le variabili possono essere rinominate, il flusso di controllo può essere ristrutturato, i commenti possono essere aggiunti o rimossi, o possono essere impiegati algoritmi completamente diversi per ottenere la stessa logica. Se un LLM interiorizza una logica funzionale proprietaria (es. algoritmi di trading, regole di raccomandazione) dal suo set di addestramento e la riproduce in una forma ristrutturata, le metriche standard basate sul testo non riusciranno a rilevare la fuga di dati. Questo articolo affronta il divario nel rilevamento e nella quantificazione di questa "memorizzazione funzionale" oltre la sovrapposizione superficiale dei token.

Metodologia

Gli autori propongono un setup controfattuale per distinguere la memorizzazione dalla generalizzazione, sfruttando la trasparenza dell'addestramento del modello open-source Olmo-3-32B.

1. Setup Sperimentale

• Modello Target ($M_T$): Il checkpoint midtrained di Olmo-3-32B, che è stato esposto al target code (CraneCode, un sottoinsieme filtrato di the-stack-v2-smol).
• Modello di Riferimento ($M_R$): Il checkpoint pre-trained di Olmo-3-32B, che condivide la stessa architettura e pretraining ma non è stato esposto ai dati di midtraining specifici.
• Dati: 7.422 funzioni Python dal corpus CraneCode, filtrate per contenere "logica funzionale significativa" (regole di business, algoritmi proprietari) utilizzando un LLM-as-a-judge.
• Procedura: Entrambi i modelli vengono interrogati con firme di funzione e fino a 250 token precedenti. I modelli generano continuazioni utilizzando la decodifica greedy. L'output generato ($x^*$) viene confrontato con la verità di base (ground truth) dei dati di addestramento ($x$).

2. Definizione di Memorizzazione Funzionale Controfattuale

Un campione è definito come controfattualmente funzionalmente memorizzato se:

1. Bassa Sovrapposizione Testuale: La generazione target ha una bassa somiglianza testuale rispetto alla verità di base ($SIM_{text} < \tau_{text}$).
2. Alta Sovrapposizione Funzionale: La generazione target è funzionalmente equivalente alla verità di base ($SIM_{func} \ge \tau_{func}$).
3. Divergenza Controfattuale: Il modello di riferimento (non esposto) non produce un output funzionalmente equivalente per lo stesso prompt.

3. Metriche di Valutazione

Lo studio impiega una suite completa di metriche per misurare la somiglianza, categorizzate come segue:

• Metriche Testuali: Exact match, BLEU, Edit similarity e Longest Common Substring (LCS).
• Metriche Strutturali: CodeBLEU (varianti di sintassi e data-flow) e Tree-Edit Distance (TSED).
• LLM-as-a-Judge: Tre prompt distinti (Song et al., Nikiema et al., e un prompt personalizzato di equivalenza funzionale) per valutare la somiglianza semantica.
• Basate sull'Esecuzione: HyClone, un detector a due stadi che genera input di test, esegue entrambe le funzioni e confronta gli output per verificare l'equivalenza funzionale.

Contributi Chiave

1. Formalizzazione della Memorizzazione Funzionale: Il documento definisce e operazionalizza il concetto di estrazione della logica funzionale dagli LLM senza copia verbatim, distinguendola dalla generalizzazione.
2. Framework Controfattuale per il Codice: Adatta il framework di memorizzazione controfattuale (precedentemente utilizzato per il linguaggio naturale) al codice, utilizzando la specifica trasparenza dell'addestramento di Olmo-3 per creare un confronto rigoroso "esposto vs non esposto".
3. Suite di Metriche Completa: Il lavoro valuta un ampio spettro di metriche di somiglianza, dimostrando che le metriche basate sul testo sono insufficienti per rilevare la fuga funzionale.
4. Evidenza Empirica: Fornisce la prima evidenza su larga scala che i modelli di linguaggio per il codice mostrano una memorizzazione funzionale a un tasso significativo, anche quando la sovrapposizione testuale è bassa.

Risultati

Lo studio analizza 7.422 funzioni e trova spostamenti sistematici nella somiglianza dal modello di riferimento al modello target attraverso tutte le metriche.

• Memorizzazione Verbatim: In linea con il lavoro precedente, il modello target produce corrispondenze esatte (0,11%) e corrispondenze quasi verbatim (BLEU $\ge$ 0,75, 0,58%) che il modello di riferimento non produce.
• Memorizzazione Funzionale:
  • Metriche Strutturali: CodeBLEO (DFG) e TSED hanno identificato rispettivamente l'1,8% e il 2,1% dei campioni come controfattualmente memorizzati, nonostante i bassi punteggi BLEU.
  • LLM-as-a-Judge: Utilizzando il prompt di equivalenza funzionale più conservativo degli autori, il 3,9% dei campioni è stato identificato come funzionalmente memorizzato (basso BLEU, alta somiglianza funzionale e divergenza controfattuale). Altri prompt hanno prodotto tassi più elevati (fino al 14,0%), suggerendo la sensibilità al design del prompt.
  • Basate sull'Esecuzione: Sotto il test più rigoroso di HyClone, lo 0,28% delle generazioni è stato verificato come funzionalmente identico ai dati di addestramento mentre il modello di riferimento falliva nel farlo. Questo è considerato un limite inferiore a causa delle sfide di esecuzione (es. dipendenze mancanti, stato della classe).
• Correlazione tra Metriche: Le metriche testuali (BLEU, Edit) sono altamente correlate tra loro ma debolmente correlate con le metriche basate sull'esecuzione (HyClone), confermando che catturano segnali distinti.

Esempio: Il documento evidenzia un caso in cui il modello target ha riprodotto una logica di commissione hard-coded dai dati di addestramento utilizzando un'implementazione ristrutturata (nomi di variabili e controllo del flusso differenti), mentre il modello di riferimento ha allucinato una logica non correlata. Le metriche testuali (BLEU = 0,26) non sono riuscite a segnalarlo, mentre le metriche funzionali (LLM-judge = 0,8, Esecuzione = 0,95) hanno avuto successo.

Significato e Rivendicazioni

Il documento sostiene che gli attuali regimi di auditing basati solo sulla sovrapposizione testuale sono insufficienti per i modelli di codice. I risultati dimostrano che la memorizzazione funzionale avviene a un ordine di grandezza simile alla memorizzazione quasi verbatim quando misurata con le appropriate metriche funzionali.

Gli autori affermano che:

• I modelli possono interiorizzare e riprodurre logiche proprietarie anche quando la forma superficiale è significativamente alterata.
• Le attuali protezioni della privacy e della proprietà intellettuale basate sulla somiglianza testuale stanno probabilmente sottostimando il rischio di fuga dei dati di addestramento.
• Esiste un urgente bisogno di metriche di auditing che vadano oltre la sovrapposizione testuale, incorporando l'analisi strutturale, il giudizio semantico basato su LLM e la verifica basata sull'esecuzione.

Il lavoro conclude motivando lo sviluppo di regimi di auditing più robusti e tecniche di misurazione migliorate della somiglianza funzionale, osservando che gli attuali metodi basati sull'esecuzione sono ancora limitati dalla complessità degli ambienti di codice del mondo reale.