Code Fingerprints: Disentangled Attribution of LLM-Generated Code

Il paper presenta DCAN, una rete di attribuzione che disentangola le informazioni semantiche da quelle stilistiche per identificare con successo quale specifico modello LLM ha generato un frammento di codice, supportato da un nuovo dataset su larga scala per la valutazione.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "Code Fingerprints", immaginata come se stessi raccontando una storia a un amico.

🕵️‍♂️ L'Investigatore del Codice: Chi ha scritto questo programma?

Immagina di essere un detective. Ti viene consegnato un foglio con un codice di programmazione scritto da un'intelligenza artificiale (una di quelle che scrivono codice, come ChatGPT o Claude). Il problema? Non c'è la firma dell'autore.

Oggi, molti ricercatori si limitano a chiedersi: "È stato scritto da un umano o da un robot?". Ma questo non basta più. Se c'è un bug, una falla di sicurezza o un problema di copyright, dobbiamo sapere esattamente quale robot lo ha scritto. È stato ChatGPT? O forse DeepSeek? O Qwen?

Questo paper introduce un nuovo metodo per risolvere questo mistero, chiamandolo DCAN (una sorta di "super-detective" per il codice).

---

🧩 Il Problema: Tutti i robot risolvono lo stesso modo (quasi)

Se chiedi a quattro robot diversi di risolvere un problema matematico (ad esempio, "calcola la somma dei numeri da 1 a 100"), tutti ti daranno la risposta giusta. È come se quattro cuochi diversi dovessero preparare una pasta al pomodoro: il risultato finale (il sapore) è lo stesso, ma...

• Il Cuoco A usa sempre il coltello in modo molto preciso.
• Il Cuoco B taglia le cipolle in modo leggermente diverso.
• Il Cuoco C scrive le ricette con parole molto specifiche.
• Il Cuoco D usa sempre lo stesso tipo di pentola.

Questi piccoli dettagli sono le "impronte digitali" (o fingerprints) del robot. Il problema è che, quando guardi il piatto finito (il codice), il sapore (la logica del programma) è così forte che ti copre i dettagli del modo in cui è stato cucinato.

🧠 La Soluzione: Il "Separatore di Pensieri"

Gli autori del paper hanno creato un sistema intelligente che fa una cosa magica: separa il "cosa" dal "come".

Immagina di avere un bicchiere di succo di frutta misto.

• Il succo è il significato del codice (la logica, cosa fa il programma). Questo è uguale per tutti i robot che risolvono lo stesso compito.
• Il gusto specifico è lo stile del robot (come scrive le variabili, quanto usa i commenti, come indenta le righe).

Il sistema DCAN agisce come un filtro magico:

1. Prende il codice.
2. Estrae il "succo" (la logica comune) e lo mette da parte, dicendogli: "Tu non ci servi per capire chi è l'autore".
3. Tiene solo il "gusto specifico" (lo stile unico).
4. Confronta questo "gusto" con una libreria di stili noti (ChatGPT, Claude, ecc.) per dire: "Ehi! Questo sapore assomiglia esattamente a quello di DeepSeek!".

📊 La Prova: Hanno creato un laboratorio gigante

Per insegnare al loro detective a riconoscere questi stili, gli autori hanno creato il primo grande "laboratorio di prova" al mondo:

• Hanno chiesto a 4 robot famosi (DeepSeek, Claude, Qwen, ChatGPT) di scrivere 91.000 programmi.
• Li hanno fatti scrivere in 4 lingue diverse (Python, Java, C, Go).
• Li hanno fatti scrivere in due modi: senza note (solo codice) e con note (codice con spiegazioni scritte).

È come se avessero fatto cucinare a questi 4 cuochi 91.000 piatti diversi, per vedere se riuscivano a riconoscere chi aveva cucinato cosa solo guardando il piatto.

🏆 I Risultati: Il detective è infallibile

I risultati sono stati sorprendenti:

1. Ogni robot ha un "personaggio" unico: Anche se risolvono lo stesso problema, ChatGPT tende a essere più verboso, mentre Qwen è più conciso. Claude usa nomi di variabili molto descrittivi, mentre DeepSeek ama certe strutture specifiche.
2. Il metodo funziona benissimo: Il sistema DCAN ha indovinato l'autore corretto nel 93-98% dei casi (a seconda delle condizioni). È molto meglio dei metodi precedenti.
3. Funziona anche senza note: Anche se togli i commenti (le spiegazioni scritte), il sistema riesce a riconoscere l'autore guardando solo la struttura del codice. Ma se ci sono i commenti, l'accuratezza sale quasi al 100%, perché anche il modo di scrivere le spiegazioni è unico per ogni robot.
4. È intelligente: Se addestri il sistema su una lingua (es. Python) e lo fai testare su un'altra (es. Java), riesce ancora a riconoscere l'autore! Questo significa che ha imparato lo "stile" del robot, non solo la grammatica della lingua.

💡 In sintesi

Questo paper ci dice che ogni Intelligenza Artificiale ha una "firma" invisibile nel modo in cui scrive codice, proprio come ogni umano ha una calligrafia unica.

Il sistema proposto è come un rilevatore di impronte digitali che, invece di guardare le dita, guarda il modo in cui il codice è "pensato" e "scritto", separando la logica (che è uguale per tutti) dallo stile (che è unico per ogni robot). Questo è fondamentale per la sicurezza, per capire chi è responsabile di un errore e per rispettare le regole sul copyright nel mondo del software.

Sommario tecnico

Ecco un riepilogo tecnico dettagliato del paper "Code Fingerprints: Disentangled Attribution of LLM-Generated Code" in italiano.

1. Il Problema: Attribuzione della Fonte di Codice Generato da LLM

L'adozione diffusa dei Modelli Linguistici di Grande Dimensione (LLM) ha trasformato lo sviluppo software, ma ha introdotto sfide critiche per la governance, la sicurezza e la conformità. Mentre la ricerca esistente si concentra principalmente sul distinguere il codice generato da macchine da quello scritto da umani, molti scenari pratici (come la triage delle vulnerabilità, le indagini sugli incidenti e gli audit delle licenze) richiedono di identificare quale specifico modello LLM ha generato un determinato frammento di codice.

Il problema affrontato è l'Attribuzione della Fonte del Codice LLM (LLMCSA - LLM Code Source Attribution). Questa sfida è complessa perché, per lo stesso compito di programmazione, diversi LLM tendono a produrre soluzioni funzionalmente simili e sintatticamente corrette, rendendo difficile distinguere le "impronte digitali" stilistiche e strutturali uniche di ciascun modello.

2. Metodologia: DCAN (Disentangled Code Attribution Network)

Gli autori propongono DCAN, un framework innovativo basato sul principio che le rappresentazioni latenti del codice contengono due tipi di informazioni sovrapposte:

1. Informazione Indipendente dalla Fonte (Source-Agnostic): Semantica funzionale e logica del compito, condivisa da tutti i modelli che risolvono lo stesso problema.
2. Informazione Specifica della Fonte (Source-Specific): Impronte stilistiche, convenzioni di denominazione, struttura e preferenze di decodifica intrinseche a un modello specifico.

L'obiettivo è disaccoppiare (disentangle) queste due componenti per isolare le impronte digitali del modello.

Architettura del Framework

• Feature Extraction: Utilizza un encoder pre-addestrato (UniXcoder) per ottenere una rappresentazione latente iniziale ($h_{base}$) che contiene sia la semantica del compito che lo stile del modello.
• Modulo di Disaccoppiamento:
  • Una rete di proiezione non lineare (MLP) stima la componente Source-Agnostic ($h_{com}$), allineando le rappresentazioni di codici diversi che risolvono lo stesso compito.
  • La componente Source-Specific ($h_{spec}$) viene estratta per sottrazione: $h_{spec} = h_{base} - h_{com}$.
• Obiettivi di Ottimizzazione (Loss Functions):
  • Loss di Classificazione della Fonte ($L_{cls}$): Applicata su $h_{spec}$ per massimizzare l'accuratezza nell'identificare il modello generatore.
  • Loss di Coerenza della Rappresentazione ($L_{rc}$): Applicata su $h_{com}$ per garantire che le rappresentazioni di compiti identici (indipendentemente dal modello) siano vicine nello spazio latente, forzando la separazione della semantica comune.
  • Obiettivo Totale: $L_{total} = L_{cls} + \lambda L_{rc}$.

3. Contributi Chiave

1. Definizione del Task LLMCSA: Formalizzazione del problema di attribuzione del modello generatore come un nuovo problema di provenance software.
2. Dataset di Benchmark su Larga Scala: Costruzione del primo dataset pubblico per LLMCSA, contenente 91.804 campioni di codice.
   • Modelli: DeepSeek, Claude, Qwen, ChatGPT.
   • Linguaggi: Python, Java, C, Go.
   • Setting: Codice "puro" (senza commenti) e codice con commenti.
   • Complessità: Copre 2.869 task di LeetCode con diverse difficoltà e domini algoritmici.
3. Framework DCAN: Un approccio basato sul disaccoppiamento che supera i metodi tradizionali (come GPTSniffer o CodeGPTSensor) isolando esplicitamente le firme stilistiche dal contenuto semantico.

4. Risultati Sperimentali

Gli esperimenti confermano l'efficacia di DCAN in diversi scenari:

• Performance di Attribuzione:
  • Nel setting Plain (senza commenti), DCAN raggiunge un F1-score medio del 92,94%, superando i baselines (GPTSniffer: 89,15%).
  • Nel setting Comment (con commenti), le prestazioni salgono a un F1-score medio del 98,38%, dimostrando che i commenti forniscono ulteriori segnali stilistici distintivi.
• Validità del Meccanismo di Disaccoppiamento:
  • Un'analisi di ablazione mostra che la componente Source-Agnostic ($h_{com}$) ha un'accuratezza casuale (~25%), confermando che non contiene informazioni discriminative.
  • La componente Source-Specific ($h_{spec}$) da sola ottiene le prestazioni migliori, dimostrando che il disaccoppiamento funziona correttamente.
  • Le visualizzazioni t-SNE mostrano cluster distinti e compatti per ogni modello nello spazio $h_{spec}$, mentre nello spazio $h_{com}$ i campioni si sovrappongono.
• Robustezza e Generalizzazione:
  • Efficienza dei Dati: DCAN mantiene prestazioni elevate anche con solo il 10% dei dati di addestramento.
  • Generalizzazione Cross-Linguaggio: Un modello unificato addestrato su più linguaggi mantiene prestazioni elevate su linguaggi non visti (Zero-shot), specialmente quando sono presenti commenti, suggerendo che lo stile di generazione del linguaggio naturale è trasversale ai linguaggi di programmazione.
  • Complessità: Contrariamente alle aspettative, le prestazioni migliorano leggermente su task difficili, poiché le soluzioni complesse offrono più spazio per variazioni stilistiche individuali rispetto alle soluzioni standardizzate dei task semplici.

5. Significato e Impatto

Questo lavoro ha un impatto significativo sulla sicurezza informatica e sull'ingegneria del software:

• Accountability: Permette di tracciare l'origine di codice vulnerabile o malizioso, facilitando l'indagine forense.
• Conformità: Aiuta a verificare la provenienza del codice per audit di licenze e proprietà intellettuale.
• Nuova Direzione di Ricerca: Dimostra che l'analisi delle "impronte digitali" generative (stilistiche e strutturali) è un metodo efficace per l'attribuzione, superando i limiti dei metodi basati solo sulla rilevazione binaria (umano vs. macchina).
• Fondazione per Futuri Studi: Il dataset pubblico e il framework DCAN forniscono una base solida per lo sviluppo di futuri strumenti di forensica software e tecniche di rilevamento più sofisticate.

In sintesi, il paper dimostra che, nonostante la convergenza funzionale dei LLM, esistono impronte digitali generative distinte e misurabili che possono essere isolate e sfruttate per identificare con alta precisione il modello generatore, anche in contesti multi-linguaggio e multi-task.