LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

1. Il Problema

La rapida proliferazione dei Modelli Linguistici di Grande Dimensione (LLM) come GitHub Copilot, ChatGPT e Code Llama ha trasformato lo sviluppo software, introducendo sfide critiche per l'integrità accademica, la garanzia della qualità del codice e la sicurezza informatica.
Il problema centrale è la difficoltà nel distinguere il codice generato dall'IA da quello scritto da umani. Le soluzioni esistenti per la rilevazione di testi generati da IA (come GPTZero o DetectGPT) sono spesso inadeguate per il codice sorgente a causa delle proprietà sintattiche e strutturali uniche dei linguaggi di programmazione. L'obiettivo è quindi sviluppare un classificatore binario in grado di determinare se un frammento di codice è umano (0) o generato da un LLM (1).

2. Metodologia: LLMSniffer

Gli autori propongono LLMSniffer, un framework di rilevazione che combina tre componenti principali in una pipeline di apprendimento supervisionato:

• Preprocessing: Rimozione dei Commenti
  Un passo cruciale è la rimozione dei commenti dal codice prima dell'encoding. I codici generati dagli LLM tendono a includere commenti esplicativi e verbosi che riflettono lo stile di scrittura del modello piuttosto che la struttura algoritmica. Rimuoverli costringe il modello a imparare a distinguere basandosi su proprietà sintattiche e strutturali intrinseche, riducendo il rischio di sfruttare indizi stilistici superficiali e migliorando la generalizzazione.

• Architettura del Modello

  1. Encoder GraphCodeBERT: Viene utilizzato il modello pre-addestrato GraphCodeBERT, che non solo codifica la sequenza di token, ma incorpora anche un grafo del flusso di dati (data-flow graph). Questo permette al modello di catturare le dipendenze semantiche a livello di variabile (dove una variabile è calcolata e dove è usata), offrendo una rappresentazione più ricca rispetto ai modelli basati solo su token (come CodeBERT).
  2. Testa di Proiezione (Projection Head): Un MLP a due livelli con attivazione ReLU mappa la rappresentazione del token [CLS] in uno spazio latente per l'apprendimento contrastivo.
  3. Testa di Classificazione MLP: Un Perceptron Multistrato (MLP) con attivazione sigmoide sostituisce il semplice classificatore lineare usato in lavori precedenti. Questo componente è fondamentale per sfruttare la struttura non lineare dello spazio degli embedding appreso.

• Strategia di Addestramento in Due Fasi
  La pipeline di addestramento segue un approccio a due stadi basato sull'Apprendimento Contrastivo Supervisionato (Supervised Contrastive Learning - SupCon):

  • Fase 1 (Pre-addestramento Contrastivo): L'encoder e la testa di proiezione vengono ottimizzati utilizzando la funzione di perdita SupCon. L'obiettivo è massimizzare la vicinanza tra rappresentazioni della stessa classe (codice umano con umano, AI con AI) e la distanza tra classi diverse nello spazio degli embedding.
  • Fase 2 (Fine-tuning per la Classificazione): La testa di proiezione viene rimossa e sostituita dalla testa di classificazione MLP. L'intero modello viene poi fine-tunato end-to-end utilizzando la Binary Cross-Entropy Loss. La fase contrastiva funge da "riscaldamento" per creare rappresentazioni discriminative prima della classificazione finale.

3. Contributi Chiave

• Strategia di Fine-tuning Ibrida: Introduzione di una strategia a due stadi che integra GraphCodeBERT, apprendimento contrastivo supervisionato e rimozione dei commenti, raggiungendo risultati state-of-the-art.
• Analisi di Ablazione Dettagliata: Dimostrazione che l'uso di un semplice classificatore lineare non basta; il miglioramento deriva dalla combinazione specifica di pre-addestramento contrastivo, rimozione dei commenti e uso di un classificatore MLP.
• Riproducibilità Completa: Rilascio pubblico dei checkpoint del modello, dei dataset (GPTSniffer e Whodunit), del codice sorgente e di una demo interattiva live su Hugging Face Spaces.

4. Risultati Sperimentali

Il modello è stato valutato su due benchmark principali: GPTSniffer (codice ChatGPT multilingue) e Whodunit (soluzioni Python generate da GPT-4).

• Su GPTSniffer:

  • L'accuratezza è aumentata dal 70% (baseline GPTSniffer) al 78%.
  • Il punteggio F1 è migliorato dal 68% al 78%.
  • L'analisi di ablation mostra che la variante con classificatore lineare non ha migliorato le prestazioni rispetto alla baseline, confermando l'importanza della testa MLP e della rimozione dei commenti.

• Su Whodunit:

  • L'accuratezza è salita dal 91% al 94,65%.
  • Il punteggio F1 è migliorato dal 91% al 94,64%.
  • Si osservano guadagni coerenti su tutte le metriche (Precisione, Recall, F1).

• Visualizzazione: Le proiezioni t-SNE degli embedding confermano che l'addestramento contrastivo produce cluster compatti e ben separati per il codice umano e quello AI, a differenza delle sovrapposizioni significative osservate con i modelli baseline.

5. Significato e Implicazioni

LLMSniffer rappresenta un avanzamento significativo nel campo della sicurezza del codice e dell'integrità accademica.

• Superiorità Strutturale: Dimostra che l'analisi della struttura del flusso di dati (tramite GraphCodeBERT) è più efficace dell'analisi puramente testuale per rilevare l'IA nel codice.
• Robustezza: La rimozione dei commenti e l'uso dell'apprendimento contrastivo rendono il sistema meno suscettibile a variazioni stilistiche superficiali, focalizzandosi sulla "firma" strutturale del codice generato.
• Impatto Pratico: Fornisce agli educatori e ai revisori del codice uno strumento affidabile per identificare l'uso non dichiarato di LLM, pur sottolineando la necessità di una revisione umana per evitare falsi positivi che potrebbero penalizzare ingiustamente sviluppatori o studenti.

Il lavoro apre la strada a future ricerche sull'attribuzione multi-classe (identificare quale specifico LLM ha generato il codice), sulla robustezza contro attacchi di offuscamento e sull'estensione a linguaggi di programmazione a risorse limitate.