A Comprehensive Evaluation of Code Language Models for Security Patch Detection

Sintesi Tecnica: Una Valutazione Esaustiva dei Modelli di Linguaggio per il Codice nel Rilevamento di Patch di Sicurezza

Definizione del Problema
Il rilevamento automatizzato di commit di correzione delle vulnerabilità (VFC - Vulnerability-Fixing Commits) è essenziale per un dispiegamento tempestivo delle patch di sicurezza, specialmente dato che i database di avvisi spesso ritardano il rilascio delle patch di una mediana di 25 giorni e molte correzioni non ricevono mai avvisi pubblici. Sebbene i Modelli di Linguaggio per il Codice (Code LM) siano sempre più adottati per il Rilevamento di Patch di Sicurezza (SPD), la loro capacità di riconoscere le correzioni di sicurezza basandosi esclusivamente sulle modifiche al codice rimane incerta. I rapporti sulle prestazioni esistenti sono spesso confusi da tre fattori critici: (1) modelli che si affidano pesantemente ai messaggi di commit piuttosto che alla semantica del codice; (2) data leakage causato dalla valutazione di modelli su progetti presenti sia nei set di addestramento che in quelli di test; (3) incertezza sulla qualità delle etichette, in particolare per i commit privi di associazioni esplicite CVE. L'effetto congiunto di questi fattori sulle prestazioni riportate dell'SPD non è stato rigorosamente quantificato.

Metodologia
Per affrontare queste problematiche, gli autori hanno costruito un framework unificato che consolida 20 dataset frammentati di VFC (che comprendono oltre 180.000 commit) in una suite di valutazione coerente. Questo framework include strumenti per la parsing sistematico, la normalizzazione, la deduplicazione e l'arricchimento del contesto.

Il protocollo di valutazione ha previsto l'addestramento di 270 modelli distinti, con parametri che vanno da 125M a 80B (inclusi architetture encoder, encoder-decoder e decoder) attraverso quattro composizioni di dataset (D1–D4) con diversi ambiti di supporto linguistico e fonti di etichettatura (mappate su CVE, basate su avvisi e tooling automatizzato). Lo studio ha impiegato tre specifiche strategie di ricerca:

1. Protocolli di Valutazione Rigorosi: Utilizzo di split stratificati per gruppo per prevenire il data leakage a livello di progetto e isolamento degli input di solo codice per misurare le reali capacità di ragionamento sul codice.
2. Arricchimento del Contesto: Implementazione di un arricchimento del contesto intra-procedurale leggero (utilizzando l'analisi del controllo di flusso e del flusso di dati tramite Tree-sitter e GumTree) e valutazione del contesto del repository inter-procedurale (RepoSPD) per determinare se un ulteriore contesto semantico migliori il rilevamento.
3. Audit delle Etichette: Conduzione di un audit manuale da parte di esperti su 200 commit per quantificare l'accuratezza delle etichette e analisi della distribuzione degli errori per distinguere tra fallimenti del modello e rumore di etichettatura.

Le metriche di valutazione includevano gli F1 score e il Patch Detection Score (PD-S), definito come il Tasso di Falsi Negativi a un tasso di Falsi Positivi (FPR) rigoroso dello 0,5% (0,005), per mitigare la fallacia del tasso di base.

Contributi Chiave

1. Framework Unificato: Il rilascio di un framework che integra 20 dataset VFC con pipeline automatizzate per la normalizzazione, la deduplicazione e l'arricchimento del contesto, consentendo una valutazione comparativa sistematica tra diverse strategie di etichettatura e linguaggi.
2. Rivalutazione Rigorosa: Uno studio esaustivo dell'SPD basato su Code LM che isola l'impatto dei protocolli di addestramento, della capacità del modello e dei segnali di contesto, fornendo raccomandazioni concrete per le valutazioni future su corpora aggregati.
3. Quantificazione della Qualità delle Etichette: Una quantificazione diretta dell'accuratezza delle etichette a livello di commit attraverso l'audit di esperti, rivelando che gli errori di etichettatura si concentrano nei commit privi di associazioni CVE e distorcono significativamente le metriche di valutazione.

Risultati Chiave

• Affidamento al Linguaggio Naturale: I modelli classificano i commit principalmente in base ai messaggi di commit. L'addestramento basato solo sui messaggi quasi eguaglia le prestazioni del commit completo, mentre l'addestramento basato solo sul codice risulta in un calo sostanziale delle prestazioni.
• Impatto delle Strategie di Split: Gli split stratificati per gruppo (che separano i progetti tra train e test) riducono gli F1 score del 16–28% rispetto agli split casuali, rivelando che le alte prestazioni precedenti erano guidate dalla memorizzazione specifica del progetto. Gli split temporali degradano ulteriormente, ma l'analisi a finestra scorrevole suggerisce che ciò sia dovuto a cambiamenti nella composizione dei progetti piuttosto che a veri spostamenti temporali nei pattern di vulnerabilità.
• Capacità del Modello e Contesto: I modelli decoder-based più grandi (es. Qwen3-Coder-Next) mostrano guadagni chiari rispetto agli encoder più piccoli e alle baseline, in particolare sui dati mappati su CVE. Tuttavia, questi guadagni sono insufficienti sotto budget rigorosi di falsi positivi. Né l'arricchimento del contesto intra-procedurale (control-flow/data-flow) né il contesto del repository inter-procedurale hanno fornito miglioramenti affidabili. A un FPR dello 0,5% (0,005), ogni modello di codice fine-tuned valutato ha mancato almeno l'80% delle correzioni di vulnerabilità.
• Rumore delle Etichette: L'audit manuale ha rivelato che l'accuratezza delle etichette per i commit associati a CVE è alta (~91%), ma l'accuratezza per i VFC senza associazioni CVE scende a ~29% (definizione rigorosa) o ~67% (definizione leniente). Questo rumore colpisce in modo sproporzionato la valutazione, penalizzando i modelli che rifiutano correttamente campioni erroneamente etichettati.
• Limitazioni del Contesto: L'analisi degli errori indica che l'evidenza decisiva per una correzione risiede spesso al di fuori del diff (es. nelle interazioni di sistema o nelle capacità dell'attaccante), e i modelli non riescono a utilizzare efficacemente il contesto semantico aggiunto anche quando viene fornito.

Significatività e Rivendicazioni
L'articolo sostiene che le attuali prestazioni riportate dell'SPD riflettono ampiamente le correlazioni del dataset (specificamente i messaggi di commit e i pattern specifici del progetto) piuttosto che una genuina comprensione del codice. Gli autori affermano che, in condizioni di valutazione rigorose — input di solo codice e split stratificati per gruppo — nessuna configurazione misurata rileva in modo affidabile i VFC dal solo codice con alta confidenza, nonostante i modelli più grandi mostrino guadagni chiari ma insufficienti rispetto alle baseline.

La significatività di questo lavoro risiede nell'aver stabilito che:

• Protocolli di Valutazione: Stime fedeli del ragionamento sul codice richiedono input di solo codice e split stratificati per gruppo; gli split temporali su corpora aggregati sono inaffidabili a causa di cambiamenti compositivi.
• Qualità dei Dati: Le valutazioni dovrebbero dare priorità ai positivi confermati da CVE, poiché i modelli si comportano meglio su questi dataset più puliti rispetto a quelli rumorosi, e gli autori devono dichiarare esplicitamente quale definizione di "correzione di sicurezza" catturano le loro etichette.
• Design dei Sistemi: Il collo di bottiglia principale per l'SPD non è la capacità del modello o la quantità di contesto, ma la capacità di selezionare e utilizzare efficacemente il contesto specifico su cui gli esperti si affidano (spesso esterno al diff). I futuri sistemi potrebbero richiedere approcci di retrieval-augmented, modelli specializzati nel codebase o sistemi agentici per raccogliere il contesto necessario, piuttosto che affidarsi esclusivamente a classificatori fine-tuned su diff statici.

Gli autori concludono che, sebbene i classificatori specializzati rimangano rilevanti per lo screening, il campo deve andare oltre gli attuali limiti dei benchmark per sviluppare sistemi capaci di ancorare le modifiche al codice in un contesto di repository più ampio.