Sintesi Tecnica: ANVIL – Identificazione di vulnerabilità basata su anomalie senza dati di addestramento etichettati

Problema

I detector di vulnerabilità basati sull'apprendimento supervisionato spesso offrono prestazioni scarse a causa della scarsità di dataset di addestramento etichettati di grandi dimensioni e alta qualità. Sebbene i Large Language Models (LLM) siano addestrati su vasti corpora di codice non etichettati ed eccellano nella generazione di codice, essi performano scarsamente quando direttamente sollecitati (prompted) per rilevare vulnerabilità, raggiungendo spesso un'accuratezza non migliore del caso casuale. Questo limite deriva dal fatto che gli LLM sono addestrati per generare codice che assomigli alla loro distribuzione di addestramento senza una supervisione esplicita su cosa costituisca un codice "buggato" o "vulnerabile". Di conseguenza, mancano della conoscenza specifica del dominio per distinguere il codice vulnerabile da quello benigno. Inoltre, i tentativi esistenti di compensare la carenza di dati attraverso la generazione di vulnerabilità sintetiche o la selezione di specifiche caratteristiche del codice hanno prodotto solo miglioramenti modesti, poiché i dati sintetici non riescono a catturare le diverse manifestazioni delle vulnerabilità reali.

Metodologia

Il documento presenta ANVIL, un approccio di localizzazione delle vulnerabilità a livello di riga che inquadra il rilevamento delle vulnerabilità come un compito di rilevamento delle anomalie. Il presupposto centrale è che il codice vulnerabile sia raro e quindi costituisca un'anomalia rispetto alla distribuzione appresa dagli LLM durante il pre-addestramento.

Flusso di lavoro principale

1. Ricostruzione del codice mascherato: Per una data riga di codice sotto analisi, la riga originale viene mascherata (rimossa). L'LLM riceve poi l'istruzione di ricostruire questa riga basandosi sul contesto circostante.
2. Punteggio di anomalia: La ricostruzione generata dall'LLM viene confrontata con la verità di base (la riga originale). Le deviazioni vengono valutate come anomalie. Un punteggio di anomalia elevato indica che la riga originale è "fuori distribuzione" (out-of-distribution) per il modello, suggerendo che sia vulnerabile.
3. Selezione del contesto (Contesto Adattivo): Per affrontare la sfida della selezione del contesto appropriato, ANVIL impiega una strategia di Contesto Adattivo (AC). Invece di utilizzare una finestra fissa di righe, l'AC seleziona la più grande istruzione composta (ad esempio, il corpo di una funzione) che racchiude la riga mascherata. Ciò garantisce che il modello riceva un contesto semanticamente rilevante senza il rumore di codice non correlato o i problemi di "perdita nel mezzo" (lost-in-the-middle) associati a contesti eccessivamente lunghi.

Punteggio di anomalia ibrido

ANVIL propone un punteggio di anomalia ibrido ($\delta_{hybrid}$) che aggrega quattro componenti distinte per quantificare la discrepanza tra il codice generato e quello originale:

• Perdita di Cross-Entropy ($\delta_{loss}$): La media della perdita di cross-entropy della riga ricostruita, che misura la probabilità dei token generati.
• Indicatore di Corrispondenza Esatta ($\delta_{EM}$): Una metrica binaria che penalizza qualsiasi deviazione dalla verità di base. Se la riga generata non corrisponde esattamente all'originale, contribuisce al punteggio di anomalia. Questo affronta il limite dei valori di perdita "soft", dove piccole ma critiche differenze di caratteri (ad esempio, > rispetto a >=) potrebbero altrimenti essere sottopesate.
• Varianza del Primo Token ($\delta_{var}$): Una misura della fiducia del modello, calcolata come la varianza dei primi 10 token predetti per la prima posizione generata. Le righe vulnerabili tendono a mostrare una varianza moderata, mentre le righe benigne mostrano spesso un'alta varianza (completamenti chiari) o una bassa varianza (esitazione in contesti semplici).
• Complessità AST ($\delta_{ast}$): Una metrica basata sul numero di nodi nell'Albero della Sintassi Astratta (AST) della riga originale. Una maggiore complessità è associata a un rischio più elevato di casi limite trascurati.

Il punteggio finale è una somma normalizzata di queste componenti, progettata per premiare le corrispondenze esatte pur catturando sottili deviazioni, incertezza del modello e complessità del codice.

Contributi Chiave

1. Framework ANVIL: Un nuovo approccio di rilevamento delle vulnerabilità a livello di riga che non richiede dati di addestramento etichettati, sfruttando gli LLM pre-addestrati per identificare le vulnerabilità come anomalie tramite la ricostruzione mascherata.
2. Meccanismo di Punteggio Ibrido: La proposta e la validazione di una funzione di punteggio composita che combina perdita, corrispondenza esatta, varianza di confidenza e complessità sintattica, dimostrando che questa combinazione supera le metriche individuali.
3. Strategia di Contesto Adattivo: L'introduzione di un metodo di selezione del contesto consapevole della struttura che identifica dinamicamente l'istruzione composta rilevante, migliorando sia l'accuratezza del rilevamento che l'efficienza computazionale rispetto alle finestre di dimensione fissa.
4. Valutazione Esaustiva: Una valutazione rigorosa attraverso molteplici famiglie di LLM, dimensioni di contesto e metodi di punteggio, incluso un test privo di leakage su vulnerabilità divulgate dopo il cutoff di addestramento dell'LLM.

Risultati Sperimentali

Gli autori hanno valutato ANVIL sul dataset PrimeVul, una vasta collezione di progetti open-source in C/C++, e l'hanno confrontato con i detector supervisionati allo stato dell'arte: LineVul, LineVD e LLMAO.

• Prestazioni vs. Detector Supervisionati: ANVIL ha superato significativamente tutti i baseline supervisionati.
  • Accuratezza Top-3: ANVIL ha ottenuto un'accuratezza fino a 2 volte superiore (31,3% rispetto al 17,3% del miglior baseline).
  • MFR Normalizzato: ANVIL ha mostrato un miglioramento del 75% (0,18 rispetto allo 0,39 del miglior baseline).
  • ROC-AUC: ANVIL ha raggiunto il 61,8%, sostanzialmente superiore ai baseline che oscillavano vicino al caso casuale (~50%).
• Contesto e Punteggio: Lo studio ha confermato che il punteggio ibrido e il Contesto Adattivo hanno prodotto le migliori prestazioni. Le dimensioni del contesto fisso inferiori a 100 righe hanno causato un degrado delle prestazioni, mentre le dimensioni fisse maggiori hanno introdotto rumore e problemi di memoria.
• Generalizzazione: ANVIL ha dimostrato forti capacità di generalizzazione su un dataset privo di leakage contenente vulnerabilità divulgate dopo il cutoff di addestramento dell'LLM, provando la sua capacità di rilevare vulnerabilità non viste senza riaddestramento.
• Utilità Pratica: Integrando ANVIL con i fuzzer per guidare la selezione dei seed, gli autori hanno scoperto due vulnerabilità precedentemente sconosciute, una delle quali è stata assegnata un CVE, dimostrando l'utilità pratica del rilevamento guidato dalle anomalie.

Significato

Il documento sostiene che ANVIL offra un'alternativa pratica all'apprendimento supervisionato per il rilevamento delle vulnerabilità, superando l'imbuto dei dati etichettati. Sfruttando la "naturalità" intrinseca del codice appresa dagli LLM, ANVIL isola efficacementamente le vulnerabilità a livello di riga. I risultati suggeriscono che il rilevamento basato su anomalie, in particolare se potenziato da un punteggio ibrido e da un contesto adattivo, può superare gli attuali metodi supervisionati, specialmente in scenari che coinvolgono codebase nuove o non viste dove i dati di addestramento non sono disponibili. Il lavoro evidenzia come, sebbene gli LLM possano non "sapere" intrinsecamente cosa sia una vulnerabilità, possano identificare efficacemente il codice che devia dalle norme statistiche del codice corretto.