Riepilogo Tecnico: VulTriage

Enunciato del Problema

La rilevazione automatizzata delle vulnerabilità rimane una sfida critica nella sicurezza del software. Sebbene i metodi esistenti di deep learning (ad esempio, GNN e modelli di codice pre-addestrati) abbiano compiuto progressi, affrontano limitazioni significative: gli approcci basati su GNN richiedono spesso la costruzione di grafi complessi e etichette di alta qualità, mentre i modelli pre-addestrati trattano tipicamente il codice come sequenze lineari di token, faticando a catturare le dipendenze strutturali e la semantica di esecuzione.

I recenti Large Language Models (LLM) mostrano potenziale nella comprensione del codice, ma soffrono di tre specifiche carenze quando applicati direttamente al codice sorgente grezzo per la rilevazione delle vulnerabilità:

1. Cecità Strutturale: Gli LLM elaborano il codice come sequenze di token, rendendo difficile identificare i percorsi di flusso di controllo tra istruzioni e le catene di propagazione dei dati, essenziali per rilevare vulnerabilità come gli overflow di buffer.
2. Carenza di Conoscenza: Il pre-addestramento generico produce una conoscenza di sicurezza implicita e dispersa. Gli LLM mancano di priori di dominio espliciti, come le tassonomie delle vulnerabilità (ad esempio, CWE) e specifici pattern di codice vulnerabile.
3. Divario Semantico: La logica di programma complessa che coinvolge operazioni sui puntatori, rami annidati e conversioni di tipo implicite può portare a sottintesi semantici, causando falsi positivi o vulnerabilità non rilevate.

Metodologia: VulTriage

Per affrontare queste limitazioni, gli autori propongono VulTriage, un framework che potenzia la rilevazione delle vulnerabilità basata su LLM attraverso l'Arricchimento del Contesto a Triplo Percorso. Invece di fornire all'LLM solo il codice grezzo, VulTriage costruisce tre flussi di contesto complementari che vengono integrati in un'unica istruzione per guidare il ragionamento finale.

1. Percorso di Controllo (Contesto Strutturale)

Questo percorso mira ad alleviare la cecità strutturale estraendo e verbalizzando informazioni strutturali statiche.

• Processo: Il codice sorgente viene analizzato in tre grafi strutturali: Albero della Sintassi Astratta (AST), Grafo del Flusso di Controllo (CFG) e Grafo del Flusso di Dati (DFG).
• Filtraggio: Per gestire i limiti della finestra di contesto e ridurre il rumore, viene applicato un meccanismo di filtraggio a più granularità. Mantiene i nodi scheletrici (funzioni, rami, cicli) e gli operatori chiave, rimuovendo i nodi semanticamente irrilevanti (ad esempio, espansioni di tipo).
• Verbalizzazione: I grafi filtrati vengono convertiti in descrizioni compatte in linguaggio naturale che riassumono la composizione del codice, i percorsi di esecuzione e le catene di propagazione dei dati.

2. Percorso di Conoscenza (Priori di Dominio)

Questo percorso affronta la carenza di conoscenza iniettando pattern espliciti di vulnerabilità tramite Generazione Aumentata con Recupero (RAG).

• Base di Conoscenza: Viene costruito un corpus dal database Common Weakness Enumeration (CWE), contenente nomi, descrizioni ed esempi di codice delle vulnerabilità.
• Generazione della Query: L'LLM genera inizialmente una previsione grezza dei potenziali tipi di vulnerabilità per il codice in ingresso, da utilizzare come query di recupero.
• Recupero Ibrido: Un meccanismo di recupero ibrido denso-sparsa (utilizzando BGE-M3) confronta la query con il corpus CWE. Questo combina la generalizzazione semantica (vettori densi) con la precisione lessicale (pesi sparsi) per garantire che i termini critici non vengano persi.
• Assemblaggio: Le voci CWE recuperate (top-k) vengono concatenate per formare un contesto di conoscenza $K$ che ancorà il giudizio dell'LLM.

3. Percorso Semantico (Spiegazione Funzionale)

Questo percorso mitiga il divario semantico fornendo una vista funzionale denoised del codice prima del verdetto finale.

• Processo: L'LLM viene interrogato per analizzare il codice e generare una concisa spiegazione in linguaggio naturale ($E$) del suo comportamento funzionale.
• Focus: La spiegazione evidenzia le operazioni chiave (gestione degli input, operazioni sulla memoria, chiamate di sistema) e i flussi di dati osservabili, evitando esplicitamente speculazioni su intenti non osservabili.

Istruzione Unificata

Il codice originale ($C$), il contesto strutturale ($S$), il contesto di conoscenza ($K$) e la spiegazione semantica ($E$) vengono assemblati in un singolo prompt di istruzione. All'LLM viene ordinato di agire come un ingegnere della sicurezza, ispezionando il codice attraverso la lente delle conoscenze recuperate e delle dipendenze strutturali prima di emettere un verdetto rigoroso "Sì/No".

Contributi Chiave

1. Framework VulTriage: Un nuovo sistema di rilevazione basato su LLM guidato dall'Arricchimento del Contesto a Triplo Percorso, che integra contesti strutturali, basati sulla conoscenza e semantici.
2. Progettazione del Percorso di Controllo: Un meccanismo per comprimere le informazioni AST, CFG e DFG in linguaggio naturale compatibile con gli LLM, consentendo una migliore percezione delle dipendenze di controllo e dati.
3. Progettazione del Percorso di Conoscenza: Un sistema di recupero ibrido denso-sparsa che recupera dinamicamente pattern derivati dal CWE per fornire priori di dominio espliciti.
4. Valutazione Completa: Esperimenti estesi che dimostrano l'efficacia e le capacità di generalizzazione del framework.

Risultati Sperimentali

Il framework è stato valutato sul set di test PrimeVul, un benchmark progettato per testare la discriminazione fine tra coppie di codice vulnerabile e codice corretto.

• Prestazioni: VulTriage ha raggiunto prestazioni all'avanguardia, superando sia le linee di base di deep learning (CodeBERT, CodeT5, UniXCoder, LineVul) sia i metodi esistenti basati su LLM (VulTrial, ConColl, GPTLens).
  • Ha ottenuto 147 previsioni Corrette a Coppie (P-C), superando significativamente la prossima migliore linea di base basata su LLM (VulTrial a 81).
  • Ha raggiunto un'Accuratezza di 0,6356 e un F1-score di 0,6907, guidando tutte le linee di base su queste metriche primarie.
• Studi di Ablazione: La rimozione di uno qualsiasi dei tre percorsi (Controllo, Conoscenza o Semantico) ha comportato un degrado delle prestazioni.
  • La rimozione del Percorso di Controllo ha aumentato gli errori, evidenziando la necessità di prove strutturali.
  • La rimozione del Percorso di Conoscenza ha aumentato il Tasso di Falsi Positivi (FPR), indicando il valore dei pattern espliciti di vulnerabilità.
  • La rimozione del Percorso Semantico ha abbassato Accuratezza e F1, confermando l'importanza della comprensione funzionale.
• Generalizzazione: Gli esperimenti su un dataset Kotlin a risorse limitate (con squilibrio di classe) hanno mostrato che VulTriage ottiene un F1-score di 0,57, superando ConColl (0,44) e altre linee di base, dimostrando robustezza in contesti a risorse limitate.
• Analisi dell'Attenzione: L'analisi dei punteggi di attenzione ha rivelato che il modello utilizza tutti i contesti di input in modo complementare: Codice Sorgente e spiegazioni Semantiche sono pesati fortemente nei primi livelli, la Conoscenza nei livelli intermedi e le Informazioni Strutturali negli ultimi livelli.

Significato

Il paper afferma che VulTriage dimostra che l'arricchimento del contesto strutturato, consapevole della conoscenza e semantico è una direzione efficace per migliorare la rilevazione delle vulnerabilità basata su LLM. Superando le semplici sequenze di token grezzi e fornendo esplicitamente dipendenze strutturali, conoscenze specifiche di dominio e riassunti funzionali, il framework permette agli LLM di ragionare in modo più affidabile sulle sottili differenze di vulnerabilità. I risultati suggeriscono che questo approccio colma efficacemente il divario tra le capacità generali degli LLM e le esigenze specifiche e rigorose dell'analisi della sicurezza del software.