Sintesi Tecnica: L'importanza della Rappresentazione per il Ragionamento sulle Vulnerabilità degli LLM

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati per il rilevamento automatizzato delle vulnerabilità, eppure il metodo ottimale per rappresentare la struttura e la semantica del programma per il ragionamento basato su LLM rimane poco chiaro. Le attuali pipeline si affidano prevalentemente al codice sorgente grezzo come input primario, operando sotto l'assunto implicito che fornire un maggiore contesto a livello di sorgente fornisca prove migliori per il ragionamento sulle vulnerabilità.

Questo articolo mette in discussione tale assunto. Il ragionamento sulle vulnerabilità dipende spesso da relazioni semantiche — come la propagazione dei dati, le guardie di controllo del flusso e gli alias dei puntatori — che non sono esplicite nella sintassi superficiale. Sebbene le rappresentazioni basate sull'analisi statica (ad esempio, i Grafi di Flusso di Controllo, i Grafi di Dipendenza del Programma) siano progettate per esporre tali relazioni, la loro efficacia quando utilizzate come prompt per gli LLM non è stata sistematicamente confrontata con il codice sorgente grezzo. Il problema centrale è determinare se le rappresentazioni strutturate, basate sull'analisi statica, possano migliorare l'accuratezza e l'efficienza del ragionamento degli LLM rispetto agli input di codice sorgente grezzo, e se la loro combinazione generi benefici sinergici o introduca rumore.

Metodologia

Gli autori introducono RepBench, una pipeline di benchmark unificata progettata per valutare come diverse rappresentazioni del programma influenzino il ragionamento sulle vulnerabilità degli LLM sotto un compito fisso.

Dataset e Ambito

• Corpus: Lo studio utilizza un sottoinsieme curato di 107 casi di test reali in C/C++ derivati dal dataset PrimeVul, che copre cinque categorie di Common Weakness Enumeration (CWE):
  • Vulnerabilità aritmetiche: CWE-122 (Heap-based Buffer Overflow), CWE-190 (Integer Overflow), CWE-191 (Integer Underflow).
  • Vulnerabilità del ciclo di vita della memoria: CWE-415 (Double Free), CWE-416 (Use After Free).
• Track Ausiliaria: Un ulteriore set di 19 casi utilizzando Enriched Program Dependence Graphs (ePDG) generati tramite la pipeline VulChecker/Hector, che include metadati a livello LLVM.

Design Sperimentale

Il benchmark valuta dieci varianti di rappresentazione attraverso tre famiglie di prompt:

1. Solo Sorgente: Codice sorgente grezzo (Baseline).
2. Solo Grafo: Rappresentazioni strutturali serializzate che includono l'Abstract Syntax Tree (AST), il Control-Flow Graph (CFG), il Program Dependence Graph (PDG) e le loro combinazioni (AST+CFG, AST+PDG, CFG+PDG).
3. Sorgente + Grafo: Ibridi che combinano il codice sorgente grezzo con una o più rappresentazioni grafiche.

Controlli Chiave:

• Task: Classificazione binaria fissa (VULNERABILE vs SICURO) per una funzione target dato uno specifico CWE.
• Prompting: Tutte le varianti utilizzano una strategia di prompting Chain-of-Thought (CoT) fissa con output in formato JSON strutturato e selezione dinamica few-shot.
• Modello: Gli esperimenti utilizzano qwen3.6-plus con una temperatura fissa ($T=0.2$).
• Serializzazione: Gli artefatti grafici (DOT/JSONL) vengono convertiti in testo compatto orientato alle righe per minimizzare l'overhead del prompt pur preservando i collegamenti strutturali.

Metriche

• Accuratezza Curata (Curated Accuracy): Correttezza sulle righe mantenute con predizioni binarie valide (isolando la qualità della rappresentazione dai fallimenti di parsing).
• Accuratezza Effettiva (Effective Accuracy): Tasso di successo end-to-end inclusi i fallimenti di parsing.
• Overhead del Prompt: Misurato tramite il conteggio dei caratteri e il conteggio dei token di input.

Contributi Chiave

1. Framework RepBench: Un framework di benchmark che trasforma casi di test di vulnerabilità reali in molteplici rappresentazioni del programma (AST, CFG, PDG, ePDG) e li valuta sotto un compito di rilevamento standardizzato per LLM.
2. Studio di Ablazione Sistematico: Una valutazione completa del codice sorgente grezzo, dei singoli grafi, delle combinazioni di grafi e degli ibridi sorgente-più-grafo, isolando la rappresentazione come l'unica variabile sperimentale.
3. Scoperta della Diluizione del Contesto: Identificazione e caratterizzazione di un "effetto di diluizione del contesto", in cui l'aggiunta di codice sorgente grezzo alle evidenze strutturali compatte degrada le prestazioni di ragionamento invece di migliorarle.
4. Identificazione della Rappresentazione Ottimale: Evidenza empirica che AST+PDG è la rappresentazione più efficace, superando significativamente il codice sorgente grezzo e altre varianti.

Risultati

1. Le Rappresentazioni Grafiche Superano il Codice Sorgente Grezzo

Contrariamente all'assunto che un maggiore contesto di sorgente sia migliore, i prompt basati solo su grafi hanno ottenuto un'accuratezza curata del 74,4%, un miglioramento di 20,9 punti percentuali (pp) rispetto alla baseline del codice sorgente grezzo (53,5%). Ciò dimostra che le evidenze strutturali compatte possono sostituire e superare il prompting diretto del codice sorgente.

2. AST+PDG è la Variante Ottimale

La combinazione AST+PDG ha raggiunto l'accuratezza più elevata all'83,2% (un miglioramento di 29,7 pp rispetto al codice sorgente grezzo).

• L'AST fornisce ancoraggi sintattici locali (operatori, chiamate, dichiarazioni).
• Il PDG fornisce evidenze di dipendenza tra le istruzioni (flusso di dati, guardie di controllo).
• AST+CFG è seguita da vicino all'80,4%, mentre CFG+PDG ha ottenuto il 73,8%.
• Gli ibridi sorgente-più-grafo (ad esempio, pdg_plus_source, full) sono stati costantemente inferiori alle loro controparti basate solo su grafi (ad esempio, pdg_plus_source al 65,7% rispetto a pdg al 69,0%), indicando che il codice sorgente grezzo aggiunge rumore distraente piuttosto che valore complementare.

3. L'Effetto di Diluizione del Contesto

Lo studio identifica un effetto di diluizione del contesto: l'aggiunta di codice sorgente grezzo ai grafi strutturali aumenta la dimensione del prompt (2,4 volte più caratteri, 2,2 volte più token) ma riduce l'accuratezza.

• Meccanismo: Anche quando i prompt non superano il budget di contesto (nessuna troncamento), il testo aggiuntivo del codice sorgente porta il modello ad attendere a parti irrilevanti (ad esempio, funzioni helper non correlate o routine di interfaccia), oscurando le evidenze strutturali rilevanti per la vulnerabilità.
• Efficienza: I prompt basati solo su grafi raggiungono l'accuratezza più elevata con il minor overhead (media di 5.973 token rispetto ai 12.938 per sorgente-più-grafo).

4. Variazione tra i Tipi di Vulnerabilità

• Vulnerabilità Aritmetiche (CWE-190): I prompt basati solo su grafi hanno superato significativamente i prompt sorgente-più-grafo (77,8% vs 65,8%), suggerendo che le evidenze strutturali focalizzate sono critiche per il ragionamento source-to-sink.
• Vulnerabilità del Ciclo di Vita della Memoria (CWE-415/416): I prompt sorgente-più-grafo si sono comportati in modo competitivo o leggermente migliori per CWE-415, suggerendo che il contesto grezzo possa occasionalmente aiutare nel ragionamento sugli ordini di pulizia e sulla durata dei puntatori, sebbene il solo grafo rimanga robusto.
• Asimmetria delle Etichette: Il modello è stato più affidabile sui casi SICURI (76,1% di accuratezza curata) rispetto ai casi VULNERABILI (66,0%), probabilmente a causa della difficoltà di ragionare sull'assenza di guardie o su flussi di dati sottili.

5. Risultati Ausiliari ePDG

La track ePDG (metadati arricchiti a livello LLVM) ha raggiunto il 57,9% di accuratezza curata. Sebbene inferiore alle varianti basate su Joern, ciò suggerisce che i metadati orientati alla vulnerabilità hanno un potenziale, sebbene i limiti attuali nella leggibilità (IR astratto di LLVM) e nella fattibilità della generazione degli artefatti ne limitino l'utilità.

Significato e Rivendicazioni

L'articolo sostiene che la scelta della rappresentazione è un driver primario della qualità del ragionamento sulle vulnerabilità degli LLM, spesso più del volume di contesto in input.

• Rivalutazione della Pratica Corrente: I sistemi che si affidano esclusivamente al prompting del codice sorgente grezzo potrebbero non riuscire a sfruttare decenni di progressi nell'analisi statica. L'assunto che "più contesto è meglio" viene messo in discussione; nel ragionamento sulla sicurezza, le evidenze strutturali focalizzate sono superiori al testo sorgente non filtrato.
• L'Analisi Statica come Strato di Prompting: Gli autori propongono che l'analisi statica debba servire come uno strato di costruzione del prompt. Estrarre evidenze strutturali compatte e rilevanti per la sicurezza (come AST+PDG) e presentarle agli LLM consente agli sviluppatori di ottenere un'accuratezza maggiore con costi di inferenza inferiori e un ridotto rischio di diluizione del contesto.
• Fondamento Empirico: Questo lavoro fornisce la prima base empirica per progettare sistemi di analisi delle vulnerabilità basati su LLM consapevoli della rappresentazione, andando oltre la semplice iniezione di codice verso un prompting strutturato e guidato dall'analisi.

Lo studio conclude che, sebbene il codice sorgente grezzo sia naturale per gli LLM, non è ottimale per il ragionamento sulla sicurezza. Le rappresentazioni strutturali accuratamente selezionate offrono un miglior rapporto tra accuratezza e overhead, motivando un passaggio verso l'uso dell'analisi statica per costruire prompt focalizzati per il ragionamento sulla sicurezza basato su LLM.