Neuro-symbolic Static Analysis with LLM-generated Vulnerability Patterns

1. Il Problema

L'analisi statica basata su pattern è un pilastro fondamentale per il rilevamento delle vulnerabilità nel software, utilizzata in sistemi di produzione su larga scala (es. GitHub CodeQL, Joern). Tuttavia, la sua efficacia dipende interamente dalla qualità dei pattern di vulnerabilità (query) scritti manualmente dagli esperti di sicurezza.

• Sfide attuali: La creazione di questi pattern è un processo manuale, lento (richiede settimane), costoso e soggetto a errori umani. Gli esperti possono trascurare varianti di attacco o scrivere pattern troppo generici (falsi positivi) o troppo specifici (falsi negativi).
• Limiti degli approcci esistenti:
  • I metodi basati sull'apprendimento automatico (ML) spesso mancano di contesto interprocedurale e richiedono grandi dataset etichettati.
  • I recenti tentativi di utilizzare i Large Language Models (LLM) per generare codice o analizzare vulnerabilità si scontrano con limiti di lunghezza dei token, allucinazioni e, soprattutto, con la difficoltà di generare query sintatticamente e semanticamente corrette in DSL (Domain-Specific Languages) complesse e specifiche (come quelle di Joern o CodeQL).
  • Lavori precedenti (es. IRIS, KNighter) automatizzano solo parti del processo (es. fonti e pozzi di taint) ma richiedono ancora che gli esperti definiscano la logica di base delle query, limitando l'automazione end-to-end.

2. Metodologia: MoCQ

Il paper presenta MoCQ (Model-Generated Code Queries), un framework di analisi statica neuro-simbolica che automatizza la generazione end-to-end di pattern di rilevamento delle vulnerabilità. MoCQ combina la capacità semantica degli LLM con la precisione e la scalabilità dell'analisi statica simbolica.

Il flusso di lavoro si articola in tre fasi principali:

A. Estrazione e Sottoset del DSL (Domain-Specific Language)

Gli LLM commerciali spesso non conoscono a fondo le grammatiche complesse dei DSL usati dagli strumenti di analisi statica (es. Scala-like per Joern, SQL-like per CodeQL), portando a errori di sintassi.

• Estrazione: MoCQ analizza automaticamente la documentazione e il codice sorgente degli strumenti per estrarre le specifiche formali del DSL (grammatica, tipi di dati, API).
• Sottoset del DSL (DSL Subsetting): Per evitare di sovraccaricare l'LLM con migliaia di API ridondanti, MoCQ seleziona un sottoinsieme essenziale di funzionalità del DSL. Questo riduce la complessità del compito per l'LLM mantenendo l'espressività necessaria per rilevare le vulnerabilità.

B. Generazione Iterativa con Validazione Simbolica

MoCQ non si affida a una singola generazione, ma utilizza un ciclo di feedback guidato da un validatore simbolico:

1. Generazione: L'LLM genera una query basata su una descrizione della vulnerabilità e su esempi di codice vulnerabile.
2. Validazione Simbolica: Un validatore esegue la query generata e monitora il comportamento a livello di blocchi di codice. Rileva tre tipi di errori:
   • Errori di Sintassi: Violazioni della grammatica del DSL.
   • Errori di Esecuzione: Eccezioni runtime (es. chiamate a funzioni inesistenti, errori di tipo).
   • Errori Semantici: La query è eseguibile ma non rileva l'esempio di vulnerabilità (falsi negativi) o rileva codice non vulnerabile (falsi positivi).
3. Feedback e Raffinamento: Il validatore fornisce all'LLM uno stato dettagliato del programma (variabili, valori runtime, posizione degli errori) e suggerimenti specifici (es. "usa <operator>.assignment invece di assignment"). L'LLM usa queste informazioni per correggere e iterare la query fino a quando non è valida ed efficace.

C. Ottimizzazione e Unificazione

• Generalizzazione: Per evitare l'overfitting (pattern che funzionano solo su un esempio specifico), MoCQ utilizza euristiche per identificare valori costanti o strutture troppo specifiche e istruisce l'LLM a generalizzare la query.
• Eliminazione dei Falsi Positivi: Il sistema guida l'LLM a rimuovere le condizioni che generano falsi allarmi.
• Fusione (Merging): Le query generate per singoli esempi vengono fuse in una singola query ottimizzata per migliorare l'efficienza di esecuzione su grandi codebase.

3. Contributi Chiave

• Framework Neuro-Simbolico End-to-End: MoCQ è il primo sistema in grado di generare automaticamente query di rilevamento vulnerabilità complete (dalla definizione delle fonti di taint alla logica di controllo del flusso) partendo da zero, senza intervento umano nella struttura della query.
• Tecnica di DSL Subsetting: Un metodo innovativo per ridurre la complessità del linguaggio di query mantenendo la semantica, rendendo possibile l'uso efficace di LLM pre-addestrati.
• Validazione Guidata dalle Tracce: Un meccanismo di feedback fine-granulare che permette di correggere errori semantici e di esecuzione, superando i limiti delle semplici correzioni di sintassi.
• Supporto Multi-linguaggio: Implementato su Joern e CodeQL, supportando C/C++, Java, PHP e JavaScript.

4. Risultati Sperimentali

Il sistema è stato valutato su 12 tipi di vulnerabilità (es. Use-After-Free, SQL Injection, Prototype Pollution) e 4 linguaggi di programmazione.

• Performance di Generazione: MoCQ ha generato query valide per il 77.4% dei casi di test in media, riducendo il tempo di sviluppo da settimane a ore.
• Efficacia di Rilevamento:
  • Le query generate da MoCQ hanno raggiunto una performance di rilevamento comparabile a quelle sviluppate manualmente da esperti (78% di tasso di rilevamento vs 65% degli esperti su un set di test specifico).
  • La combinazione di query MoCQ ed esperti ha raggiunto il 85% di copertura totale.
• Scoperte Innovative:
  • MoCQ ha scoperto 46 nuovi pattern di vulnerabilità che gli esperti avevano trascurato (es. nuove varianti di type juggling in PHP, manipolazioni di oggetti in JS).
  • Ha individuato 25 nuove vulnerabilità zero-day in applicazioni reali, di cui 14 confermate e 5 già corrette dai maintainer.
• Confronto con SOTA: MoCQ supera approcci basati puramente su LLM (che soffrono di mancanza di contesto interprocedurale) e strumenti statici specializzati (come KNighter o LChecker) in termini di versatilità e capacità di rilevamento interprocedurale.

5. Significato e Impatto

Il lavoro di MoCQ rappresenta un passo significativo verso l'automazione dell'analisi di sicurezza:

1. Democratizzazione della Sicurezza: Riduce drasticamente la barriera all'ingresso per la creazione di detector di vulnerabilità personalizzati, rendendo accessibile a sviluppatori non esperti di sicurezza la creazione di tool di analisi avanzati.
2. Complementarità Umano-IA: Dimostra che LLM e esperti umani hanno punti di forza complementari: gli LLM eccellono nel cogliere sfumature linguistiche e sintattiche sottili spesso ignorate, mentre gli umani sono superiori nel ragionamento concettuale ad alto livello. L'integrazione dei due approcci massimizza la copertura.
3. Scalabilità: Una volta generate, le query possono essere eseguite su codebase illimitati senza costi aggiuntivi di inferenza LLM, offrendo una soluzione scalabile per la sicurezza del software.

In sintesi, MoCQ risolve il collo di bottiglia della creazione manuale dei pattern, combinando l'intelligenza semantica degli LLM con la rigore formale dell'analisi statica, aprendo la strada a una nuova generazione di strumenti di sicurezza automatizzati e adattivi.