FP-Predictor - False Positive Prediction for Static Analysis Reports

Il paper presenta FP-Predictor, un modello basato su Graph Convolutional Network che utilizza i Code Property Graphs per prevedere con alta accuratezza i falsi positivi negli report di analisi statica della sicurezza, dimostrando una forte capacità di ragionamento orientato alla sicurezza pur presentando limitazioni nella rappresentazione del flusso di controllo interprocedurale.

L'essenziale

Immagina di avere un detective robotico molto zelante che controlla il codice del tuo software per trovare buchi di sicurezza. Questo detective si chiama SAST (Static Application Security Testing). Il suo lavoro è fondamentale: protegge i tuoi dati sensibili.

Tuttavia, c'è un grosso problema: questo detective è troppo paranoico.

Il Problema: Il Detective che Suona l'Allarme per Tutto

Ogni volta che il detective vede qualcosa di strano, suona l'allarme e dice: "Attenzione! Qui c'è un pericolo!".
Il problema è che spesso si sbaglia. Dice "Pericolo!" quando in realtà è solo un innocuo "Gatto che passa".
In gergo tecnico, questi errori si chiamano Falsi Positivi.

Per gli sviluppatori di software, questo è un incubo. Immagina di dover controllare 100 allarmi, ma 80 di loro sono falsi. Perdi ore a investigare cose che non sono pericolose, ti stanchi, perdi fiducia nel detective e, nel frattempo, potresti trascurare il vero pericolo che si nasconde in mezzo al caos.

La Soluzione: FPPredictor, il "Filtro Intelligente"

Gli autori di questo articolo (Tom, Michael ed Eric) hanno creato un nuovo assistente chiamato FPPredictor.
Pensa a FPPredictor non come a un altro detective, ma come a un esperto supervisore che guarda le segnalazioni del detective robotico e dice: "Ehi, aspetta. Questo qui è davvero pericoloso, oppure è solo un falso allarme?".

FPPredictor usa una tecnologia avanzata chiamata Rete Neurale a Grafo (GCN).

• L'analogia: Immagina che il codice del software non sia una lista di parole, ma una mappa complessa di strade e incroci (un grafo).
• FPPredictor non legge solo le parole; studia la struttura della mappa. Guarda come le strade si collegano, dove ci sono i semafori e come i dati viaggiano.
• Analizzando questa mappa, impara a distinguere la differenza tra un "incrocio pericoloso" (una vera vulnerabilità) e un "incrocio che sembra strano ma è sicuro" (un falso positivo).

Come l'hanno Addestrato?

Hanno insegnato a FPPredictor usando un manuale di esercizi chiamato CamBenchCAP.

• Hanno mostrato al modello migliaia di esempi: "Guarda, questa mappa è un vero pericolo" e "Guarda, questa mappa sembra un pericolo ma è sicura".
• Dopo aver studiato, il modello ha superato l'esame con il 100% di precisione su quegli esercizi.

La Prova Reale: CryptoAPI-Bench

Poi, hanno messo FPPredictor alla prova con un esame più difficile e diverso, chiamato CryptoAPI-Bench, che contiene casi reali di errori nella crittografia (la parte del software che protegge le password e i dati).

Qui è successo qualcosa di interessante:

1. Inizialmente: Sembrava che FPPredictor non funzionasse bene sugli allarmi falsi. Aveva solo 1 successo su 27.
2. La Scoperta: Gli umani hanno guardato più da vicino i casi in cui il modello aveva "sbagliato". E si sono resi conto che il modello aveva ragione e il manuale di esercizi era sbagliato!
   • In molti casi, il manuale diceva "Sicuro", ma FPPredictor diceva "Pericolo".
   • Quando gli umani hanno riletto il codice, hanno visto che FPPredictor aveva individuato pratiche di sicurezza discutibili o pericolose che il manuale aveva ignorato.
   • Esempio: C'era un caso in cui una chiave di sicurezza era usata in modo non protetto. Il manuale diceva "Tutto ok", ma FPPredictor ha detto "Attenzione!". L'analisi umana ha confermato che FPPredictor aveva visto il vero rischio.

Il Risultato Finale

Dopo aver corretto gli errori nel manuale di valutazione, la precisione di FPPredictor è salita al 96,6%.
In pratica, il modello ha dimostrato di essere più prudente e attento del manuale originale. Ha imparato a pensare come un esperto di sicurezza che preferisce essere "troppo cauto" piuttosto che rischiare di perdere un vero pericolo.

Cosa Succede Ora?

Il lavoro non è finito. Ci sono ancora dei limiti:

• La mappa è incompleta: Attualmente, FPPredictor guarda solo una stanza alla volta del codice. Non vede ancora bene come le stanze si collegano tra loro (le chiamate tra diverse funzioni).
• Futuro: Gli autori vogliono migliorare la mappa per vedere l'intero edificio, spiegare meglio perché il modello prende certe decisioni (così gli umani possono fidarsi di più) e insegnargli a riconoscere errori in molti altri tipi di software, non solo in quello crittografico.

In Sintesi

FPPredictor è un filtro intelligente che aiuta gli sviluppatori a non impazzire con gli allarmi falsi. Invece di dover controllare 100 allarmi a caso, il modello ti dice: "Ehi, di questi 100, 90 sono falsi allarmi, concentrati solo su questi 10". E, cosa ancora più importante, a volte ti avvisa di pericoli che nemmeno gli altri avevano visto.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "FPPredictor – False Positive Prediction for Static Analysis Reports" in italiano.

Titolo e Obiettivo

Il paper presenta FPPredictor, un modello di apprendimento automatico basato su Reti Neurali Convoluzionali su Grafi (GCN) progettato per ridurre il tasso di falsi positivi negli strumenti di Static Application Security Testing (SAST), in particolare per quanto riguarda l'uso errato delle API crittografiche in Java.

1. Il Problema

Gli strumenti SAST sono fondamentali per rilevare vulnerabilità nel codice sorgente, ma soffrono di un alto tasso di falsi positivi. Questo genera diversi problemi critici:

• Spreco di risorse: Gli sviluppatori dedicano tempo significativo a investigare allarmi infondati.
• Erosione della fiducia: L'eccesso di falsi allarmi riduce la fiducia degli sviluppatori negli strumenti automatizzati.
• Limiti degli approcci attuali: Gli strumenti esistenti si basano spesso su regole o pattern matching che faticano a distinguere tra vulnerabilità reali e usi sicuri ma complessi delle API, specialmente nel dominio crittografico dove gli errori sono frequenti (fino all'85-88% delle applicazioni analizzate).

L'obiettivo è quindi creare un sistema in grado di filtrare i report SAST, aiutando gli sviluppatori a concentrarsi solo sulle vulnerabilità reali (True Positives).

2. Metodologia

L'approccio proposto combina l'analisi statica avanzata con il Deep Learning su grafi:

• Input e Rappresentazione (Code Property Graphs - CPG):

  • Il modello non analizza il codice grezzo, ma utilizza i Code Property Graphs (CPG) generati dallo strumento di analisi statica SootUp.
  • I CPG unificano tre rappresentazioni fondamentali del programma:
    1. AST (Abstract Syntax Tree): Struttura sintattica.
    2. CFG (Control Flow Graph): Percorsi di esecuzione e condizioni.
    3. PDG (Program Dependence Graph): Dipendenze di dati e controllo.
  • Ogni nodo del grafo rappresenta una dichiarazione o un'istruzione e viene arricchito con:
    • Codice Jimple vettorizzato: Utilizzando un modello pre-addestrato Word2Vec per catturare il contesto semantico.
    • Codifica del tipo di nodo: One-hot encoding per il tipo di istruzione (es. assegnazione, chiamata).
    • Flag di violazione: Un indicatore binario che segnala se il nodo corrisponde alla violazione riportata dallo strumento SAST.

• Modello di Apprendimento (GCN):

  • Viene utilizzata una Graph Convolutional Network (GCN) per aggregare le informazioni dai nodi vicini, apprendendo rappresentazioni gerarchiche delle dipendenze sintattiche, di controllo e di dati.
  • L'output è un punteggio di probabilità (tramite un layer sigmoide) che indica la fiducia del modello nel fatto che un report sia un falso positivo.
  • Una soglia di decisione (es. 0.8) classifica il report come falso positivo (se > 0.8) o vero positivo.

• Dataset e Addestramento:

  • Il modello è stato addestrato sul dataset CamBenchCAP, che contiene file Java etichettati come vulnerabili o sicuri, con ground truth definiti.
  • È stato utilizzato uno split 80/20 per addestramento e test.

3. Contributi Chiave

1. FPPredictor: Un modello GCN specifico per la classificazione dei report SAST (falso vs vero positivo) basato su CPG.
2. Integrazione SAST-ML: Dimostrazione pratica dell'uso di CogniCrypt (uno strumento SAST per Java) come generatore di input per il modello ML.
3. Validazione Rigorosa: Non solo metriche automatiche, ma un'analisi qualitativa approfondita che ha rivelato discrepanze tra il ground truth dei benchmark e la realtà della sicurezza.
4. Riduzione dei Falsi Positivi: Un approccio post-processing per filtrare i risultati degli strumenti SAST esistenti.

4. Risultati e Discussione

I risultati sono stati valutati su due fronti:

• Performance su CamBenchCAP (Set di Addestramento/Test):

  • Accuratezza del 100% sul set di test, dimostrando la capacità del modello di generalizzare le variazioni sintetiche presenti nel dataset di addestramento.

• Performance su CryptoAPI-Bench (Set di Validazione Esterna):

  • Valutazione Iniziale (Automatica): Sembra inizialmente deludente. Su 27 falsi positivi riportati da CogniCrypt, il modello ne ha correttamente identificato solo 1 (accuratezza ~3.7% sul sottoinsieme FP). Tuttavia, ha identificato correttamente 89 su 91 veri positivi (97.8%).
  • Valutazione Qualitativa (Ispezione Manuale): Un'analisi approfondita ha rivelato che molti dei casi etichettati come "falsi positivi" dal benchmark CryptoAPI-Bench contenevano in realtà pratiche crittografiche insicure o pattern di rischio (es. uso di modalità CBC senza integrità, semi prevedibili).
  • Rivalutazione: Dopo aver corretto il ground truth in base all'ispezione manuale (riconoscendo che il modello aveva ragione a segnalare rischi), l'accuratezza sul sottoinsieme dei falsi positivi è salita al 85.2% (23 su 27 casi).
  • Accuratezza Complessiva: L'accuratezza totale del modello, considerando la corretta interpretazione dei rischi, raggiunge il 96.6%.

5. Significato e Limiti

• Significato: Il lavoro dimostra che i modelli basati su grafi possono apprendere un ragionamento di sicurezza "conservativo". Spesso, ciò che i benchmark etichettano come sicuro è in realtà una cattiva pratica (bad practice) che un esperto di sicurezza identificherebbe come rischiosa. FPPredictor cattura queste sfumature meglio delle etichette statiche dei benchmark.
• Limiti:
  • Dipendense Interprocedurali: L'attuale rappresentazione CPG non cattura le chiamate tra metodi o classi diverse (missing interprocedural connections), limitando l'analisi di vulnerabilità complesse che attraversano i confini dei metodi.
  • Dimensione del Dataset: Il dataset di addestramento è relativamente piccolo (431 casi etichettati), il che potrebbe limitare la generalizzazione su scenari non visti.
  • Qualità del Ground Truth: La valutazione ha evidenziato che alcuni benchmark (come CryptoAPI-Bench) contengono etichette obsolete o discutibili rispetto alle migliori pratiche di sicurezza moderne.

6. Lavori Futuri

Gli autori pianificano di:

• Integrare i call graph nei CPG per gestire le dipendenze interprocedurali.
• Applicare tecniche di explainability (spiegabilità) per capire quali nodi del grafo guidano le decisioni del modello.
• Espandere il training su più strumenti SAST e domini diversi per migliorare la generalizzazione.

In conclusione, FPPredictor si presenta come una soluzione promettente per trasformare i flussi di lavoro SAST, passando da un elenco grezzo di allarmi a una lista filtrata e prioritizzata di vulnerabilità reali, riducendo il carico cognitivo sugli sviluppatori.