FP-Predictor - False Positive Prediction for Static Analysis Reports

Dit paper introduceert FP-Predictor, een op Graph Convolutional Networks gebaseerd model dat Code Property Graphs gebruikt om de hoge rate van false positives in statische beveiligingstests (SAST) te verminderen, waarbij het een testnauwkeurigheid van 100% en een praktische nauwkeurigheid van 96,6% bereikte.

De kern

🕵️‍♂️ FPPredictor: De Slimme Filter voor Software-bugs

Stel je voor dat je een enorme berg brieven hebt ontvangen. Deze brieven zijn allemaal geschreven door een robot genaamd CogniCrypt. Deze robot is een "veiligheidsinspecteur" die door miljoenen regels computercode loopt op zoek naar fouten (bugs) die hackers kunnen misbruiken.

Het probleem? De robot is extreem paranoïde. Hij schreeuwt "Gevaar!" bij bijna elke kleine onzekerheid.

• Soms heeft hij gelijk (een echte gevaarlijke bug).
• Maar heel vaak schreeuwt hij "Gevaar!" terwijl er helemaal niets aan de hand is. Dit noemen we vals-positieven (false positives).

Voor programmeurs is dit een nachtmerrie. Ze moeten elke "alarm" handmatig controleren. Het is alsof je een brandweerman bent die 90% van de tijd uitrukt voor een verbrande boterham in plaats van een echt brandend huis. Het kost tijd, geld en vertrouwen.

FPPredictor is de oplossing die de auteurs van dit paper hebben bedacht. Het is een slimme AI-assistent die de brieven van de robot inspecteert en zegt: "Hee, dit is waarschijnlijk een nep-alarm, laat dit maar liggen. Kijk hier, dit is een echt gevaar."

---

🧠 Hoe werkt deze slimme assistent?

In plaats van alleen naar de tekst te kijken, laat FPPredictor de code zien als een gigantisch, driedimensionaal web (een grafiek).

1. Het Web van de Code (CPG):
   Stel je voor dat elke regel code een knooppunt is in een web. De lijnen tussen de knooppunten laten zien hoe de code met elkaar praat.

   • Sommige lijnen laten zien hoe de code eruitziet (de structuur).
   • Andere lijnen laten zien welke knop je eerst moet indrukken (de volgorde).
   • Weer andere lijnen laten zien welke gegevens waar naartoe vliegen (de logica).
     FPPredictor kijkt naar dit hele web tegelijk, niet alleen naar één losse zin.

2. De Oefening (Training):
   De AI is getraind met een speciale "oefenpakket" genaamd CamBenchCAP. Dit is een verzameling van voorbeelden waar de auteurs precies weten: "Dit is een echte bug" en "Dit is een nep-alarm".
   De AI heeft deze voorbeelden bestudeerd en leert patronen te herkennen. Het is alsof je een detective opleidt met duizenden foto's van echte misdaden en onschuldige situaties, tot hij het verschil kan zien.

3. De Test (Het Resultaat):
   Toen ze de AI testten op een nieuwe, onbekende berg brieven (CryptoAPI-Bench), gebeurde er iets interessants:

   • Op het eerste gezicht: De AI leek niet zo goed te werken. Hij zag veel "nep-alarmen" van de robot als "echte gevaarlijke situaties". De statistieken zagen er slecht uit.
   • Naar de diepte kijken: Toen de auteurs de resultaten handmatig controleerden, ontdekten ze iets verrassends. De AI had vaak meer gelijk dan de benchmark zelf.
     • De benchmark (de "antwoordenlijst") dacht dat een stukje code veilig was.
     • De AI dacht: "Nee, dat is niet veilig, dat is een slechte gewoonte die hackers kunnen misbruiken."
     • Bij nadere inspectie bleek de AI vaak gelijk te hebben! De code was inderdaad riskant, maar de benchmark had het gemist.

---

🏆 De Les: Soms is de AI slimmer dan de Mensen

Het meest fascinerende deel van dit verhaal is dat de AI een conservatieve houding heeft aangeleerd.
Stel je voor dat je een veiligheidscontroleur bent op een vliegveld.

• De "oude" regels zeggen: "Als iemand een mes heeft, is het gevaarlijk. Als iemand een boterhammesje heeft, is het veilig."
• De AI zegt: "Wacht even, dat boterhammesje is ook scherp. Laten we het maar als gevaarlijk behandelen om zeker te zijn."

In de wereld van softwarebeveiliging is het beter om veiligheid te verkiezen boven gemak. Als de AI een "vals-positief" van de robot als "echt gevaar" ziet, betekent dit vaak dat de AI een subtiel risico heeft gevonden dat de menselijke regels (of de benchmark) over het hoofd zagen.

De cijfers:

• De AI kon 96,6% van de gevallen correct beoordelen (na rekening te houden met de nieuwe inzichten).
• Hij helpt programmeurs om te stoppen met het controleren van nep-alarmen en zich te focussen op de echte gevaarlijke situaties.

🔮 Wat komt er nog?

De auteurs geven toe dat hun AI nog niet perfect is:

• De Blinde Vlek: De AI kijkt momenteel vooral naar één stukje code tegelijk. Hij ziet niet altijd hoe dat stukje code praat met andere stukken code in een ander bestand (zoals een gesprek tussen twee mensen in verschillende kamers).
• Toekomstplannen: Ze willen de AI leren om ook die "interne gesprekken" te horen en beter uit te leggen waarom hij iets als gevaarlijk ziet (zodat mensen het kunnen vertrouwen).

📝 Samenvatting in één zin

FPPredictor is een slimme AI die helpt om de overvloed aan nep-waarschuwingen van software-veiligheidstools te filteren, zodat programmeurs hun tijd kunnen besteden aan het oplossen van de echte, gevaarlijke problemen in hun code.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FPPredictor – False Positive Prediction for Static Analysis Reports", geschreven in het Nederlands.

Probleemstelling

Static Application Security Testing (SAST) tools zijn essentieel in moderne softwareontwikkeling voor het automatisch detecteren van kwetsbaarheden in broncode. Een groot nadeel van deze tools is echter de hoge mate van false positives (vals-positieve meldingen). Dit leidt tot:

• Verspilling van ontwikkeltijd en middelen bij het onderzoeken van onschuldige waarschuwingen.
• Een afname van het vertrouwen in geautomatiseerde beveiligingstools.
• Vertraagde remediatie van echte kwetsbaarheden.

Bestaande SAST-tools (zoals CogniCrypt) vertrouwen vaak op regelgebaseerde of patroonherkenningsmethoden die moeite hebben om complexe relaties in code te begrijpen om te bepalen of een melding echt uitbuitbaar is. Het paper richt zich specifiek op het probleem van het onderscheiden tussen echte en valse meldingen bij het misbruik van cryptografische API's.

Methodologie

De auteurs presenteren FPPredictor, een machine learning-model gebaseerd op Graph Convolutional Networks (GCN). De aanpak bestaat uit de volgende stappen:

1. Data Representatie (Code Property Graphs - CPG):

   • In plaats van ruwe code te gebruiken, worden Code Property Graphs (CPG) geconstrueerd voor elke gerapporteerde kwetsbaarheid.
   • Een CPG is een geïntegreerde grafische representatie die drie fundamentele structuren combineert:
     • AST (Abstract Syntax Tree): Voor syntactische structuur.
     • CFG (Control Flow Graph): Voor controle-flow en uitvoeringspaden.
     • PDG (Program Dependence Graph): Voor data- en controle-afhankelijkheden.
   • Deze grafen worden gegenereerd met het framework SootUp voor Java-code.

2. Feature Extractie:
   Elke knoop in de CPG wordt verrijkt met drie soorten features:

   • Vectorized Jimple Code: De Jimple-statement (intermediaire representatie) wordt gecodeerd met een vooringestelde Word2Vec-modellen om syntactische en contextuele relaties te vangen.
   • Node Type Encoding: Het type knoop (toewijzing, call, controle-flow) wordt one-hot gecodeerd.
   • Violation Flag: Een binaire indicator die aangeeft of de knoop de gerapporteerde schending vertegenwoordigt.

3. Model Training:

   • Het GCN-model aggregatieert informatie van naburige knopen om hiërarchische representaties van code-semantiek te leren.
   • De output is een sigmoid-score tussen 0 en 1, die de waarschijnlijkheid aangeeft dat een melding een false positive is.
   • Een drempelwaarde van 0.8 wordt gebruikt: scores hierboven worden als false positive geclassificeerd, scores eronder als true positive.
   • Training Data: Het model is getraind op het CamBenchCAP dataset (431 gelabelde gevallen, 80/20 split).

Kernbijdragen

• FPPredictor: Een nieuw GCN-model specifiek ontworpen om false positives in SAST-rapporten te voorspellen, in plaats van kwetsbaarheden direct vanuit de code te voorspellen.
• Integratie van CPGs: Het effectief toepassen van Code Property Graphs om zowel structurele als semantische relaties in cryptografische code te modelleren voor classificatiedoeleinden.
• Kwalitatieve Validatie: Een diepgaande inspectie die aantoont dat het model soms "fouten" maakt die eigenlijk correcte, conservatieve beveiligingsredeneringen zijn, wat het nut van het model voor het filteren van meldingen onderstreept.

Resultaten

De evaluatie vond plaats op twee niveaus:

1. CamBenchCAP (Trainingsset):

   • Het model behaalde 100% nauwkeurigheid op de testset van CamBenchCAP. Dit toont aan dat het model de variaties in synthetisch gegenereerde kwetsbaarheden goed leert herkennen.

2. CryptoAPI-Bench (Generalisatie-evaluatie):

   • Bij een eerste, automatische evaluatie leek het model zwak op false positives (alleen 1 van de 27 correct voorspeld, 3.7% nauwkeurigheid), terwijl het bij true positives goed presteerde (97.8%).
   • Cruciale Manuele Inspectie: Na gedetailleerde handmatige inspectie bleek dat veel gevallen die door de benchmark als "veilig" (false positive) waren gelabeld, in werkelijkheid onveilige coderingspatronen of slechte cryptografische praktijken bevatten (bijv. het gebruik van CBC-modus zonder integriteitsbescherming of voorspelbare seeds).
   • Gecorrigeerde Resultaten: Na rekening te houden met deze nieuwe inzichten (waarbij het model conservatiever en veiliger oordeelde dan de benchmark), steeg de effectieve nauwkeurigheid op de false-positive subset naar 85,2%.
   • De totale nauwkeurigheid van FPPredictor bedraagt na deze herwaardering 96,6%. Zelfs zonder het aanpassen van de benchmark-labels voor twijfelachtige gevallen blijft de nauwkeurigheid hoog (94,1%).

Betekenis en Toekomstperspectief

• Praktische Toepassing: FPPredictor bewijst dat machine learning, gevoed met CPGs, effectief kan worden ingezet als een post-processing stap om SAST-rapporten te sorteren en te filteren. Dit helpt ontwikkelaars zich te concentreren op echte bedreigingen.
• Conservatieve Redenering: Het model neigt ertoe conservatiever te zijn dan bestaande benchmarks, wat in de beveiligingswereld vaak wenselijk is om echte risico's niet te missen.
• Beperkingen:
  • Het huidige model mist interprocedurale verbindingen (call graphs), wat de analyse van complexe, cross-contextuele kwetsbaarheden beperkt.
  • De trainingdata is beperkt (431 gevallen), wat de generalisatie naar andere tools of domeinen kan beïnvloeden.
• Toekomstig Werk: De auteurs plannen het integreren van call graphs, het toepassen van graph-explainability-technieken om de beslissingen van het model te verklaren, en het uitbreiden van de training naar meerdere SAST-tools en domeinen.

Samenvattend biedt FPPredictor een veelbelovende oplossing voor het "ruis"-probleem in statische analyse, waarbij het model niet alleen meldingen filtert, maar ook een dieper, contextueel veiligheidsbegrip toont dat soms zelfs de bestaande benchmarks overtreft.