FP-Predictor - False Positive Prediction for Static Analysis Reports

Diese Arbeit stellt FP-Predictor vor, ein auf Graph Convolutional Networks basierendes Modell, das mithilfe von Code Property Graphs und dem CamBenchCAP-Datensatz mit bis zu 100 % Genauigkeit False Positives in statischen Sicherheitsanalysen identifiziert und dabei auch echte Sicherheitslücken als solche erkennt.

Das Wesentliche

🕵️‍♂️ Die Geschichte vom überängstlichen Sicherheitsdetektiv

Stell dir vor, du hast einen sehr fleißigen, aber etwas paranoiden Sicherheitsdetektiv namens CogniCrypt. Er arbeitet in einer riesigen Bibliothek (deinem Computercode) und sucht nach Dieben (Schwachstellen in der Software).

Das Problem: CogniCrypt ist so vorsichtig, dass er fast jeden verdächtigen Blick als Diebstahl meldet.

• Jemand hat eine Tür nur leicht angelehnt? -> Alarm! (Obwohl es vielleicht nur ein Lüftungsschacht ist).
• Jemand hat einen Schlüssel auf den Tisch gelegt? -> Alarm! (Obwohl er ihn gleich wieder aufhebt).

Das nennt man im Fachjargon „False Positives" (falsche Alarme). Für die Entwickler ist das ein Albtraum. Sie müssen sich den ganzen Tag mit diesen falschen Alarmen herumschlagen, anstatt die echten Diebe zu fangen. Das kostet Zeit, Nerven und Vertrauen.

🤖 Enter: FPPredictor (Der zweite, klügeren Detektiv)

Hier kommt FPPredictor ins Spiel. Das ist ein künstliches Intelligenz-Modell, das von Forschern der Universität Paderborn entwickelt wurde.

Stell dir FPPredictor nicht als einen neuen Detektiv vor, der selbst sucht, sondern als einen sehr erfahrenen Mentor, der neben CogniCrypt sitzt.

1. CogniCrypt schreit: „Da ist ein Dieb!"
2. FPPredictor schaut sich den Fall genauer an und sagt: „Moment mal. Ist das wirklich ein Dieb oder nur ein falscher Alarm?"

Wie lernt FPPredictor das? (Der Bauplan)

Normalerweise schauen sich Computerprogramme Code nur als Textzeilen an. Das ist wie wenn man ein Haus nur von der Straße aus betrachtet. FPPredictor macht etwas anderes: Es baut ein 3D-Modell des Hauses (einen sogenannten Code Property Graph oder CPG).

• Es sieht nicht nur die Wände (den Code), sondern auch, wie die Türen verbunden sind (Kontrollfluss), wo die Wasserrohre liegen (Datenabhängigkeiten) und wie die Zimmer angeordnet sind.
• Mit diesem detaillierten 3D-Modell kann FPPredictor viel besser verstehen, ob eine Situation wirklich gefährlich ist oder nur harmlos aussieht.

🧪 Der Test: Die große Prüfung

Die Forscher haben FPPredictor trainiert, indem sie ihm Tausende von Beispielen zeigten: „Hier ist ein echter Dieb, hier ist ein falscher Alarm."

• Im Training: FPPredictor war ein Wunderkind. Er hatte 100 % Trefferquote.
• In der echten Welt (CryptoAPI-Bench): Hier wurde es schwieriger. Als man ihn an einem neuen Datensatz testete, sah es auf den ersten Blick so aus, als würde er versagen. Er sagte bei vielen „falschen Alarmen" von CogniCrypt: „Nein, das ist doch ein echter Dieb!"

🔍 Das große „Aha!"-Erlebnis (Die menschliche Überprüfung)

Aber dann passierte etwas Spannendes. Die Forscher schauten sich die Fälle an, bei denen FPPredictor und der ursprüngliche Test (das „Ground Truth") nicht übereinstimmten.

Sie stellten fest: FPPredictor hatte oft recht, und der Test hatte unrecht!

Die Analogie:
Stell dir vor, CogniCrypt meldet: „Jemand hat einen Schlüssel auf den Tisch gelegt."
Der alte Test sagt: „Kein Problem, das ist sicher."
FPPredictor sagt: „Alarm! Das ist unsicher!"

Bei genauerem Hinsehen (manuelle Prüfung) merkten die Forscher: Ja, der Schlüssel lag auf dem Tisch. Das ist zwar vielleicht nicht der Dieb des Jahrhunderts, aber es ist schlechte Praxis. In der Welt der Kryptografie (Verschlüsselung) ist so etwas wie ein „vorhersehbarer Schlüssel" (z. B. ein fester Code statt eines zufälligen) wie ein Schloss, das man mit einem Spitzhacke öffnen kann.

FPPredictor war also nicht „falsch", sondern vorsichtiger und sicherer als der alte Test. Er hatte gelernt, dass man bei Sicherheitsfragen lieber auf Nummer sicher gehen soll.

📊 Das Ergebnis

Nachdem man die Fälle, bei denen FPPredictor „zu streng" war, neu bewertet hatte, sah das Ergebnis ganz anders aus:

• Die Genauigkeit stieg von scheinbar miserablen Werten auf über 96 %.
• FPPredictor half dabei, die echten Probleme von den harmlosen Fehlalarmen zu trennen.

🚀 Was bedeutet das für die Zukunft?

FPPredictor ist wie ein Filter oder ein Türsteher für Sicherheitsberichte.

• Statt dass ein Entwickler 100 Alarme durchgehen muss, filtert FPPredictor die 80 harmlosen Alarme heraus.
• Der Entwickler kann sich dann auf die 20 Alarme konzentrieren, die wirklich wichtig sind.

Die Grenzen:
Das System ist noch nicht perfekt. Es versteht manchmal komplexe Zusammenhänge zwischen verschiedenen Programmbereichen noch nicht ganz so gut (wie wenn ein Dieb durch ein Fenster in ein anderes Haus klettert). Aber es ist ein riesiger Schritt in die richtige Richtung.

Zusammenfassung in einem Satz

FPPredictor ist ein KI-Assistent, der hilft, die nervigen „falschen Alarme" von Sicherheits-Software zu entfernen, indem er den Code wie ein 3D-Modell analysiert und oft sogar sicherer denkt als die alten Testmethoden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „FPPredictor – False Positive Prediction for Static Analysis Reports" auf Deutsch:

1. Problemstellung

Static Application Security Testing (SAST) ist ein wesentlicher Bestandteil moderner Softwareentwicklungsprozesse, um Schwachstellen im Quellcode automatisch zu erkennen. Ein zentrales Problem ist jedoch die hohe Rate an False Positives (falsch positiven Warnungen).

• Folgen: Entwickler verbringen erhebliche Zeit damit, diese Fehlalarme zu untersuchen und zu verwerfen. Dies verzögert die Behebung echter Schwachstellen, erhöht die Kosten und untergräbt das Vertrauen in automatisierte Sicherheitstools.
• Ursache: Viele SAST-Tools basieren auf regelbasierten oder musterbasierten Techniken, die komplexe semantische und strukturelle Zusammenhänge im Code oft nicht ausreichend differenzieren können, um zu bestimmen, ob eine gemeldete Schwachstelle tatsächlich ausnutzbar ist.
• Ziel: Die Arbeit zielt darauf ab, Entwicklern zu helfen, sich auf echte Schwachstellen zu konzentrieren, indem ein Modell entwickelt wird, das automatisch zwischen False Positives und True Positives in SAST-Berichten unterscheidet.

2. Methodik

Das vorgestellte System, FPPredictor, nutzt einen maschinellen Lernansatz auf Basis von Graph Neural Networks (GNNs).

• Modellarchitektur: Es wird ein Graph Convolutional Network (GCN) verwendet.
• Eingaberepräsentation (Code Property Graphs - CPGs):
  • Anstelle von rohem Code werden Code Property Graphs (CPGs) als Eingabe genutzt. Diese werden mit dem Framework SootUp aus dem Java-Quellcode generiert.
  • Ein CPG vereint drei fundamentale Graph-Strukturen in einer einheitlichen Darstellung:
    1. AST (Abstract Syntax Tree): Erfasst die syntaktische Struktur.
    2. CFG (Control Flow Graph): Modelliert Kontrollfluss und Ausführungspfade.
    3. PDG (Program Dependence Graph): Beschreibt Daten- und Kontrollabhängigkeiten.
  • Für jede gemeldete Verletzung wird ein CPG des entsprechenden Methods erstellt, wobei der Knoten der Verletzung als Fokuspunkt markiert wird.
• Feature-Extraktion: Jeder Knoten im CPG wird mit drei Feature-Typen angereichert:
  1. Vektorisierter Jimple-Code: Der Rohcode (Jimple-Statement) wird mittels eines vortrainierten Word2Vec-Modells kodiert, um syntaktische und kontextuelle Beziehungen zu erfassen.
  2. Knotentyp-Encoding: Eine One-Hot-Kodierung des Knotentyps (z. B. Zuweisung, Aufruf, Kontrollfluss).
  3. Verletzungs-Flag: Ein binärer Indikator, ob der Knoten der gemeldeten Verletzung entspricht.
• Training und Vorhersage:
  • Das Modell aggregiert Informationen von Nachbarknoten, um hierarchische Repräsentationen der Code-Semantik zu lernen.
  • Eine Sigmoid-Ausgabeschicht liefert einen Score zwischen 0 und 1 (Wahrscheinlichkeit für einen False Positive).
  • Ein Schwellenwert von 0,8 wird verwendet: Scores darüber werden als False Positive klassifiziert, darunter als True Positive.

3. Wichtige Beiträge

• FPPredictor: Ein trainiertes Modell zur Vorhersage von Warnungen bei Java-Kryptografie-API-Missbräuchen.
• Neuer Anwendungsbereich: Im Gegensatz zu früheren GNN-Ansätzen, die direkt Schwachstellen im Code vorhersagen, fokussiert sich diese Arbeit auf die Klassifizierung von SAST-Berichten. Dies ermöglicht das Sortieren und Filtern von Warnungen.
• Verwendung von CogniCrypt: Das Tool nutzt CogniCrypt als repräsentatives SAST-Tool, um die Eingabedaten für FPPredictor zu generieren.
• Qualitative Analyse: Eine detaillierte manuelle Überprüfung der Ergebnisse zeigt, dass das Modell oft konservativ und sicherheitsbewusst urteilt, selbst wenn es von den Benchmark-Ground-Truths abweicht.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte in zwei Schritten:

• Trainings- und Testdaten (CamBenchCAP):

  • Das Modell wurde auf dem CamBenchCAP-Datensatz trainiert (80/20 Split).
  • Ergebnis: 100 % Genauigkeit auf dem Testset. Dies zeigt die Fähigkeit des Modells, die im Datensatz synthetisch erzeugten Variationen von Schwachstellen zu generalisieren.

• Generalisierungstest (CryptoAPI-Bench):

  • Das Modell wurde auf einem externen Benchmark, CryptoAPI-Bench, getestet, um die Generalisierungsfähigkeit zu prüfen.
  • Anfängliche automatische Auswertung: Das Ergebnis schien zunächst enttäuschend, insbesondere bei der Erkennung von False Positives (nur ca. 3,7 % Genauigkeit auf der False-Positive-Subset).
  • Manuelle Inspektion und Neubewertung: Eine tiefgehende manuelle Analyse offenbarte, dass der Benchmark (CryptoAPI-Bench) veraltete Ground-Truths enthält. Viele Fälle, die als „sicher" (False Positive) markiert waren, enthielten tatsächlich unsichere Kryptografie-Praktiken (z. B. ungeschützte Schlüssel, CBC-Modus ohne Integritätsschutz, deterministische Seeds).
  • Korrigierte Ergebnisse:
    • Das Modell identifizierte viele dieser „falsch sicheren" Fälle korrekt als potenzielle Schwachstellen.
    • Nach Anpassung der Bewertung basierend auf der manuellen Inspektion stieg die effektive Genauigkeit auf der False-Positive-Subset von 3,7 % auf 85,2 %.
    • Die Gesamtgenauigkeit (True + False Positives) beträgt 96,6 %.

5. Bedeutung und Limitationen

• Bedeutung: FPPredictor demonstriert, dass GCNs basierend auf CPGs effektiv eingesetzt werden können, um False Positives in SAST-Tools zu filtern. Das Modell zeigt eine Fähigkeit, konservativere Sicherheitsstandards zu lernen, als sie in manchen Benchmarks definiert sind, und hilft somit, echte Risiken nicht zu übersehen.
• Limitationen:
  • Interprozedurale Abhängigkeiten: Die aktuelle CPG-Repräsentation erfasst keine Aufrufgraphen (Call Graphs) über Methodengrenzen hinweg. Dies kann die Erkennung komplexer, kontextübergreifender Schwachstellen einschränken.
  • Datengröße: Der Trainingsdatensatz ist relativ klein (431 gelabelte Fälle), was die Robustheit einschränken könnte.
  • Benchmark-Qualität: Die Ergebnisse hängen stark von der Qualität der Ground-Truths der verwendeten Benchmarks ab, die teilweise veraltet sein können.
• Zukunftsausblick: Geplant ist die Integration von Aufrufgraphen, die Anwendung von Graph-Explainability-Techniken zur Erklärbarkeit der Entscheidungen und die Erweiterung des Trainings auf mehrere SAST-Tools und Domänen.

Fazit: FPPredictor ist ein vielversprechender Ansatz, um die Effizienz von SAST-Workflows zu steigern, indem er Entwicklern hilft, sich auf die wahrscheinlichsten echten Sicherheitslücken zu konzentrieren, und dabei auch als Post-Processing-Schritt für Tools wie CogniCrypt dienen kann.