Learning to Triage Vulnerability Reports from Program Analysis: An Empirical Study in Node.js

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einige wenige spezifische, gefährliche Kriminelle zu finden, die sich in einer riesigen, chaotischen Stadt verstecken. In der Welt der Software ist diese Stadt das Internet, und die Kriminellen sind „Schwachstellen“ – verborgene Fehler, die es Hacker ermöglichen, die Kontrolle über ein Programm zu übernehmen. Um sie zu finden, verwenden wir automatisierte Werkzeuge namens „Programmanalyse“-Scanner. Stellen Sie sich diese Scanner als eine Flotte von Hightech-Drohnen vor, die über die Stadt fliegen und Fotos von jeder einzelnen Straßenecke machen. Das Problem ist, dass diese Drohnen so gründlich sind, dass sie Millionen von Fotos machen, von denen die meisten nur Bilder von unschuldigen Menschen zeigen, die gerade einen Kaffee kaufen. Diese unschuldigen Fotos werden als „Fehlalarme“ bezeichnet.

Sicherheitsanalysten sind die Detektive, die diese Fotos sichten müssen, um zu entscheiden, welche davon tatsächlich einen Kriminellen zeigen. Aber das Betrachten von Millionen von Fotos ist unmöglich; es kostet zu viel Zeit und Geld. Wenn die Drohnen zu viele Fehlalarme senden, werden die Detektive frustriert und hören auf, die Drohnen überhaupt noch zu benutzen. Diese Arbeit stellt eine einfache, aber entscheidende Frage: Können wir einem intelligenten Computer (mittels maschinellem Lernen) beibringen, zuerst die Fotos der Drohne zu betrachten, sie zu sortieren und nur diejenigen an die Detektive weiterzugeben, die am wahrscheinlichsten echte Verbrechen zeigen? Das Ziel ist nicht, den Detektiv zu ersetzen, sondern ihm eine „Prioritätenliste“ zu geben, damit er keine Zeit mit den Fotos vom Kaffeekaufen verschwendet.

Der neue Assistent des Detektivs

In dieser Studie konzentrierten sich die Forscher auf eine spezifische Art von Software namens Node.js, die wie ein populärer Motor ist, der viele Websites und Apps antreibt. Sie untersuchten eine spezifische Art von Verbrechen: Arbitrary Code Execution (ACE) und Arbitrary Command Injection (ACI). Auf Deutsch gesagt: Dies sind Wege, wie ein Hacker ein Programm dazu bringen kann, seine eigenen bösartigen Befehle auszuführen, etwa indem er den Computer anweist, seine eigenen Dateien zu löschen oder Passwörter zu stehlen.

Die Forscher begannen mit einem Tool namens NodeMedic-FINE. Stellen Sie sich dieses Tool als eine superintelligente Drohne vor, die nicht nur ein Foto macht, sondern auch versucht, das Verbrechen in einer sicheren, virtuellen Sandbox zu simulieren. Wenn die Drohne die Software in der Sandbox erfolgreich „hacken“ kann, bestätigt dies, dass die Schwachstelle echt ist. Die Drohne ist jedoch unvollkommen. Sie bleibt oft stecken, wenn sie versucht, komplexe Verbrechen zu simulieren, und gibt dann auf, wodurch ein Haufen von „Vielleicht“-Berichten zurückbleibt. Zudem wird sie manchmal durch unschuldigen Code verwirrt, der zwar verdächtig aussieht, aber nicht gefährlich ist.

Um dies zu lösen, entwickelte das Team einen massiven Datensatz namens Triage-JS, der 1.883 Node.js-Pakete enthält. Für jedes einzelne Paket hat ein menschlicher Experte (ein erfahrener Detektiv) den „Vielleicht“-Bericht der Drohne gesichtet und entschieden: „Ist das ein echtes Verbrechen oder nur ein Fehlalarm?“ Dadurch wurde ein Goldstandard-Trainingsdatensatz erstellt.

Das Training der KI zur Triage

Die Forscher trainierten daraufhin verschiedene Arten von „KI-Detektiven“, um von diesen menschlichen Entscheidungen zu lernen. Sie testeten drei Hauptansätze:

1. Die Graph-Experten (GNNs und klassisches ML): Diese Modelle betrachteten den „Provenanz-Graphen“, der wie ein Flussdiagramm funktioniert und genau zeigt, wie Daten durch den Code fließen. Sie behandelten den Code wie eine Landkarte und suchten nach spezifischen Bewegungsmustern, die normalerweise zu einem Verbrechen führen.
2. Die Sprach-Experten (LLMs): Dies sind dieselben Arten von KI, die Geschichten schreiben oder mit Ihnen chatten. Ihnen wurden die tatsächlichen Code-Schnipsel vorgelegt, und sie wurden gebeten, sie wie ein Mensch zu lesen, um die „Geschichte“ dahinter zu finden, wie ein Hacker das System ausnutzen könnte.
3. Das Hybrid-Team: Eine Kombination aus den Karten-lesenden Experten und den Geschichten-lesenden Experten.

Die Ergebnisse: Wer gewinnt das Rennen?

Die Ergebnisse waren sehr eindeutig und überraschend effektiv.

• Der alte Weg: Die Drohne (NodeMedic-FINE) allein hatte einen Genauigkeitswert (einen sogenannten F1-Score) von 0,676. Das war okay, aber sie übersah viele echte Verbrechen und meldete zu viele harmlose Vorgänge.
• Die Graph-Experten: Die Modelle, die nur die Flussdiagramme betrachteten, schnitten deutlich besser ab und erreichten einen Wert von 0,904. Sie waren exzellent darin, die strukturellen Muster eines Verbrechens aufzuspüren.
• Die Sprach-Experten: Die KI, die den Code wie eine Geschichte las, schnitt am besten ab. Das Top-Modell, eine fein abgestimmte Version von DS-Distill-Qwen-7B, erreichte einen Wert von 0,915.

Die Arbeit legt nahe, dass die „Sprach-Experten“ zwar am genauesten waren, die „Graph-Experten“ (speziell ein Modell namens XGBoost) jedoch fast genauso gut, aber viel schneller und kostengünstiger im Betrieb waren.

Warum das wichtig ist: Die „90%-Regel“

Die spannendste Erkenntnis ist nicht nur die hohe Punktzahl, sondern die Frage, wie viel Arbeit dadurch eingespart wird. Die Forscher fragten: „Wenn wir 90 % aller echten Verbrechen erfassen wollen, wie viele unschuldige Fotos müssen wir dann wegwerfen?“

Als die KI darauf abgestimmt wurde, 90 % der echten Bedrohungen zu erfassen, konnte sie 75 % der Fehlalarme aus der Liste eliminieren, die die menschlichen Analysten prüfen mussten. In der realen Welt bedeutet dies, dass ein Sicherheitsteam aufhören kann, auf einen Berg von „Vielleicht“-Berichten zu starren, und sich statenstatt dessen auf einen viel kleineren, qualitativ hochwertigeren Stapel von „wahrscheinlichen“ Bedrohungen konzentrieren kann.

Die Studie fand auch heraus, dass diese KI-Modelle sehr gut darin sind, die spezifischen Gründe zu erkennen, warum die Drohne verwirrt wird. Zum Beispiel lernten sie, dass, wenn der Code einen bestimmten Befehl namens spawn verwendet (der normalerweise sicher ist), es sich wahrscheinlich um einen Fehlalarm handelt, während exec (der gefährlich ist) ein Warnsignal darstellt. Sie lernten auch zu erkennen, wenn eine Eingabe eines Hackers durch eine Sicherheitsprüfung blockiert wird, selbst wenn die Drohne dies übersehen hatte.

Das Fazit

Diese Arbeit behauptet nicht, das Problem, alle Softwarefehler jemals zu finden, gelöst zu haben. Stattdessen zeigt sie, dass maschinelles Lernen ein mächtiges Werkzeug ist, um das Rauschen zu filtern. Indem wir die KI lehren, als „Triage-Schwester“ für Sicherheitsberichte zu fungieren, können wir die harmlosen Fehlalarme herausfiltern und es den menschlichen Experten ermöglichen, sich auf die gefährlichen zu konzentrieren.

Die Studie legt nahe, dass, obwohl die fortschrittlichsten KI-Modelle (die LLMs) die genauesten sind, einfachere und schnellere Modelle (wie XGBoost) ebenfalls sehr effektiv sind und sich vielleicht besser für Teams mit begrenzter Rechenleistung eignen. Letztendlich beweist die Arbeit, dass die Kombination der Rohdaten aus automatisierten Scannern mit intelligenter, gelernter Sortierung die Softwaresicherheit viel handhabbarer machen kann, indem sie einen chaotischen Berg von Berichten in einen klaren, handlungsfähigen Pfad verwandelt.