RuleForge: Automated Generation and Validation for Web Vulnerability Detection at Scale
Das Paper stellt RuleForge vor, ein internes AWS-System, das mithilfe von Nuclei-Vorlagen automatisch JSON-basierte Erkennungsregeln für Web-Schwachstellen generiert und durch ein neuartiges LLM-gestütztes Validierungssystem mit menschlicher Rückkopplung die Genauigkeit signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, das Internet ist eine riesige, belebte Stadt. In dieser Stadt gibt es unzählige Gebäude (Webseiten und Server), und leider finden Kriminelle (Hacker) ständig neue, winzige Risse in den Mauern oder versteckte Hintertüren, durch die sie eindringen können. Diese Risse nennt man in der Fachsprache CVEs (Common Vulnerabilities and Exposures).
Das Problem ist: Die Kriminellen finden jeden Tag Dutzende neuer Risse, viel schneller, als die Sicherheitswachen (die IT-Sicherheitsteams) neue Schlösser und Alarmsysteme bauen können. Im Jahr 2025 gab es allein über 48.000 neue Risse! Wenn die Wachen versuchen, für jeden Riss manuell ein neues Schloss zu schmieden, kommen sie einfach nicht hinterher.
Hier kommt RuleForge ins Spiel.
Was ist RuleForge?
RuleForge ist wie ein super-schneller, roboterhafter Schlossschmied, der von Amazon (AWS) entwickelt wurde. Seine Aufgabe ist es, automatisch die „Schlösser" (Sicherheitsregeln) zu bauen, die verhindern, dass Hacker durch die neuen Risse kommen.
Statt dass ein Mensch stundenlang an jedem Schloss schraubt, liest RuleForge die Baupläne für die Risse (die sogenannten Nuclei-Templates) und baut sofort den passenden Alarm.
Wie funktioniert der Roboter? (Die 5x5-Strategie)
Stell dir vor, du musst ein neues, perfekten Schloss entwerfen. Wenn du nur einen Entwurf machst, könnte er einen Fehler haben.
RuleForge macht es anders:
- Viele Ideen gleichzeitig: Der Roboter denkt sich nicht nur ein Schloss aus, sondern fünf verschiedene Versionen gleichzeitig.
- Verbesserungsrunden: Jede dieser fünf Versionen wird dann bis zu fünf Mal überprüft und verbessert.
- Die beste Wahl: Am Ende wählt das System die Version aus, die am besten funktioniert.
Das ist wie wenn du fünf Architekten hast, die gleichzeitig Pläne zeichnen, und jeder Plan wird fünf Mal von einem Bauingenieur korrigiert, bevor man das beste Haus baut.
Der „Richter"-Roboter (LLM-as-a-Judge)
Das Schwierigste an Sicherheitsregeln ist: Sie müssen sehr genau sein.
- Wenn sie zu streng sind, blockieren sie auch harmlose Besucher (falscher Alarm).
- Wenn sie zu locker sind, lassen sie die Hacker durch (ein echter Riss bleibt offen).
Früher haben die Entwickler nur mit „Scheinangriffen" (synthetischen Tests) geprüft, ob die Regel funktioniert. Das war aber wie ein Probelauf in einer leeren Halle – es sagt nicht, wie es bei echtem, chaotischem Verkehr läuft.
RuleForge hat jetzt einen KI-Richter eingeführt. Stell dir vor, dieser Richter liest die neue Sicherheitsregel und stellt sich zwei Fragen:
- „Wie wahrscheinlich ist es, dass dieser Alarm einen echten Hacker übersieht?"
- „Wie wahrscheinlich ist es, dass dieser Alarm einen harmlosen Bürger fälschlicherweise verhaftet?"
Der Richter gibt nicht nur ein Ja/Nein, sondern erklärt auch warum. Wenn die Regel zu „loose" ist, sagt er: „Hey, dieser Teil der Regel ist zu allgemein, er fängt auch harmlose Wörter auf." Diese Kritik wird dem Schlossschmied-Roboter zurückgegeben, damit er es beim nächsten Versuch besser macht.
Das Ergebnis: Durch diesen Richter-Roboter gab es 67 % weniger falsche Alarme. Das ist enorm, denn falsche Alarme sind nervig und kosten Zeit.
Was passiert, wenn es keine Baupläne gibt?
Normalerweise braucht RuleForge fertige Baupläne (Nuclei-Templates). Aber was, wenn ein Sicherheitsforscher nur einen Blogartikel schreibt?
RuleForge hat gelernt, auch aus ungeordneten Texten (wie Blogposts oder Nachrichten) die wichtigen Informationen zu fischen und daraus Regeln zu bauen. Das ist wie ein Detektiv, der aus einem verworrenen Zeugenaussage-Text den genauen Ablauf eines Verbrechens rekonstruiert. Das klappt noch nicht perfekt (nur bei ca. 40 % der Fälle), aber es zeigt, dass der Roboter lernfähig ist.
Der menschliche Sicherheitscheck
Obwohl der Roboter sehr klug ist, vertrauen die Menschen ihm nicht blind. Bevor eine Regel in der echten Welt aktiv wird, schaut ein echter Sicherheits-Experte (ein Mensch) noch einmal drüber. Das ist wie der letzte Check vor dem Start eines Space-Shuttles: Der Computer macht die schwere Arbeit, aber der Mensch gibt das finale „Go".
Warum ist das wichtig?
Ohne RuleForge würden die Sicherheitswachen von den neuen Hacker-Angriffen erdrückt werden. Mit RuleForge können sie:
- Schneller sein: Sie produzieren dreimal so viele Regeln wie früher.
- Genauer sein: Weniger falsche Alarme bedeuten, dass sich die Wachen auf die echten Probleme konzentrieren können.
- Zukunftsicher sein: Das System lernt aus Fehlern und wird mit der Zeit immer besser.
Zusammenfassend: RuleForge ist wie ein unsichtbarer, unermüdlicher Assistent, der die Sicherheitswachen entlastet, indem er automatisch die Schlösser für die neuesten Risse in der digitalen Stadt schmiegt – und dabei so genau arbeitet, dass fast niemand mehr falsche Alarme bekommt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.