Evaluating LLM Generated Detection Rules in Cybersecurity
Dieses Paper stellt ein Open-Source-Evaluierungsframework und Benchmark-Metriken vor, die darauf ausgelegt sind, die Effektivität von durch LLMs generierten Cybersicherheits-Erkennungsregeln zu bewerten, indem sie diese unter Verwendung einer Holdout-Set-Methodik mit von Menschen generierten Regeln vergleichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der jede E-Mail wie ein Brief durch das Postsystem reist. In dieser Stadt gibt es böswillige Akteure, die versuchen, gefälschte Briefe, Betrug oder Viren als freundliche Notizen einzuschleusen. Um dies zu verhindern, setzen wir „Detektive“ ein, die spezifische Regeln schreiben, um diese Unruhestifter aufzuspüren. Eine Regel könnte zum Beispiel lauten: „Wenn ein Brief von einer verdächtigen Adresse kommt und einen seltsamen Anhang hat, markiere ihn!“ Diese Regeln sind die Sicherheitswächter unserer digitalen Stadt.
Lange Zeit konnten nur menschliche Detektive diese Regeln schreiben. Sie studierten Tausende von Briefen, lernten die Tricks des Handwerks und schrieben präzise Anweisungen, um die Bösewichte zu fangen. Doch vor kurzem ist eine neue Art von Detektiv eingetroffen: Künstliche Intelligenz (KI). Diese KI-Agenten sind wie superschnelle Lehrlinge, die Anweisungen lesen und in Sekundenschnelle ihre eigenen Regeln schreiben können. Die große Frage, die sich alle stellt, ist: Können diese KI-Lehrlinge die Aufgabe tatsächlich bewältigen? Oder schreiben sie nur Regeln, die klug klingen, aber die echten Kriminellen nicht fassen, oder schlimmer noch, anfangen, Unschuldige grundlos zu beschuldigen? Dies ist das Rätsel, das ein Forscherteam bei Sublime Security lösen wollte. Sie wollten herausfinden, ob eine KI Sicherheitsregeln so gut wie ein menschlicher Experte schreiben kann und, falls ja, wie viel es kostet, diese KI am Laufen zu halten.
Das Paper stellt eine neue Methode vor, um diese KI-Detektive zu testen, wobei der Fokus auf einem speziellen KI-Agenten namens ADÉ (ausgesprochen „Ah-Day“) liegt. ADÉ ist darauf ausgelegt, eine einzige bösartige E-Mail zu betrachten und eine Regel zu schreiben, um ähnliche schlechte E-Mails in der Zukunft abzufangen. Die Forscher fragten nicht nur: „Hat es funktioniert?“, sondern entwickelten ein detailliertes Bewertungssystem, um drei Dinge zu messen: wie gut die Regel schlechte E-Mails abfängt (Genauigkeit), wie wahrscheinlich es ist, dass die Regel bricht, wenn ein Hacker ein winziges Detail ändert (Robustheit) und wie viel Geld es kostet, die KI dazu zu bringen, eine funktionierende Regel zu schreiben (wirtschaftliche Kosten).
Um ADÉ zu testen, spielten die Forscher ein kniffliges Spiel von „Verstecken und Suchen“ mit von Menschen geschriebenen Regeln. Sie nahmen eine Liste hervorragender, von Menschen erstellter Regeln aus der Sammlung von Sublime Security und versteckten eine davon heimlich aus ADÉs Gedächtnis. Dann zeigten sie ADÉ eine einzige schlechte E-Mail, für die die versteckte Regel eigentlich zuständig war, und fragten: „Kannst du eine Regel schreiben, um dies abzufangen?“ Nachdem ADÉ seine Regel geschrieben hatte, verglichen die Forscher sie mit der ursprünglichen menschlichen Regel unter Verwendung einer riesigen Datenbank von 45.000 E-Mails.
Die Ergebnisse waren eine Mischung aus beeindruckenden Fähigkeiten und verständlichen Einschränkungen. Wenn es darum ging, Regeln zu schreiben, die schwer zu täuschen sind (Robustheit), schnitt ADÉ überraschend gut ab und erreichte fast das Niveau der menschlichen Experten. Beispielsweise waren ADÉs Regeln bei Tests mit verstecktem JavaScript-Code genauso schwer zu umgehen wie die der Menschen. ADÉ war jedoch viel vorsichtiger. Während menschliche Experten breite Regeln schrieben, die darauf ausgelegt waren, tausende von schlechten E-Mails basierend auf jahrelanger Erfahrung abzufangen, schrieb ADÉ sehr enge Regeln, die nur auf der einen E-Mail basierten, die es ihm gezeigt wurde. Infolgedessen fing ADÉ weniger insgesamt schlechte E-Mails (True Positives), verursachte aber auch weit weniger Fehler, indem es gute E-Mails markierte (False Positives). Tatsächlich gab es bei einigen Tests bei ADÉs Regeln null Fehlalarme, während menschliche Regeln manchmal einige unschuldige Nachrichten markierten.
Die Studie untersuchte auch die „Kosten“ der Nutzung von KI. Eine Regel zu schreiben, ist nicht umsonst; jedes Mal, wenn die KI versucht, Code zu schreiben und scheitert, kostet es Geld, den Computer laufen zu lassen. Die Forscher fanden heraus, dass ADÉ normalerweise nur 1 bis 3 Versuche benötigte, um eine Regel zu schreiben, die die technischen Prüfungen bestand. Dies entsprach geringen Kosten zwischen etwa 1,51 $ und 5,13 $ pro erfolgreicher Regel, je nach Komplexität der Aufgabe. Interessanterweise neigte die KI dazu, viel detailliertere Kommentare zur Erklärung ihrer Logik zu schreiben als die menschlichen Autoren, was die Regeln leichter lesbar machte.
Letztendlich legt das Paper nahe, dass KI-Agenten wie ADÉ in der Lage sind, qualitativ hochwertige Sicherheitsregeln zu schreiben, insbesondere wenn es darum geht, Fehlalarme zu vermeiden und innerhalb des Budgets zu bleiben. Sie sind jedoch noch nicht bereit, menschliche Experten vollständig zu ersetzen. Da die KI immer nur eine E-Mail gleichzeitig sieht, fällt es ihr schwer, die breiten, umfassenden Regeln zu schreiben, die Menschen nach dem Studium tausender Fälle erstellen. Die Forscher kommen zu dem Schluss, dass die beste Sicherheit wahrscheinlich aus einer Partnerschaft entsteht, in der die KI die schwere Arbeit beim Schreiben der Regeln übernimmt und menschliche Experten die Strategie leiten, um sicherzustellen, dass die Regeln das breiteste Netz auswerfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.