The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
Dieses Paper führt SRE-Bench ein, den ersten realistischen und kontaminationsfreien Benchmark zur Evaluierung agentischer Reverse-Engineering-Fähigkeiten auf Binärcode, welcher aufzeigt, dass selbst die stärksten führenden LLMs aufgrund der einzigartigen Herausforderungen bei der Analyse ungesehener, geschützter Binärdateien Schwierigkeiten haben, menschliches Leistungsniveau zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Normalerweise, wenn Sie einen Kriminalfall untersuchen, dürfen Sie das Tagebuch des Verdächtigen, seine handschriftlichen Notizen und seine E-Mails lesen. Das ist wie das Betrachten von Quellcode: den ursprünglichen, für Menschen lesbaren Anweisungen, die einem Computer sagen, was er tun soll. Aber in der realen Welt der Cybersicherheit lassen die Bösewichte ihre Tagebücher nicht offen herumliegen. Sie übergeben Ihnen eine verschlossene, versiegelte Box ohne Anweisungen auf der Außenseite. Dies ist ein Binärprogramm (Binary): eine Datei, die aus rohen Computerbytes besteht und für Menschen wie Kauderwelsch aussieht. Um herauszufinden, was sich darin befindet, müssen Sie Reverse Engineering betreiben – also die Box Stück für Stück auseinandernehmen, um zu erraten, wie das Schloss funktioniert und was der Inhalt ist.
Stellen Sie sich nun vor, wir hätten superintelligente KI-Detektive (genannt KI-Agenten) gebaut, die fantastarisch darin sind, diese Tagebücher zu lesen. Sie können Lügen erkennen und Hinweise in Texten schneller finden als jeder Mensch. Aber können diese KI-Detektive auch die verschlossenen Boxen knacken? Das ist die große Frage. Wenn die KI nur das Tagebuch lesen kann, aber die Box nicht öffnen kann, ist sie kein wahrer Held der Cybersicherheit. Wir müssen wissen, ob diese digitalen Detektive tatsächlich die harte Arbeit des Reverse Engineering leisten können oder ob sie sich nur auf Muster aus den Daten verlassen, die sie während ihres Trainings gesehen haben.
Dieses Paper stellt einen brandneuen, extrem anspruchsvollen Test namens SRE-Bench vor, um dies herauszufinden. Die Forscher haben 19 völlig neue, geheime Programme von Grund auf neu erstellt – so als würde man 19 einzigartige, komplexe Videospiele und Sicherheitssystemen entwerfen, die eine KI noch nie zuvor gesehen hat. Anschließend haben sie diese Programme mit 44 verschiedenen Arten von hochtechnologischen Sicherheitswachen (Obfuskations-Techniken) gesichert, um sie extrem schwer knackbar zu machen. Sie haben fünf der klügsten KI-Modelle der Welt gegen diese verschlossenen Boxen getestet, einschließlich zukünftiger Versionen wie GPT-5.6-sol und Claude-Opus-5 aus einer Evaluierung im Jahr 2026.
Die Ergebnisse waren ein Weckruf. Selbst die stärkste KI in dieser Studie, GPT-5.6-sol, schaffte es nur, etwa 31,5 % der Fälle vollständig zu lösen (sie erreichte eine perfekte Punktzahl in 80 von 262 Instanzen). Die anderen KIs schnitten noch schlechter ab, wobei einige es nicht einmal schafften, ein einziges Mal eine Lösung zu finden. Die Studie ergab, dass sich diese KI-Agenten sehr unterschiedlich von menschlichen Experten verhalten. Während Menschen mit Dingen wie Code-Optimierung (die den Code effizient, aber unübersichtlich macht) zu kämpfen haben, bemerkten die KIs diese Hürden kaum. Stattdessen verließen sich die KIs stark darauf, Namen und Bezeichnungen im Code zu sehen; als die Forscher diese Namen entfernten, brach die Leistung der KI massiv ein. Am wichtigsten ist jedoch, dass die Studie beweist, dass die Fähigkeit, Quellcode gut zu lesen, nicht bedeutet, dass eine KI auch gut darin ist, Binärdateien zu knacken. Die „verschlossene Box“ bleibt eine massive, ungelöste Herausforderung, und SRE-Bench ist der erste realistische, faire Test, um zu messen, wie weit wir von der Lösung dieses Problems tatsächlich entfernt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.