Benchmarking Large Language Models for IoC Recovery under Adversarial Code Obfuscation and Encryption
Dieser Artikel stellt einen systematischen Benchmark und einen Datensatz von 336 obfuskierten und verschlüsselten JavaScript-Programmen vor, um die Fähigkeit von Large Language Models zur Wiederherstellung von Indikatoren für Kompromittierungen zu bewerten, und zeigt, dass LLMs zwar leichte Transformationen wie Umbenennung von Variablen und Base64-Kodierung effektiv bewältigen, ihre Erkennungsleistung jedoch gegenüber kryptografischen Verschleierungsmethoden wie XOR und AES-256 erheblich nachlässt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein digitaler Detektiv, der versucht, einen versteckten Hinweis (wie eine bestimmte IP-Adresse) in einem Stück Code zu finden. Normalerweise ist dies einfach: Der Hinweis ist klar geschrieben, wie ein Name auf einem Zettel. Aber was, wenn die Bösewichte diesen Hinweis verstecken? Sie könnten ihn in einen Geheimschrift verschlüsseln, die Buchstaben durcheinanderwirbeln oder ihn in einem Safe einschließen.
Dieser Bericht ist ein Zeugnis für Large Language Models (LLMs) – die intelligenten KI-Chatbots, die wir heute nutzen – darüber, wie gut sie als solche Detektive agieren können, wenn die Hinweise versteckt sind.
Hier ist die Aufschlüsselung ihrer Ermittlungen:
Das Setup: Ein „Versteckspiel"
Die Forscher schufen ein massives Versteckspiel.
- Die Spieler: Sie testeten fünf bekannte KI-Modelle (wie ChatGPT, Gemini, Claude, Grok und Cohere).
- Der Hinweis: Eine gefälschte „Indikator für Kompromittierung" (IoC), was nur ein fancy Begriff für eine verdächtige IP-Adresse ist (wie eine Telefonnummer eines Bösewichts).
- Die Verstecke: Sie nahmen 336 Stück Computercode und versteckten den Hinweis darin unter Verwendung von 12 verschiedenen Schwierigkeitsgraden.
- Stufe 1–4 (Die leichten Verstecke): Sie benannten einfach Variablen um (nannten „IP_Address" etwas wie „x99"), fügten nutzlosen Müllcode hinzu, um das Auge zu verwirren, oder verwendeten einfache Kodierungen wie Base64 (was wie das Schreiben einer Nachricht in einem Geheimalphabet ist, das jeder leicht entschlüsseln kann).
- Stufe 5–6 (Die schweren Verstecke): Sie sperrten den Hinweis in einen kryptografischen Safe. Sie verwendeten starke Verschlüsselung (XOR und AES-256). Entscheidend war, dass sie den Schlüssel zum Safe direkt im Code ließen, genau wie ein echter Hacker es tun könnte.
- Stufe 7–12 (Die Albtraum-Verstecke): Sie kombinierten den verschlossenen Safe mit all dem verwirrenden Umbenennen und Müllcode.
Die Ergebnisse: Der „Lichtschalter"-Effekt
Die Ergebnisse waren überraschend und sehr klar. Sie sahen keinen langsamen Leistungsabfall; sie sahen einen Lichtschalter.
1. Die „leichten" Verstecke (Stufen 1–4):
Wenn der Hinweis nur verschlüsselt oder umbenannt war, waren die KI-Detektive erstaunlich.
- Die meisten Modelle fanden den Hinweis zu 100 % der Zeit.
- Sie waren wie Kinder, die Versteck spielen und leicht einen Schuh erkennen können, der hinter einem Vorhang hervorschaut. Sie erkannten die Muster, selbst wenn die Wörter geändert wurden.
2. Die „schweren" Verstecke (Stufen 5–12):
Sobald die Forscher Verschlüsselung (den Safe) verwendeten, brach die Leistung der KI zusammen.
- Obwohl der Schlüssel direkt im Code lag, konnten die KI-Modelle den Safe nicht öffnen.
- Sie gingen davon, den Hinweis zu 100 % der Zeit zu finden, darauf, ihn zu fast 0 % der Zeit zu finden.
- Die Analogie: Stellen Sie sich vor, Sie haben eine verschlossene Box, und der Schlüssel ist außen an die Box geklebt. Ein menschlicher Detektiv würde den Schlüssel betrachten, ihn ins Schloss stecken und die Box öffnen. Die KI hingegen betrachtete die Box und den Schlüssel, sagte aber statt zu versuchen, sie zu entriegeln, einfach: „Ich kann nicht sehen, was drin ist", oder riet eine zufällige Zahl.
Das „Raten"-Problem
Wenn die KI den Hinweis nicht finden konnte, begannen einige von ihnen zu halluzinieren (sich Dinge auszudenken).
- Ein Modell (Gemini) erfand etwa 5 % der Zeit gefälschte IP-Adressen.
- Das Muster: Wenn die KI feststeckte, sagte sie nicht einfach „Ich weiß es nicht". Oft riet sie eine sehr häufige private Adresse (wie
192.168.17.101). - Die Metapher: Es ist wie ein Schüler, der eine Prüfung schreibt und die Antwort nicht weiß. Statt sie leer zu lassen, schreibt er auf „Die Antwort ist wahrscheinlich 42", weil er diese Zahl in anderen Prüfungen oft gesehen hat. Die KI riet einfach basierend auf dem, was sie zuvor gesehen hatte, und löste das Rätsel nicht wirklich.
Die große Erkenntnis
Der Bericht schließt mit einer einfachen Wahrheit:
- KI ist großartig darin, unleserliche Handschrift zu lesen. Wenn der Code nur verschlüsselt oder umbenannt ist, kann die KI das herausfinden.
- KI ist schrecklich darin, Safes zu knacken. Wenn der Code verschlüsselt ist, stößt die KI auf eine Wand. Sie hat nicht die Fähigkeit, durch die Mathematik der Verschlüsselung „nachzudenken", selbst wenn der Schlüssel direkt vor ihr liegt.
Kurz gesagt: Diese KI-Tools sind hervorragend darin, versteckte Hinweise auf offener Straße zu finden, aber sie sind derzeit nutzlos gegen Code, der mit starker Verschlüsselung verschlossen wurde. Sie können das Rätsel nicht „entsperren"; sie können nur lesen, was bereits sichtbar ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.