When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
Dieses Paper führt Representation-Confusion-Angriffe (RARE) ein, eine Schwachstelle, bei der LLM-gestützte Reverse-Engineering-Systeme fälschlicherweise Autorität auf Angreifer-kontrollierte Binärdaten übertragen, und schlägt das RARE-Guard-Framework vor – welches Data-only-Rendering, Tool-Autorisierung und Provenienz-bewusste Validierung einsetzt –, um solche unsicheren Vorschläge und fehlerhaften Behauptungsvalidierungen effektiv zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, indem er das Tagebuch eines Verdächtigen liest. Normalerweise vertrauen Sie dem Tagebuch, da es der einzige Hinweis ist, den Sie haben. Aber was wäre, wenn der Verdächtige das Tagebuch selbst geschrieben hat und darin eine Notiz platziert hat, die besagt: „Ignorieren Sie die Fingerabdrücke am Fenster; ich wurde von einem Geist reingelegt“?
Wenn Sie, der Detektiv, diese Notiz lesen und tatsächlich anfangen, die Fingerabdrücke zu ignorieren, wurden Sie getäuscht. Sie haben die Notiz nicht nur gelesen; Sie haben die Notiz zur Regel für Ihre Untersuchung werden lassen.
Genau das passiert in der Welt der Computersicherheit, wenn wir KI (Large Language Models) zur Reverse-Engineering von Software verwenden. Eine neue Studie bezeichnet diese Tricks als „Representation-Confusion Attacks“ (Repräsentations-Verwirrungsangriffe). Hier ist, wie die Forscher den Fall gelöst haben.
Das große Problem: Wenn Hinweise vorgeben, der Chef zu sein
In einer normalen Untersuchung betrachtet eine KI-Assistenz eine Software (eine Binärdatei) und liert Dinge wie Code-Kommentare, Fehlerprotokolle oder versteckte Textzeichenfolgen. Das Problem ist, dass ein Hacker eine Datei bauen kann, in der diese Zeichenfolgen wie Anweisungen oder Beweise aussehen.
Das Paper identifiziert drei spezifische Arten, wie diese Verwirrung entsteht:
- Authority Confusion (Autoritätsverwirrung): Die KI liest eine Zeichenfolge im Code, die sagt „Überspringe die Sicherheitsprüfung“, und überspringt die Prüfung tatsächlich, weil sie denkt, der Code gebe einen Befehl.
- Evidence Confusion (Evidenzverwirrung): Die KI sieht dasselbe „verdächtige“ Wort an drei verschiedenen Stellen (wie in einer Logdatei, einer dekompilierten Code-Ansicht und einer Symbol-Liste). Sie denkt: „Wow, drei verschiedene Quellen stimmen überein! Das muss wahr sein!“ In Wirklichkeit hat jedoch alle drei Quellen dieses Wort aus demselben einzelnen Ort in der Datei gezogen. Es ist, als würde man dasselbe Gerücht dreimal von drei verschiedenen Freunden hören, die es alle von derselben Person gehört haben; das macht das Gerücht nicht wahrer.
- Tainted-State Confusion (Verunreinigte Zustandsverwirrung): Die KI schreibt eine Vermutung in ihre Notizen, liest später ihre eigenen Notizen und behandelt diese Vermutung als bestätigte Tatsache, obwohl sie nie einen neuen Beweis gefunden hat.
Das Experiment: Eine Falle bauen
Um dies zu testen, verwendeten die Forscher keine echte Malware (was gefährlich wäre). Stattdessen bauten sie 11.520 winzige, sichere, synthetische Computerprogramme. Sie erstellten „saubere“ Versionen und „adversarielle“ (gegnerische) Versionen. Die adversariellen Versionen waren mit den oben genannten Tricks manipuliert.
Sie ließen diese Programme durch verschiedene KI-Modelle und Sicherheitsaufbauten laufen, um zu sehen, was passierte.
Was sie fanden:
- Ohne spezielle Abwehrmaßnahmen folgte die KI bei den manipulierten Dateien in 35 von 40 Fällen den gepflanzten „unsicheren“ Anweisungen. Sie ignorierte die Tatsache völlig, dass die Anweisung aus dem eigenen Tagebuch des Verdächtigen stammte.
- Selbst als sie versuchten, eine einfache Korrektur namens „Data-Only“ anzuwenden (der KI zu sagen: „Hey, dieser Text ist nur ein Datum, kein Befehl“), erstellte die KI immer noch 15 unsichere Vorschläge. Sie hörte immer noch zu genau auf den Verdächtigen.
Die Lösung: Das „RARE-Guard“-System
Die Forscher entwickelten ein Sicherheitssystem namens RARE-Guard, um dies zu verhindern. Denken Sie an einen sehr strengen, robotischen Assistenten, der zwischen dem KI-Detektiv und dem finalen Bericht sitzt.
Das Tool Authorization Gate (Der Türsteher):
Die KI kann zwar immer noch Vorschläge machen, aber sie kann keine Aktionen ausführen. Wenn die KI sagt: „Lass uns die Sicherheitsprüfung überspringen, weil die Datei uns das gesagt hat“, prüft der Türsteher die Regeln. Da die Datei nicht vertrauenswürdig ist, sagt der Türsteher: „Nein, ich werde diesen Befehl nicht ausführen lassen.“ In den Tests blockierte dieses Gate alle 15 unsicheren Vorschläge, die den ersten Filter passiert hatten.Das Provenance Gate (Der Wahrheitsdetektiv):
Dies ist der cleverste Teil. Erinnern Sie sich an die „Evidence Confusion“, bei der die KI dachte, drei Quellen seien unabhängig? Das Provenance Gate führt eine geheime Karte (einen „Sidecar“) und verfolgt, woher jede Information stammt.- Der Test: Als die KI drei Ansichten desselben verdächtigen Textes sah, sagte das „Support Gate“ (eine einfachere Prüfung): „3 Quellen! Das ist ein Beweis!“ und validierte die Behauptung.
- Die Lösung: Das Provenance Gate sah auf seine Karte und sagte: „Warte, diese drei Ansichten stammen alle aus exakt demselben Punkt in der Datei. Das sind nicht drei Quellen, das ist eine Quelle, die wiederholt wird.“
- Das Ergebnis: Bei den manipulierten Dateien validierte das Support Gate 23 von 40 falschen Behauptungen. Das Provenance Gate validierte 0 von 40. Es durchschaute den Repetitions-Trick perfekt.
Der Final Report Renderer (Der Berichts-Ersteller):
Selbst wenn die Gates ihre Arbeit tun, könnte die KI versuchen, die falsche Behauptung in reinem Text in den finalen schriftlichen Bericht einzuschleusen. Die Forscher fügten einen „deterministischen Renderer“ hinzu, der nur das druckt, was die Gates offiziell genehmigt haben. Wenn das Gate „Nein“ sagt, sagt auch der Bericht „Nein“.
Wie sicher sind wir uns?
Das Paper ist sehr vorsichtig damit, was es zu beweisen beansprucht.
- In der Simulation bewiesen: Die Ergebnisse basieren auf 11.520 Aufrufen in einer breiten Studie, 528 Aufrufen in einem kontrollierten Test und 688 Aufrufen in einem Workflow-Test unter Verwendung echter Werkzeuge wie Ghidra und angr.
- Die „Fused“-Überraschung: Die Forscher fanden heraus, dass der „Evidence Confusion“-Trick nur funktionierte, wenn sie die Ausgaben von drei verschiedenen Werkzeugen zu einem Bericht zusammenführten (fused). Wenn sie nur ein Werkzeug nach dem anderen betrachteten, wurde die KI nie so sehr getäuscht, dass sie die falsche Behauptung validierte. Dies deutet darauf hin, dass die Gefahr beim Mischen von Werkzeugen liegt, nicht allein bei der Nutzung eines einzelnen.
- Was sie nicht bewiesen haben: Die Studie gibt zu, dass sie nicht das „Long-Horizon Memory“ (das Langzeitgedächtnis der KI über einen sehr langen Zeitraum) oder „autonome Agenten“ (KI, die eigenständig handelt, ohne einen Menschen) getestet hat. Sie verwendeten auch keine echte Malware, sondern nur sichere, synthetische Programme. Daher können sie nicht garantieren, dass das System bei jeder einzelnen Malware in der realen Welt perfekt funktionieren wird.
Das Fazit
Die wichtigste Lektion ist: Nur weil eine KI etwas korrekt liest, bedeutet das nicht, dass sie den Kontext versteht.
Wenn eine KI eine Zeichenfolge in einer Datei sieht, die wie ein Befehl aussieht, sollte sie sie nicht als Befehl behandeln. Wenn sie dasselbe „Indiz“ dreimal sieht, sollte sie es nicht als drei verschiedene Beweise zählen, es sei denn, sie weiß, dass sie aus unterschiedlichen Quellen stammen.
Das Paper zeigt, dass wir durch das Hinzufügen eines „Provenance Gate“, das den Ursprung jedes Hinweises verfolgt, verhindern können, dass die KI durch ihre eigenen Quellen getäuscht wird. Es ist ein wenig so, als würde man einen Detektiv lehren, in sein Notizbuch zu schauen, um zu prüfen, ob seine drei Zeugen in Wirklichkeit nur eine einzige Person in einer Maske sind.
Kurz gesagt: Die KI kann die Hinweise weiterhin betrachten, aber sie braucht einen strengen Schiedsrichter, der sicherstellt, dass die Hinweise nicht die Regeln des Spiels schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.