Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
Diese Arbeit zeigt auf, dass Machine-Learning-Sicherheitsdetektoren, die bei Standard-Zufalls-Splits typischerweise eine nahezu perfekte Leistung erzielen, katastrophale Ausfallraten aufweisen, wenn sie gegenüber ungesehenen Angriffstechniken und zeitlichen Verschiebungen unter Verwendung eines strengen, leckagefreien Protokolls in den Szenarien AI-Prompt-Injection, bösartiger Pakete und Netzwerkintrusion bewertet werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt verlassen sich Sicherheitssysteme oft auf maschinelles Lernen, eine Art von Computerprogramm, das lernt, Unregelmäßigkeiten zu erkennen, indem es tausende Beispiele vergangener Angriffe studiert. Diese Programme fungieren wie digitale Wächter, die den Netzwerkverkehr scannen, Softwaredateien prüfen, bevor sie installiert werden, und sogar die Anweisungen lesen, die KI-gestützte Coding-Assistenten nutzen, um Programmierern zu helfen. Jahrelang war die Standardmethigkeit, diese Wächter zu testen, darin bestand, einen Stapel bekannter Angriffe durchzumischen und sie in zwei Gruppen aufzuteilen: eine für das Training und eine für das Testen. Diese Methode setzt voraus, dass die Angriffe, denen der Wächter in der Zukunft begegnen wird, denjenigen sehr ähnlich sehen, die er bereits studiert hat. In der Realität bleiben Angreifer jedoch nicht stehen; sie erfinden ständig neue Tricks, verstecken ihre Werkzeuge auf unterschiedliche Weise und schlagen zu Zeiten und an Orten zu, die ihre Verteidiger noch nie gesehen haben. Die entscheidende Frage ist, ob diese digitalen Wächter tatsächlich eine neue Art von Bedrohung erkennen können oder ob sie lediglich die alten auswendig lernen und versagen, wenn sich das Spiel ändert.
Ein Team von Forschern der University of Port Harcourt setzte sich zum Ziel, diese Frage zu beantworten, indem sie Sicherheitsdetektoren gegen drei sehr unterschiedliche Arten digitaler Bedrohungen mit einer einzigen, strengen Methode testete, die darauf ausgelegt ist, Datenlecks zu verhindern. Sie untersuchten, wie gut Detektoren versteckte Anweisungen aufspüren konnten, die in Dateien für KI-Coding-Agenten platziert wurden, wie sie sich gegenüber bösartigen Softwarepaketen in Online-Bibliotheken schlagen mussten und wie sie bei der Identifizierung von Netzwerkeindringlingen abschnitten. Anstatt die Daten zufällig durchzumischen, zwangen die Forscher die Detektoren dazu, Situationen zu begegnen, die sie noch nie zuvor erlebt hatten: Angriffe mit neuen Verstecktechniken, Angriffe, die in einem späteren Jahr auftraten, oder Angriffe aus völlig anderen Datensätzen. Sie überprüften auch auf „Abkürzungen“, bei denen ein Detektor auf ein einfaches, offensichtliches Merkmal zurückgreifen könnte – wie etwa die Größe einer Datei – anstatt die Gefahr tatsächlich zu verstehen.
Der erste Teil ihrer Studie konzentrierte sich auf KI-Coding-Agenten, welche Tools sind, die Programmierern beim Schreiben von Code helfen, indem sie Dateien wie Konfigurationsleitfäden lesen. Angreifer haben begonnen, geheime Anweisungen in diesen Dateien zu verstecken, indem sie unsichtbare Zeichen oder seltsame Symbole verwenden, die einem menschlichen Auge entgehen würden, aber von einem Computer als Befehl gelesen werden. Die Forscher erstellten eine Sammlung von fast fünftausend echten Dateien aus öffentlichen Repositories und pflanzten dann harmlose versteckte Anweisungen unter Verwendung von neun verschiedenen Verstecktechniken in diese ein. Sie testeten fünf verschiedene Detektoren, um zu sehen, ob sie diese Fallen finden könnten. Wenn die Detektoren auf denselben Verstecktechniken getestet wurden, die sie während des Trainings gelernt hatten, schnitten sie fast perfekt ab und erkannten nahezu jede einzelne versteckte Anweisung. Wenn die Forscher jedoch einen Verstecktechnik testeten, die der Detektor noch nie zuvor gesehen hatte, brach die Leistung bei einigen Modellen zusammen. Ein Detektor, der sich auf das Zählen spezifischer Merkmale verließ, wie etwa die Anzahl unsichtbarer Zeichen, übersah neunundsechzig Prozent der neuen Angriffe. Im Gegensatz dazu behielt ein Detektor, der den eigentlichen Text der Datei las, nachdem er die versteckten Zeichen zuerst in normalen, lesbaren Text umgewandelt hatte, seine hohe Leistungsfähigkeit bei. Die Studie fand auch heraus, dass kleine Open-Source-KI-Modelle diesen versteckten Anweisungen oft folgten und die geheimen Befehle in bis zu zwei Dritteln der Fälle befolgten, während das bloße Löschen der unsichtbaren Zeichen den Angriff für die KI manchmal sogar noch einfacher machte.
Die zweite Studie untersuchte bösartige Softwarepakete in den npm- und PyPI-Bibliotheken, riesigen Online-Shops, in denen Entwickler Code herunterladen. Die Forscher sammelten über dreizehntausend Pakete, einschließlich tausender bekannter bösartiger Pakete aus den Jahren 2024, 2025 und 2026. Sie trainierten die Detektoren auf älteren Paketen und testeten sie dann auf die neuen Wellen von Angriffen aus dem Jahr 2026. Ein Detektor, der den Code selbst betrachtete, blieb stark und entdeckte über neunzig Prozent der neuen bösartigen Pakete. Ein anderer Detektor, der sich auf statische Merkmale wie die Gesamtgröße des Pakets und die Anzahl der Dateien darin verließ, schnitt anfangs gut ab, scheiterte jedoch dramatisch, als die Forscher die größenbasierten Hinweise entfernten. Ohne sich auf die Tatsache zu verlassen, dass bösartige Pakete oft klein waren, sank die Fähigkeit dieses Detektors, neue Angriffe zu erkennen, signifikant, was offenbarte, dass er sich auf eine Abkürzung verlassen hatte, anstatt die Malware tatsächlich zu identifizieren. Die Studie zeigte auch, dass Detektoren Schwierigkeiten hatten, bösartigen Code zu finden, der in legitime, populäre Bibliotheken eingeschleust worden war – eine Technik, die im Jahr 2026 immer häufiger vorkam.
Die dritte Studie befasste sich erneut mit der Erkennung von Netzwerkeindringlingen, was das Scannen von Datenstrom durch ein Computernetzwerk beinhaltet, um Hacker aufzuspüren. Die Forscher verwendeten drei weit verbreitete Datensätze, die seit Jahren als Standard für das Testen dieser Systeme dienen. Sie fanden heraus, dass diese Datensätze eine hohe Anzahl an Duplikaten und Fehlern enthielten, was die bisherigen Erfolgsraten wahrscheinlich künstlich aufgebläht hatte. Als sie die Detektoren testeten, indem sie sie mit Daten aus früheren Tagen trainierten und mit Daten aus späteren Tagen testeten, brach die Leistung der Systeme ein. Ein Detektor, der bei einer zufälligen Durchmischung der Daten perfekt aussah, war gegenüber dem Datenverkehr der darauffolgenden Woche nicht besser als ein Münzwurf. Er erkannte ganze Familien von Angriffen, die er zuvor noch nie gesehen hatte, wie etwa spezifische Arten von Botnetz-Verkehr oder Infiltrationsversuche, was bewies, dass das System gelernt hatte, die spezifischen Muster der Vergangenheit zu erkennen, anstatt die Natur des Angriffs selbst.
Über alle drei Bereiche der Sicherheit hinweg zeichnete sich ein klares Muster ab. Detektoren, die sich auf zusammenfassende Merkmale oder einfache Zählungen verließen, neigten dazu, zu scheitern, wenn die Angreifer ihre Methoden änderten, während Detektoren, die den eigentlichen Inhalt der Bedrohung lasen, sich viel besser behaupteten. Die Forscher fanden heraus, dass ein einfacher Schritt – das Umwandeln von verstecktem oder verwirrendem Text in ein Standard-Leseformat vor dem Scannen – den Detektoren ermöglichte, die zugrunde liegende Botschaft zu erkennen, unabhängig davon, wie sie getarnt war. Sie zeigten auch, dass das Entfernen von Duplikaten aus den Daten zwar notwendig, aber nicht ausreichend war, um das Problem zu lösen; das eigentliche Problem war die Annahme, dass zukünftige Angriffe wie die vergangenen aussehen würden. Die Studie kommt zu dem Schluss, dass Sicherheitssysteme gegen neue, ungesehene Techniken getestet werden müssen, bevor man ihnen vertrauen kann, und dass das Vertrauen auf standardmäßige, zufällige Testmethoden ein falsches Gefühl der Sicherheit vermittelt. Die Arbeit legt nahe, dass wir, um sicher zu bleiben, Systeme entwerfen müssen, die den Inhalt eines Angriffs verstehen, anstatt nur sein Erscheinungsbild auswendig zu lernen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.