MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills
Dieses Paper führt MalSkillBench ein, den ersten zur Laufzeit verifizierten Benchmark, der 3.944 bösartige KI-Agenten-Skills umfasst, um zu demonstrieren, dass aktuelle Detektionswerkzeuge daran scheitern, Code und Instruktionen gemeinsam zu analysieren, was einen neuen Ansatz erfordert, der über Aufgabenabsicht, Code und Prompts hinweg schlussfolgert, um die Agenten-Lieferkette abzusichern.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten eingestellt, der Ihnen beim Schreiben von Software hilft. Um diesen Roboter noch leistungsfähiger zu machen, lassen Sie ihn „Fähigkeiten“ aus dem Internet herunterladen – wie kleine Apps oder Plugins, die dem Roboter bestimmte Aufgaben beibringen, wie zum Beispiel „Steuern berechnen“ oder „dieses Dokument formatieren“.
Diese Fähigkeiten sind ein wenig wie eine Rezeptkarte (Anweisungen in einfacher Sprache) geklebt an ein Küchengerät (der eigentliche Code, der ausgeführt wird).
Das Problem: Das „vergiftete Rezept“
Die Forscher fanden heraus, dass Hacker beginnen, diese Fähigkeiten zu vergiften. Sie erstellen gefäste Fähigkeiten, die hilfreich aussehen, aber versteckte Fallen enthalten.
- Die Code-Falle: Der Teil des „Küchengeräts“ könnte heimlich Ihre Passwörter stehlen oder Ihre Dateien löschen.
- Die Anweisungs-Falle: Der Teil der „Rezeptkarte“ könnte den Roboter austricksen, seine Sicherheitsregeln zu ignorieren oder etwas zu tun, was er nicht tun sollte, wie zum Beispiel Ihre privaten Daten an einen Fremden zu senden.
Das Beängstigende daran ist, dass diese beiden Fallen oft zusammenwirken. Eine Fähigkeit könnte auf der Rezeptkarte harmlos aussehen, aber ein gefährliches Gerät daran befestigt haben, oder umgekehrt.
Die große Lücke: Wir hatten keinen guten Test
Bis jetzt waren Sicherheitsexperten, die versuchten, „Skill-Detektoren“ (wie Antivirensoftware für diese Roboter-Fähigkeiten) zu entwickeln, im Dunkeln geflogen.
- Sie hatten keine ausreichend große Liste mit schlechten Fähigkeiten, um dagegen zu testen.
- Die wenigen schlechten Fähigkeiten, die sie hatten, waren meist nur von einem Typ (wie gefälschte „Krypto“-Betrugsmaschen), sodass Detektoren sehr gut darin wurden, genau diese zu entdecken, aber schlecht darin, alles andere zu erkennen.
- Es war, als würde man einen Feuermelder nur auf den Rauch von verbranntem Toast testen und dann behaupten, er würde auch einen Brand durch eine Fettexplosion erkennen.
Die Lösung: MalSkillBench (Der „Stresstest“)
Die Autoren bauten MalSkillBench, den ersten riesigen, verifizierten Testplatz für diese bösartigen Fähigkeiten.
So haben sie es aufgebaut:
- Die Fabrik: Sie nutzten eine KI, um tausende gefälschte bösartige Fähigkeiten zu generieren.
- Die Sandbox: Sie haben nicht einfach nur geraten, ob eine Fähigkeit schlecht ist. Sie haben die Fähigkeit tatsächlich in einem sicheren, isolierten digitalen Käfig (einer „Sandbox“) ausgeführt.
- Der Beweis: Wenn eine Fähigkeit während des Laufs im Käfig tatsächlich etwas Schlechtes getan hat (wie versucht hat, eine Datei zu stehlen oder den Roboter zu täuschen), erhielt sie ein „verifiziertes“ Label. Wenn sie das Schlechte nicht geschafft hatte, schickten sie sie zurück in die Fabrik, um es erneut zu versuchen.
Sie endeten mit 3.944 verifizierten schlechten Fähigkeiten und 4.000 guten Fähigkeiten, die 108 verschiedene Arten von Angriffen abdecken.
Was sie entdeckten
Als sie aktuelle Sicherheitstools gegen diesen neuen, massiven Test prüften, waren die Ergebnisse überraschend:
- Code ist leicht zu fangen, Worte sind schwer: Detektoren sind gut darin, schlechten Code zu entdecken (wie einen Virus in einer Datei), aber schlecht darin, schlechte Anweisungen zu entdecken (wie einen Trick in einem Rezept). Es ist einfacher, eine Bombe zu sehen als eine Lüge.
- Die „Wilden“ Daten sind eine Lüge: Wenn man Detektoren nur mit den wenigen schlechten Fähigkeiten testet, die man „in der Wildnis“ (im Internet) findet, erhält man das falsche Ergebnis. Ein Sicherheitstool sah auf den Wilddaten wie ein Held aus, aber beim Test mit dem vollständigen MalSkillBench-Set erwies es sich als eines der schlechtesten. Es war, als wäre ein Arzt, der nur Erkältungen behandelt und glaubt, ein Genie bei der Heilung von allem zu sein, bis man ihm einen Patienten mit einem Beinbruch gibt.
- Alte Tools passen nicht: Man kann nicht einfach Tools verwenden, die für reguläre Software entwickelt wurden (um schlechten Code zu fangen), oder Tools, die für Chatbots entwickelt wurden (um schlechte Prompts zu fangen). Eine bösartige Fähigkeit ist ein Hybrid. Ein Tool zu verwenden, das nur für eine Hälfte des Problems gedacht ist, lässt die andere Hälfte weit offen.
- Die wahre Gefahr: Die gefährlichsten Fähigkeiten stehlen nicht nur Dateien; sie versuchen, das Gehirn des Roboters zu manipulieren. Einige Fähigkeiten versuchen, die Identität des Roboters umzuschreiben, seine Ziele zu ändern oder ihn dazu zu bringen, seine Sicherheitsregeln zu ignorieren. Aktuelle Tools sind gegenüber diesen „Mind-Hacking“-Angriffen weitgehend blind.
Das Fazit
Um unsere KI-Assistenten sicher zu halten, können wir nicht nur den Code oder nur die Anweisungen betrachten. Wir müssen die Beziehung zwischen ihnen verstehen: Ergeben diese Anweisungen Sinn für diese Aufgabe, oder ist es ein Trick?
Das Paper bietet den ersten echten „Stresstest“, um Entwicklern zu helfen, bessere Detektoren zu bauen, die diese hybriden Tricks erkennen können, anstatt nur basierend auf alten, unvollständigen Daten zu raten. Sie haben alle ihre Daten und Tools öffentlich zugänglich gemacht, damit andere bei der Lösung dieses Puzzles helfen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.