Agent Skill Security: Threat Models, Attacks, Defenses, and Evaluation
Dieses Paper führt SkillSec-Eval ein, ein umfassendes Framework, das Sicherheitslücken über den gesamten Lebenszyklus wiederverwendbarer Skills von Large Language Model Agents hinweg identifiziert und bewertet und dabei aufzeigt, dass die Risiken weit über herkömmliche Bedenken hinsichtlich der Laufzeitausführung hinausgehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Computer nicht nur Befehle befolgt, sondern tatsächlich Dinge für Sie erledigt. Dies ist das Reich der KI-Agenten: intelligente Programme, die Schritte planen, Werkzeuge wie einen Webbrowser oder ein Dateisystem nutzen und komplexe Probleme eigenständig lösen können. Um diese Agenten extrem leistungsfähig zu machen, haben Entwickler begonnen, sie aus „Fähigkeiten“ (Skills) aufzubauen. Stellen Sie sich diese Fähigkeiten wie LEGO-Steine oder vorgefertigte Rezepte vor. Anstatt der KI jedes Mal neu beizubringen, wie man einen Kuchen backt, geben Sie ihr eine „Back-Fähigkeit“, die sie bei Bedarf einfach aus einem digitalen Regal greifen kann. Diese Fähigkeiten sind wiederverwendbar, was bedeutet, dass eine einzige Fähigkeit von tausenden verschiedenen KI-Agenten geteilt werden kann.
Aber hier liegt der Haken: Genau wie eine physische Bibliothek mit manipulierten Büchern gefüllt sein kann, kann eine digitale Bibliothek von KI-Fähigkeiten gefährlich sein. Wenn ein böswilliger Akteur eine „vergiftete“ Fähigkeit in die Bibliothek einschleust, könnte der KI-Agent diese greifen, sie für sicher halten, weil sie auf dem Cover gut aussieht, und dann versehentlich Ihre Dateien löschen oder Ihre Passwörter stehlen. Lange Zeit machten sich Wissenschaftler nur Sorgen darüber, dass die KI durch die Worte getäuscht wird, die man zu ihr sagt (wie ein missglückter Zauberspruch). Doch diese neue Forschung deutet darauf an, dass die wahre Gefahr nicht nur darin besteht, was man zur KI sagt, sondern was die KI aus der Welt um sich herum aufnimmt.
Das Paper: „Agent Skill Security“
Dieses Paper mit dem Titel „Agent Skill Security: Threat Models, Attacks, Defenses, and Evaluation“ von Sanket Badhe und Priyanka Tiwari ist wie eine Detektivgeschichte darüber, wie diese digitalen LEGO-Steine gehackt werden können. Die Autoren erkannten, dass während alle auf den Mund der KI achteten (was sie sagt), sie ihre Hände ignorierten (was sie aufhebt und tut). Sie entwickelten ein neues Test-Framework namens SkillSec-Eval, um den gesamten Lebenszyklus einer Fähigkeit zu untersuchen – von dem Moment ihrer Erstellung bis hin zu ihrer Aktualisierung Jahre später.
Die sechs Phasen im Leben einer Fähigkeit
Die Autoren unterteilen das Leben einer Fähigkeit in sechs verschiedene Phasen, ähnlich einem Staffellauf, bei dem der Staffelstab an den nächsten Läufer übergeben wird. Wenn der Stab an irgendeinem Punkt gegen einen falschen ausgetauscht wird, ist das gesamte Rennen ruiniert.
- Authoring (Die Erstellung): Dies ist der Moment, in dem ein Entwickler die Fähigkeit schreibt. Die Gefahr besteht hier darin, dass der Ersteller hinterhältig sein könnte und versteckte, schlechte Anweisungen in eine Fähigkeit einbaut, die oberflächlich betrachtet hilfreich erscheint.
- Storage (Die Bibliothek): Sobald sie geschrieben wurde, gelangt die Fähigkeit in ein digitales Repository (eine Bibliothek). Angreifer können hier einschrumpfen, eine sichere Fähigkeit durch eine schlechte ersetzen oder die Bibliothek dazu überreden, eine gefälschte Version einer alten, sicheren Fähigkeit zu akzeptieren.
- Retrieval (Die Suche): Wenn eine KI etwas tun muss, sucht sie in der Bibliothek. Angreifer können ihre schlechten Fähigkeiten mit populären Schlüsselwörtern „auffüllen“ (Keyword Stuffing), damit die Suchmaschine denkt, sie seien das relevanteste Ergebnis, und sie so an die Spitze der Liste drängt.
- Selection (Die Auswahl): Das „Gehirn“ der KI (der Planer) betrachtet die obersten Suchergebnisse und wählt eine Fähigkeit aus. Angreifer können gefälschte Bewertungen oder irreführende Beschreibungen verfassen, um die KI dazu zu bringen, die schlechte Fähigkeit statt einer guten zu wählen.
- Execution (Die Ausführung): Die KI führt die Fähigkeit tatsächlich aus. Selbst wenn die Fähigkeit korrekt ausgewählt wurde, könnte sie versuchen, etwas zu tun, wozu sie nicht berechtigt ist, wie etwa eine Tür zu öffnen, die sie nicht öffnen dürfte.
- Evolution (Die Aktualisierung): Fähigkeiten werden im Laufe der Zeit aktualisiert. Ein Angreifer könnte warten, bis eine Fähigkeit vertrauenswürdig und populär ist, und dann ein Virus in ein „Version 2.0“-Update einschleusen.
Die große Entdeckung: Es ist nicht nur eine Sache
Die Forscher testeten 327 reale Fähigkeiten und fanden heraus, dass Schwachstellen in jeder einzelnen Phase existieren. Sie fanden nicht nur eine Art von Hack, sondern ein ganzes Ökosystem von ihnen.
- Die Bibliothek ist undicht: Sie fanden heraus, dass einfache Regeln (wie die Prüfung, ob eine Datei eine gültige Signatur hat) nicht ausreichen. Böswillige Akteure können Fähigkeiten erstellen, die auf dem Papier perfekt aussehen, aber versteckte bösartige Anweisungen enthalten. Als sie eine intelligente KI verwendeten, um die Bedeutung des Codes zu prüfen, erkannten sie zwar viele mehr schlechte Fähigkeiten, aber selbst dann schlüpften einige durch.
- Die Suche ist manipuliert: In ihren Tests nutzten Angreifer „Keyword Stuffing“ (das Hinzufügen von Unmengen an populären Wörtern zu einer schlechten Fähigkeit) und „Sybil Attacks“ (das Erstellen von 15 gefälschten Kopien derselben schlechten Fähigkeit). Oh_ne speziellen Filter dominierten diese schlechten Fähigkeiten die Suchergebnisse. In einem Test beispielsweise erschienen 93,20 % der Fälle, in denen eine schlechte Fähigkeit unter den Top-5-Ergebnissen war, wenn keine Verteidigung eingesetzt wurde. Mit ihrer neuen Verteidigung konnten sie diese Zahl senken, aber es war nicht perfekt.
- Die KI ist leicht zu täuschen: Wenn die KI eine Fähigkeit basierend auf einer Beschreibung auswählen musste, war sie leicht durch gefälschte „Offizielle“ Abzeichen oder irreführende Texte zu täuschen. In einem Test wählte die KI 45,64 % der Fälle eine schlechte Fähigkeit, nur weil eine gefälschte Empfehlung daran angehängt war.
- Die Aktion ist gefährlich: Sob sobald eine schlechte Fähigkeit läuft, kann sie versuchen, Daten zu stehlen. Die Forscher fanden heraus, dass ohne eine Laufzeit-Kontrolle (Runtime Guard) 100 % ihrer Testangriffe ihr Ziel erreichten. Selbst mit einer Kontrolle fanden sie jedoch eine knifflige Lücke: Wenn die KI die gestohlenen Daten in ihre eigenen Worte umformuliert (Paraphrasierung), bevor sie sie versendet, übersieht die Kontrolle dies manchmal.
Die Zahlen erzählen die Geschichte
Das Paper liefert harte Zahlen, um zu zeigen, wie schwierig dieses Problem ist:
- Repository Admission: Als sie einfache Regeln mit intelligenter KI-Prüfung kombinierten, reduzierten sie die Anzahl der schlechten Fähigkeiten, die in die Bibliothek gelangten, auf 7,9 %. Dies lehnte jedoch versehentlich auch 20,0 % der guten Fähigkeiten ab, was zeigt, dass zu strenge Regeln die Arbeit echter Entwickler erschweren.
- Retrieval: Bei „Sybil Attacks“ (gefälschte Klone) sank die Anzahl der schlechten Fähigkeiten in den Top-Ergebnissen von durchschnittlich 2,84 auf 0,27 mit ihrer neuen Verteidigung.
- Planner Deception: Wenn schlechte Fähigkeiten gefälschte Empfehlungen hatten, wählte die KI sie in 45,64 % der Fälle. Mit ihrer Verteidigung sank dieser Wert auf 8,72 %.
- Runtime: Selbst mit einem starken Runtime-Monitor gelangten 23,0 % der Angriffe immer noch zum Erfolg, weil die KI es schaffte, den Datendiebstahl in ihren eigenen Denkprozess zu verstecken.
Was sie nicht wissen (und was sie ausschließen)
Die Autoren sind sich sehr klar darüber, was sie nicht gefunden haben. Sie fanden kein „Wundermittel“, das alles löst. Sie schließen explizit die Idee aus, dass die bloße Überprüfung der Codestruktur (wie die Suche nach einer Signatur) ausreicht; man muss auch die Bedeutung verstehen. Sie zeigen auch, dass keine einzelne Verteidigung allein funktioniert. Wenn man nur die Bibliothek schützt, kann der Hacker die Suche manipulieren. Wenn man nur die Suche schützt, kann der Hacker die Wahl der KI manipulieren.
Sie geben auch zu, dass ihre Studie Grenzen hat. Sie testeten eine kontrollierte Umgebung mit 327 Fähigkeiten, nicht das gesamte Internet. Sie testeten keine Angriffe, die über viele Jahre hinweg stattfinden (langfristiger Vertrauensverlust) oder Angriffe, die versuchen, das Gehirn der KI direkt zu knacken (Jailbreaking). Sie deuten an, dass ihr Framework zwar ein riesiger Schritt nach vorn ist, das Problem, diese digitalen LEGO-Steine sicher zu halten, aber weiterhin eine offene Herausforderung bleibt.
Das Fazit
Die wichtigste Lehre aus diesem Paper ist, dass wir nicht nur den Mund der KI beobachten dürfen; wir müssen auch ihre Hände, ihre Bibliothek und ihre Aktualisierungen im Auge behalten. Sicherheit ist kein einzelnes Schloss; sie ist eine ganze Kette von Wächtern. Die Autoren haben SkillSec-Eval entwickelt, um uns zu helfen, diese Wächter zu testen, und ihre Ergebnisse legen nahe, dass wir zwar viel sicherer werden können, aber vorsichtig sein müssen, das System nicht so streng zu machen, dass es für niemanden mehr funktioniert. Der Weg zu sicheren KI-Agenten besteht nicht darin, einen perfekten Schild zu finden, sondern darin, eine geschichtete Verteidigung aufzubauen, die jeden Schritt der Reise überwacht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.