ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
ClawSentry ist ein Open-Source-, framework-agnostisches Security-Gateway, das progressive Risiken bei autonomen LLM-Agenten durch die Implementierung eines mehrstufigen, progressiven Überprüfungssystems über die Phasen der Skill-Zulassung, des Aufrufs, der Ausführung und der Post-Aktion hinweg abmildert und dabei die Erfolgsrate von Angriffen signifikant reduziert, während gleichzeitig ein hoher Durchsatz für legitime Aufgaben aufrechterhalten wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht mehr nur Fragen beantworten, sondern beginnen, Dinge von selbst zu tun. Sie können Code schreiben, Dateien auf Ihrer Festplatte öffnen und Nachrichten an andere Dienste senden, um eine Aufgabe zu erledigen. Diese werden autonome Agenten genannt, und sie stellen einen Sprung von passiven Werkzeugen zu aktiven Arbeitern dar. Diese neue Fähigkeit bringt jedoch eine neue Art von Gefahr mit sich. Wenn ein Arbeiter dazu verleitet wird, ein bösartiges Werkzeug aufzuheben, oder wenn eine versteckte Anweisung in ein Dokument geschlüpft ist, das er liest, kann der Computer gezwungen werden, Geheimnisse zu stehlen, wichtige Daten zu löschen oder seinen Einfluss auf andere Systeme auszudehnen. Das Risiko ist nicht nur ein einzelner Fehler; es ist eine Kettenreaktion, bei der eine einzige schlechte Entscheidung zu einer Kaskade von Schäden führen kann. Die zentrale Herausforderung für Sicherheitsexperten besteht darin, dass diese Angriffe clever und wandelbar sind. Eine schlechte Anweisung könnte in einer Datei versteckt, als normale Anfrage getarnt oder in kleine, harmlos aussehende Schritte unterteilt sein, die erst gefährlich werden, wenn sie zusammengeführt werden.
Forscher am Shanghai Artificial Intelligence Laboratory haben ein neues System entwickelt, um diese Angriffe zu stoppen, bevor sie Schaden anrichten. Sie nennen es ClawSentry. Anstatt zu versuchen, jede schlechte Bewegung abzufangen, nachdem sie passiert ist, fungiert dieses System als Torwächter, der den gesamten Lebenszyklus der Arbeit eines Computeragenten überwacht. Die Forscher erkannten, dass Gefahr in vier verschiedenen Stadien eintreten kann: wenn ein neues Werkzeug zuerst eingeführt wird, wenn der Agent beschließt, es zu verwenden, während das Werkzeug tatsächlich ausgeführt wird und nachdem das Werkzeug seine Aufgabe beendet hat und Ergebnisse produziert hat. Frühere Sicherheitsmethoden betrachteten meist nur eines dieser Stadien, wie etwa die Überprüfung der Wörter, die ein Benutzer tippt, oder das Beobachten des Codes, den ein Computer ausführt. Das Team stellte fest, dass dies nicht ausreichte, da ein böswilliger Akteur einfach versuchen könnte, es auf eine andere Weise zu versuchen, indem er ein anderes Werkzeug verwendet oder die Anfrage anders formuliert, um eine einzelne Kontrollstelle zu umgehen.
Um dies zu lösen, bauten die Forscher ein Framework, das zwischen dem Computeragenten und der Außenwelt sitzt und alles überwacht, was der Agent zu tun versucht. Sie entwarfen ein System, das in Schichten arbeitet, ganz ähnlich wie ein Sicherheitsteam, das zuerst den Ausweis eines Besuchers prüft, dann dessen Verhalten beobachtet und schließlich das Ergebnis seines Besuchs überprüft. Die erste Verteidigungslinie findet statt, bevor ein neues Werkzeug überhaupt verwendet wird. Das System liest das gesamte Code-Paket für dieses Werkzeug, um nach versteckten Gefahren zu suchen. Wenn der Code verdächtig aussieht, wird das Werkzeug sofort blockiert. Dies verhindert, dass der Agent ein gefährliches Programm überhaupt erst lädt. Wenn ein Werkzeug diese erste Prüfung besteht, überwacht das System jede einzelne Aktion, die der Agent unternimmt. Es verwendet einen einfachen, schnellen Satz von Regeln, um offensichtliche Gefahren abzufangen, wie etwa den Versuch, eine kritische Systemdatei zu löschen. Wenn die Aktion nicht eindeutig gefährlich, aber auch nicht eindeutig sicher ist, eskaliert das System die Entscheidung an ein fortgeschritteneres Computermodell, das den Kontext und die Absicht hinter der Anfrage verstehen kann.
Ein entscheidender Teil dieses Systems ist seine Fähigkeit, sich daran zu erinnern, was es bereits blockiert hat. Wenn ein Agent versucht, eine Datei zu stehlen und gestoppt wird, zeichnet das System dieses spezifische Ziel auf. Wenn der Agent später erneut versucht, dies durch ein anderes Werkzeug oder indem er die Anfrage in kleinere Schritte unterteilt, erkennt das System, dass es dasselbe schlechte Ziel in einer neuen Verkleidung ist, und stoppt es erneut. Dies verhindert, dass der Agent die Verteidigung durch das Ausprobieren vieler verschiedener Ansätze zermürbt. Das System überwacht auch, was passiert, nachdem eine Aktion abgeschlossen wurde. Manchmal tritt die Gefahr erst in den Ergebnissen auf, die ein Werkzeug zurückgibt, wie etwa eine Datei, die versteckte Anweisungen für den nächsten Schritt enthält. Das System überprüft diese Ergebnisse und kann einen menschlichen Operator alarmieren, wenn etwas schiefgelaufen ist, sodass dieser den Prozess stoppen kann, bevor mehr Schaden entsteht.
Die Forscher testeten dieses System mit mehreren verschiedenen Arten von Computeragenten und fanden, dass es hocheffektiv ist. In Tests, bei denen die Agenten einer Vielzahl von gefährlichen Werkzeugen und versteckten Anweisungen ausgesetzt waren, reduzierte das System die Erfolgsrate von Angriffen von fast der Hälfte aller Versuche auf einen sehr kleinen Bruchteil. Konkret senkte das System die Erfolgsrate von Angriffen aus einem Bereich von 33,5 % bis 49,7 % auf zwischen 9,09 % und 15,03 %. Gleichzeitig verhinderte das System nicht, dass die Agenten ihre normale, hilfreiche Arbeit verrichteten. Wenn die Agenten mit sicheren Aufgaben betraut wurden, konnten sie diese fast immer erfolgreich abschließen, mit einer Erfolgsquote von 98,7 %. Dies zeigt, dass das System zwischen einem echten Fehler und einem böswilligen Angriff unterscheiden kann, ohne der nützlichen Arbeit im Wege zu stehen.
Die Studie untersuchte auch, wie das System mit verschiedenen Arten von Computermodellen umgeht, und fand heraus, dass sein Schutz unabhängig davon funktioniert, welche spezifische künstliche Intelligenz gerade das Denken übernimmt. Die Sicherheitsregeln und der Gatekeeping-Prozess sind vom Agenten selbst getrennt, was bedeutet, dass dasselbe Sicherheitssystem viele verschiedene Arten von Agenten schützen kann. Die Forscher entdeckten auch, dass die effektivste Methode, einen Angriff zu stoppen, darin besteht, das gefährliche Werkzeug zu blockieren, bevor der Agent überhaupt die Chance hat, es zu verwenden. Sobald ein schlechtes Werkzeug in den Speicher des Agenten geladen wurde, wird es viel schwieriger, den Schaden zu stoppen, selbst wenn das System sehr gut darin ist, schlechte Aktionen später abzufangen. Dies deutet darauf hin, dass die beste Verteidigung darin besteht, streng darüber zu sein, welche Werkzeuge überhaupt in das System gelassen werden.
Durch die Kombination einer strengen Erstprüfung, einer mehrschichtigen Überprüfung jeder Aktion und eines Gedächtnisses für vergangene Versuche schafft dieses neue System eine viel sicherere Umgebung für autonome Computer. Es adressiert die Realität, dass Angriffe keine Einzelereignisse sind, sondern fortlaufende Versuche, einen Weg hindurchzufinden. Die Ergebnisse legen nahe, dass wir mit der richtigen Art von Aufsicht Computer komplexe Aufgaben übernehmen lassen können, ohne die Kontrolle an böswillige Akteure abzugeben. Das System beruht nicht auf einem einzelnen Trick oder einem perfekten Modell; stattdin nutzt es einen strukturierten Ansatz, der Bedrohungen an mehreren Punkten abfängt und sicherstellt, dass selbst wenn eine Schicht umgangen wird, eine andere bereit ist, die Gefahr zu stoppen. Diese Arbeit liefert einen praktischen Bauplan dafür, wie wir leistungsstarke, unabhängige Computeragenten sicher in unser tägliches Leben und unsere Arbeitsumgebungen integrieren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.