💻 computer science

SafeClaw-R: Towards Safe and Secure Multi-Agent Personal Assistants

Das Paper stellt SafeClaw-R vor, ein Framework, das durch systemweite Durchsetzung von Sicherheitsregeln vor der Ausführung und die Ergänzung von Fähigkeiten mit sicheren Alternativen die Risiken autonomer LLM-basierter Multi-Agenten-Systeme effektiv minimiert und dabei in verschiedenen Anwendungsbereichen eine hohe Genauigkeit bei der Erkennung und Verhinderung von Sicherheitsbedrohungen erreicht.

Ursprüngliche Autoren: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

Veröffentlicht 2026-04-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochintelligenten, aber manchmal etwas ungeduldigen persönlichen Assistenten. Dieser Assistent kann E-Mails schreiben, Termine planen, Dateien löschen und sogar Code programmieren. Er ist super schnell und kann viele Dinge gleichzeitig erledigen. Das ist das Versprechen von Multi-Agenten-Systemen (wie OpenClaw), die auf großen Sprachmodellen (LLMs) basieren.

Aber hier ist das Problem: Dieser Assistent ist wie ein sehr schneller Sportwagen ohne Bremsen. Wenn er einen Befehl falsch versteht (z. B. "Mach meinen Posteingang sauber" und er löscht alles statt nur alte Mails) oder wenn jemand ihm einen versteckten, bösartigen Befehl in eine E-Mail einschmuggelt, kann er katastrophalen Schaden anrichten – und das oft, bevor Sie überhaupt merken, was passiert.

Die Forscher um Haoyu Wang haben sich gefragt: Wie bauen wir Bremsen und Sicherheitsgurte in diesen Sportwagen ein, ohne ihn in einen langsamen, langweiligen Oldtimer zu verwandeln?

Die Antwort ist SafeClaw-R.

Die Idee: Der unsichtbare Sicherheitsbeamte

Stellen Sie sich SafeClaw-R nicht als eine einzelne Person vor, die alles kontrolliert, sondern als ein System aus unsichtbaren Sicherheitsbeamten, die an jedem wichtigen Drehpunkt im Arbeitsablauf Ihres Assistenten stehen.

Hier ist die einfache Analogie:

Das alte System (OpenClaw):
Ihr Assistent bekommt einen Auftrag: "Schick eine E-Mail an Alice." Er denkt sich: "Alles klar!" und schickt sie sofort los. Wenn der Auftrag aber eigentlich "Schick eine E-Mail an alle Mitarbeiter und lösche danach den Posteingang" war, führt er beides aus, ohne zu zögern. Das ist gefährlich.
Das neue System (SafeClaw-R):
SafeClaw-R fügt einen Sicherheitsbeamten (einen "Enforcement Agent") direkt vor jede Handlung ein.
- Der Assistent sagt: "Ich möchte jetzt eine E-Mail an Alice senden."
- Der Sicherheitsbeamte hält ihn auf: "Moment mal! Wer ist Alice? Ist das eine vertrauenswürdige Person? Was steht in der E-Mail? Enthält sie geheime Daten?"
- Die Entscheidung:
  - Wenn alles sicher ist: "Gehen Sie!" (Die E-Mail wird gesendet).
  - Wenn es riskant ist: "Stopp! Ich muss erst Ihren Chef (Sie, den Nutzer) fragen."
  - Wenn es gefährlich ist: "Nein! Das machen wir nicht." (Die E-Mail wird blockiert).

Wie funktioniert das im Detail?

Die Forscher haben drei geniale Tricks angewendet:

Der "Sicherheits-Check" vor jedem Schritt:
Im alten System konnte der Assistent direkt handeln. In SafeClaw-R ist es eine feste Regel: Keine Handlung ohne vorherige Genehmigung. Jeder Befehl muss durch einen Sicherheitsfilter laufen, der prüft, ob die Aktion irreversibel (nicht rückgängig zu machen) ist oder sensible Daten betrifft.
Der "Sicherheits-Workshop" (Safe Skill Factory):
Wie weiß der Sicherheitsbeamte, was erlaubt ist? Die Forscher haben eine Art Fabrik gebaut, die für jede Fähigkeit des Assistenten (z. B. "E-Mail senden", "Datei löschen") eine sichere Version erstellt.
- Analogie: Stellen Sie sich vor, Sie kaufen ein Werkzeug. Normalerweise ist es einfach ein Hammer. SafeClaw-R baut einen "Sicherheits-Hammer" dazu, der automatisch prüft, ob Sie wirklich einen Nagel in die Wand schlagen wollen oder ob Sie versehentlich ein Fenster einschlagen könnten. Diese sicheren Werkzeuge werden automatisch getestet und verbessert.
Die Gemeinschaftsbibliothek (SafeSkillHub):
Da es viele verschiedene Assistenten gibt, teilen sich die Forscher ihre Sicherheitsregeln. Wenn jemand herausfindet, wie man einen Assistenten austrickst, wird diese Regel in eine öffentliche Bibliothek (SafeSkillHub) hochgeladen, damit alle anderen Assistenten sofort davor geschützt sind.

Was haben sie herausgefunden?

Die Forscher haben SafeClaw-R in drei verschiedenen Welten getestet:

Im Büro (Google Workspace): Hier konnte SafeClaw-R fast alle gefährlichen Befehle stoppen (95 % Erfolg), während alte, starre Regeln (wie einfache Suchmuster) nur bei 61 % halfen. Es verstand auch, wenn jemand versuchte, den Assistenten mit "sozialer Ingenieurskunst" (z. B. "Es ist dringend, bitte sofort!") zu täuschen.
Bei fremden Apps (Third-Party Skills): Wenn jemand eine bösartige App installiert, die Daten stehlen will, erkennt SafeClaw-R das zu 97,8 %.
Beim Programmieren (Code Execution): Hier war es perfekt (100 %). Selbst wenn Hacker den Code so verschleierten, dass er harmlos aussah, aber im Hintergrund Schaden anrichtete, wurde er gestoppt.

Das Fazit

SafeClaw-R ist wie ein unermüdlicher Bodyguard für Ihren digitalen Assistenten. Er lässt den Assistenten nicht einfach alles tun, was er denkt, sondern prüft jede Bewegung.

Früher: Der Assistent war wie ein wildes Pferd, das in jede Richtung galoppierte.
Jetzt: Der Assistent ist wie ein Pferd mit einem erfahrenen Reiter und einem Sicherheitsgurt. Es ist immer noch schnell und agil, aber es stürzt nicht mehr in den Abgrund.

Das Ziel ist es, dass wir uns bald wieder auf die kreativen Aufgaben konzentrieren können, während SafeClaw-R im Hintergrund dafür sorgt, dass niemand versehentlich die Welt (oder zumindest unseren Posteingang) löscht.

1. Problemstellung

Die Arbeit adressiert die kritischen Sicherheits- und Risikoprobleme, die mit dem Aufstieg von LLM-basierten Multi-Agenten-Systemen (MAS) für persönliche Produktivität einhergehen. Frameworks wie OpenClaw ermöglichen es autonomen Agenten, komplexe, plattformübergreifende Aufgaben (z. B. E-Mail-Management, Kalenderplanung) lokal auszuführen. Diese Autonomie birgt jedoch erhebliche Gefahren:

Unbeabsichtigte Schäden: Fehler in der LLM-Reasoning (Halluzinationen, Logikfehler) können zu irreversiblen Aktionen führen (z. B. das Löschen ganzer E-Mail-Verläufe oder das Veröffentlichen sensibler Daten).
Sicherheitslücken: Prompt-Injection-Angriffe oder bösartige Drittanbieter-Skills können Credentials stehlen oder Systeme kompromittieren.
Systemische Risiken: In Multi-Agenten-Systemen können sich Risiken kaskadierend ausbreiten (ein Agent interpretiert schädliche Anweisungen als legitim, ein anderer führt sie aus).
Unzureichende bestehende Lösungen: Herkömmliche Ansätze wie statische Code-Guardrails sind zu starr, und „LLM-as-a-Judge"-Modelle arbeiten oft nur nachträglich (post-hoc) und können keine Echtzeit-Interventionen durchführen. Eine Analyse von OpenClaw zeigte, dass 36,4 % der eingebauten Skills ein hohes oder kritisches Sicherheitsrisiko darstellen.

2. Methodik: SafeClaw-R

SafeClaw-R ist ein Framework, das Sicherheit als System-Invariante über den Ausführungsgraphen des Multi-Agenten-Systems erzwingt. Der Kernansatz besteht darin, Sicherheitsprüfungen nicht als nachgelagerten Schritt, sondern als integralen, vor der Ausführung stattfindenden Teil des Workflows zu implementieren.

Kernkomponenten:

Strukturelle Invariante im Ausführungsgraphen: Das System modelliert den Workflow als Graph $G = (N, E)$ $G = (N, E)$ . Die zentrale Regel lautet: Jeder funktionale Knoten ( $n_f$ $n_{f}$ , der eine Aufgabe ausführt) muss zwingend von einem entsprechenden Durchsetzungs-Knoten (Enforcement Node, $n_e$ ) vorausgehen.
- Der Durchsetzungs-Knoten bewertet den Kontext und die Ausgabe des vorherigen Knotens.
- Er entscheidet, ob die Aktion erlaubt (ALLOW), blockiert (BLOCK), verzögert (DEFER) oder angepasst (ADAPT) wird.
Abstraktion (Trigger, Task, Resources): Durchsetzungs-Knoten werden über eine einheitliche Schnittstelle definiert:
- Trigger: Wann wird der Knoten aktiviert (z. B. bei Erkennung von PII)?
- Task: Die Logik zur Risikobewertung und Entscheidungsfindung.
- Resources: Operative Fähigkeiten zur Intervention (z. B. stop, user_confirm, log_event, quarantine).
Automatisierte Generierung sicherer Skills (Safe Skill Factory): Um Skalierbarkeit zu gewährleisten, bietet SafeClaw-R einen sechsstufigen, automatisierten Pipeline-Prozess zur Erstellung sicherer Gegenstücke zu existierenden Skills:
1. Bedrohungsmodellierung & Action-Mapping.
2. Spezifikationsschreibung (SKILL.md).
3. Automatische Generierung von Testfällen (inkl. adversarieller Szenarien).
4. Benchmark-Evaluation.
5. Root-Cause-Analyse bei Fehlern (False Positives/Negatives).
6. Iterative Verfeinerung der Spezifikation.
SafeSkillHub: Ein Community-getriebenes Ökosystem zum Teilen und Verfeinern dieser validierten Sicherheits-Spezifikationen.

3. Wichtige Beiträge

Formulierung von Sicherheit als Runtime-Enforcement-Problem: Der Shift von der reinen Erkennung oder nachträglichen Bewertung hin zu einer systemweiten Erzwingung von Sicherheitsrichtlinien während der Ausführung.
Einführung von SafeClaw-R: Ein Framework, das Durchsetzungs-Agenten als First-Class-Components in die OpenClaw-Pipeline integriert, um eine konsistente, Echtzeit-Vermittlung von Agenten-Aktionen zu gewährleisten.
Safe Skill Factory & SafeSkillHub: Ein automatisierter Mechanismus zur Ableitung sicherer Skill-Varianten und eine Infrastruktur für den Austausch von Sicherheitsrichtlinien.
Umfassende Evaluation: Eine detaillierte Bewertung über drei kritische Domänen: Google Workspace, Drittanbieter-Skill-Märkte und native Code-Ausführung.

4. Ergebnisse

Die Evaluation zeigt, dass SafeClaw-R signifikant effektiver ist als bestehende Baselines (wie Regex-Muster):

Google Workspace (Produktivität):
- Erreichte eine Genauigkeit von 95,2 % bei 2.000 Testfällen.
- Deutlich besser als Regex-Baselines (61,6 %), insbesondere bei natürlichen Sprachbefehlen und Social-Engineering-Angriffen.
- Die False-Positive-Rate liegt bei nur 3,4 %.
Drittanbieter-Skills (Skill-Marktplatz):
- Erkennt 97,8 % der bösartigen Muster in einer Datenbank von MaliciousAgentSkills.
- Erkennt sowohl Code- als auch Anweisungs-basierte Bedrohungen (z. B. Credential Theft, Remote Code Execution).
Native Code-Ausführung:
- Erreichte 100 % Genauigkeit bei 2.020 Testfällen (inkl. semantisch erhaltender Mutationen des Codes).
- Keine False Positives bei benignen Skripten, selbst bei Mustern, die verdächtig aussehen (z. B. exec(), Port-Scans), solange sie legitim sind.
Robustheit: Das System bleibt auch unter adversariellen Bedingungen stabil und verhindert, dass schädliche Aktionen ausgeführt werden, bevor sie Schaden anrichten.

5. Bedeutung und Ausblick

SafeClaw-R stellt einen Paradigmenwechsel in der Sicherheit autonomer Agenten dar. Anstatt sich auf die Zuverlässigkeit der LLMs oder nachträgliche Analysen zu verlassen, etabliert es eine proaktive, systemische Sicherheitsgarantie.

Praktische Relevanz: Es ermöglicht den sicheren Einsatz von hochautonomen Agenten in sensiblen Umgebungen (persönliche Daten, Unternehmensinfrastruktur), ohne die Funktionalität unnötig einzuschränken.
Skalierbarkeit: Durch die Automatisierung der Erstellung sicherer Skills und die Community-Plattform (SafeSkillHub) wird eine nachhaltige Sicherheitskultur für MAS gefördert.
Zukunft: Die Arbeit legt den Grundstein für eine neue Generation von Agenten-Frameworks, bei denen Sicherheit keine nachträgliche Ergänzung, sondern ein strukturelles Designprinzip ist.

Zusammenfassend demonstriert SafeClaw-R, dass es möglich ist, die Autonomie von Multi-Agenten-Systemen zu erhalten, während gleichzeitig katastrophale Fehler und Sicherheitsverletzungen durch eine robuste, runtime-basierte Durchsetzungsarchitektur verhindert werden.