🤖 machine learning

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

Dieser Beitrag stellt MaMa vor, einen spieltheoretischen Algorithmus, der auf LLM-basierter adversarialer Suche aufbaut, um automatisch Multi-Agenten-Systeme zu entwerfen, die eine robuste Sicherheit gegenüber Worst-Case-Kompromittierungen von Agenten gewährleisten und gleichzeitig die Aufgabenerfüllung bewahren.

Ursprüngliche Autoren: Jonathan Nöther, Adish Singla, Goran Radanovic

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jonathan Nöther, Adish Singla, Goran Radanovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Expert-Robotern ein, um Ihnen bei der Führung eines komplexen Unternehmens zu helfen, etwa bei der Planung einer Reise, dem Verfassen finanzieller Nachrichten oder der Programmierung eines neuen Videospiels. Diese Roboter (genannt „Agenten") kommunizieren miteinander, nutzen Werkzeuge wie Webbrowser und Dateisysteme und arbeiten zusammen, um die Aufgabe zu erledigen.

Das Problem ist: Was passiert, wenn einer dieser Roboter gehackt wird, vom Weg abkommt oder einfach einen schrecklichen Fehler macht? In der Vergangenheit konnte es, wenn ein Roboter verrückt wurde, das gesamte Team mit sich reißen und finanzielle Verluste oder gefährliche Aktionen verursachen.

Diese Arbeit stellt eine neue Methode vor, um solche Roboterteams so zu bauen, dass sie unzerstörbar sind, selbst wenn einige Mitglieder gegen das Team vorgehen. Die Autoren nennen ihre Methode MaMa (Meta-Adversary–Meta-Agent).

So funktioniert es, anhand einer einfachen Analogie:

Das Spiel: Der Architekt vs. der Saboteur

Die Autoren betrachten das Entwerfen eines sicheren Roboterteams wie ein hochriskantes Spiel zwischen zwei Spielern:

Der Architekt (Meta-Agent): Dies ist der Designer. Seine Aufgabe ist es, das Roboterteam zu bauen. Er entscheidet, wer die Roboter sind, welche Werkzeuge sie haben und wie sie miteinander kommunizieren. Sein Ziel ist es, das Team schnell, intelligent und gut in der Aufgabe zu machen.
Der Saboteur (Meta-Adversary): Dies ist die „böse" KI. Seine Aufgabe ist es, zu versuchen, das Team des Architekten zu brechen. Ihm ist erlaubt, einige der Roboter zu „hacken" (in der Arbeit hacken sie normalerweise nur einen) und sie zu zwingen, gefährliche Dinge zu tun, wie Dateien zu löschen, Spam zu versenden oder Flüge in Kriegsgebiete zu buchen.

Das Trainingslager: „Red Teaming"

Anstatt einfach ein Team zu bauen und zu hoffen, dass es funktioniert, führt MaMa eine kontinuierliche Trainingsrunde durch:

Der Architekt baut ein Team.
Der Saboteur greift es an. Der Saboteur versucht jeden Trick aus dem Buch, um das Team scheitern zu lassen. Wenn der Saboteur erfolgreich ist, notiert er genau, wie er es getan hat.
Der Architekt lernt. Der Architekt betrachtet die erfolgreichen Angriffe des Saboteurs und sagt: „Ah, ich verstehe! Wenn ich einen 'Sicherheitsroboter' hinzufüge, der die Nachrichten des 'Planer-Roboters' überprüft, kann der Saboteur sie nicht mehr täuschen."
Der Architekt baut neu. Er erstellt ein neues, stärkeres Team mit diesen neuen Verteidigungsmaßnahmen.
Wiederholen. Der Saboteur versucht, das neue Team zu brechen. Wenn er einen neuen Weg findet, es zu brechen, repariert der Architekt es erneut.

Dies geht hin und her, bis das Team so gut geschützt ist, dass selbst der stärkste Saboteur es nicht brechen kann, ohne die Fähigkeit des Teams zu zerstören, seine eigentliche Arbeit zu verrichten.

Die Ergebnisse: Stärker und intelligenter

Die Arbeit testete diese Methode in sechs verschiedenen Szenarien, von der Reiseplanung bis zum Coden. Hier ist, was sie fanden:

Sicherheit zuerst: Die von MaMa entworfenen Teams waren deutlich sicherer als Teams, die von Menschen entworfen wurden, oder Teams, die nur darauf ausgelegt waren, schnell zu sein. Wenn der Saboteur versuchte, sie zu hacken, hielten die MaMa-Teams stand.
Kein Geschwindigkeitsverlust: Normalerweise werden Dinge langsamer oder weniger effizient, wenn man Sicherheitsprüfungen hinzufügt. Aber MaMa schaffte es, die Teams genauso gut (oder manchmal sogar besser) arbeiten zu lassen wie die unsicheren Versionen.
Generalisierung: Das Tolle ist, dass diese Teams nicht nur lernten, eine bestimmte Art von Angriff zu stoppen. Weil sie gegen einen „klugen" Saboteur trainiert wurden, der ständig die Taktik wechselte, lernten die Teams, gegen jede Art von Angriff robust zu sein, sogar gegen solche, die sie noch nie gesehen hatten.

Die „Sicherheitsnetz"-Analogie

Stellen Sie sich ein normales Roboterteam wie eine Gruppe von Freunden vor, die versuchen, eine Sandburg zu bauen. Wenn ein Freund wütend wird und anfängt, die Burg zu treten, ist das ganze Ding ruiniert.

MaMa ist wie die Einstellung eines Wachmanns, der die Freunde beobachtet.

Wenn ein Freund versucht, die Burg zu treten, hält der Wachmann ihn auf.
Aber der Wachmann steht nicht nur da; der Wachmann lernt aus jedem Versuch, die Burg zu treten.
Schließlich weiß der Wachmann genau, wie man jeden Treffer stoppt, und die Freunde können ihre Sandburg perfekt bauen, selbst wenn einer von ihnen versucht, sie zu sabotieren.

Warum das wichtig ist

Die Arbeit argumentiert, dass wir, während wir KI-Agenten mehr reale Aufgaben übernehmen lassen (wie Geldverwaltung oder Softwaresteuerung), nicht einfach hoffen können, dass sie sich korrekt verhalten. Wir müssen sie so entwerfen, dass sie sicher durch Konstruktion sind. MaMa liefert einen Bauplan für den automatischen Aufbau dieser „unzerstörbaren" Teams und stellt sicher, dass selbst wenn einige Teile versagen oder böse werden, das gesamte System sicher und effektiv bleibt.

Technische Zusammenfassung: MaMa – Ein spieltheoretischer Ansatz für die Gestaltung sicherer agenter Systeme

Problemstellung

Multi-Agenten-Systeme auf Basis von Large Language Models (LLMs) haben in Bereichen wie Code-Generierung, medizinischer Diagnose und wissenschaftlicher Entdeckung erhebliche Fähigkeiten unter Beweis gestellt. Diese Systeme bergen jedoch erhebliche Sicherheitsrisiken, insbesondere wenn einzelne Agenten versagen, halluzinieren oder sich adversarisch verhalten. Während frühere Arbeiten die Sicherheit manuell gestalteter Systeme untersucht haben, fehlen automatisierten Design-Pipelines weitgehend robuste Sicherheitsmechanismen. Bestehende Bedrohungsmodelle gehen oft von schwachen Angreifern aus, die Agenten nur indirekt beeinflussen können. Dieser Beitrag argumentiert, dass die Gestaltung wirklich robuster Systeme eine Abwehr gegen einen strikt stärkeren Angreifer erfordert: einen, der eine Teilmenge von Agenten direkt kompromittieren kann, indem er deren Anweisungen überschreibt und sie auf böswillige Ziele koordiniert. Das Kernproblem besteht in der automatisierten Gestaltung agentiver Systeme, die unter solchen Worst-Case-Adversarial-Bedingungen sicher bleiben und gleichzeitig eine hohe Aufgabenleistung aufrechterhalten.

Methodik

Die Autoren schlagen MaMa (Meta-Adversary–Meta-Agent) vor, ein neuartiges Framework, das die Gestaltung sicherer agentiver Systeme als Stackelberg-Sicherheitsspiel formalisiert. Dieses Spiel umfasst zwei Spieler:

Der Meta-Agent (Führer): Verpflichtet sich zu einem Design eines agentiven Systems, spezifiziert Agenten, Werkzeuge und Kommunikationsstrukturen. Sein Ziel ist es, eine gewichtete Summe aus Aufgabenqualität (in benignen Settings) und Sicherheit (unter Angriff) zu maximieren.
Der Meta-Adversary (Folger): Beobachtet das vom Meta-Agent vorgeschlagene System und reagiert, indem er eine Teilmenge von $\epsilon$ Agenten auswählt und kompromittiert, um die Sicherheit des Systems zu minimieren. Er sucht nach dem „best response"-Angriff.

Der MaMa-Algorithmus

MaMa arbeitet iterativ und nutzt eine LLM-basierte adversarische Suche:

Initialisierung: Der Prozess beginnt mit einem Archiv initialer Systemdesigns (z. B. Systeme mit grundlegenden Guardrails).
Meta-Adversary-Phase: In jeder Iteration analysiert der Meta-Adversary das aktuelle System. Er generiert eine Reihe von Angriffen, indem er Anweisungen für $\epsilon$ Agenten überschreibt, um böswillige Aktionen auszuführen (z. B. Löschen von Dateien, Senden von Phishing-Nachrichten). Diese Angriffe werden validiert, ausgeführt und mithilfe einer Sicherheitsfunktion $s$ bewertet. Die $k$ stärksten Angriffe werden in einem Archiv gespeichert.
Meta-Agent-Phase: Der Meta-Agent ruft das aktuelle System und die $k$ stärksten Angriffe aus dem Archiv ab. Er analysiert die durch diese Angriffe aufgedeckten Schwachstellen und schlägt Änderungen am Systemdesign vor (z. B. Hinzufügen eines „Safety Agent", Ändern von Kommunikationsprotokollen oder Einführung von Abstimmungsmechanismen), um die identifizierten Bedrohungen zu mindern und gleichzeitig die Aufgabenqualität zu erhalten.
Bewertung und Archiv-Update: Das neue System wird sowohl in benignen als auch in adversarischen Settings bewertet. Die Ergebnisse (Qualitätswert $q$ und Sicherheitswert $s$ ) werden aufgezeichnet, und das System wird zum Archiv hinzugefügt.
Terminierung: Nach einer festgelegten Anzahl von Generationen wird das System mit dem höchsten gewichteten Score ausgewählt.

Der Suchraum ist als Tupel $a = (A, T, G)$ strukturiert, wobei $A$ die Menge der Agenten, $T$ die Menge der Werkzeuge und $G$ der Kommunikationsgraph ist. Diese strukturierte Definition ermöglicht eine klare Spezifikation sowohl des Design- als auch des Angriffsraums.

Hauptbeiträge

Framework: Der Beitrag stellt das erste Framework für die automatisierte Gestaltung agentiver Systeme vor, das explizit Sicherheit bei Agentenversagen und adversarischer Kompromittierung gewährleistet. Dies wird als Stackelberg-Sicherheitsspiel zwischen einem Designer und einem best-responding Angreifer formalisiert.
Methodik: Die Autoren schlagen MaMa vor, einen Algorithmus, der Systeme iterativ sowohl für Aufgabenleistung als auch für Sicherheit optimiert, indem er unter den stärksten Antwort-Adversarial-Angriffen trainiert, die durch LLM-basierte Suche entdeckt wurden.
Evaluation: Der Beitrag liefert empirische Belege in sechs unterschiedlichen Umgebungen (Reiseplanung, Persönlicher Assistent, Schreiben finanzieller Artikel, Code-Generierung und weitere aus den Benchmarks BAD-ACTS und AgentDojo).

Experimentelle Ergebnisse

Die Evaluation zeigt, dass MaMa Systeme erzeugt, die signifikant sicherer sind als initiale Designs und frühere Sicherheitsmechanismen (wie Guardian-Agenten oder Least-Privilege-Tool-Gating), während sie eine vergleichbare oder verbesserte Aufgabenleistung beibehalten.

Robustheit: Mit MaMa gestaltete Systeme verteidigen sich konsistent gegen Worst-Case-Angriffe. Beispielsweise sank der Sicherheitswert eines initialen Systems in der Umgebung „Reiseplanung" ohne MaMa von 4,89 (clean) auf 1,66 (angegriffen), wohingegen mit MaMa gestaltete Systeme auch unter Angriff hohe Sicherheitswerte beibehielten.
Erhaltung der Qualität: Im Gegensatz zu Sicherheitsmechanismen, die oft die Leistung verschlechtern, behielten mit MaMa gestaltete Systeme eine hohe Aufgabenwirksamkeit bei. In einigen Umgebungen verbesserte der iterative Verteidigungsprozess sogar die Qualität der Ausgaben im Vergleich zu Systemen, die ausschließlich auf Qualität optimiert wurden.
Generalisierung: Die resultierenden Systeme zeigten eine robuste Sicherheit über das Trainingsszenario hinaus:
- Verschiedene LLMs: Die Systeme blieben sicher, wenn die zugrunde liegenden LLMs sowohl für die Agenten als auch für den Adversary geändert wurden.
- Stärkere Adversaries: Systeme, die für die Widerstandsfähigkeit gegen einen kompromittierten Agenten ( $\epsilon=1$ ) entwickelt wurden, blieben auch dann robust, wenn der Adversary bis zu drei Agenten kontrollierte.
- Verschiedene Angriffstypen: Die Systeme generalisierten auf gezielte Angriffe und indirekte Prompt-Injection-Angriffe (Werkzeugmanipulation) und übertrafen die Baselines in der Attack Success Rate (ASR).

Bedeutung und Behauptungen

Der Beitrag behauptet, dass MaMa einen prinzipiellen Ansatz für „Sicherheit durch Konstruktion" (safety by construction) für agentive Systeme darstellt. Durch die explizite Modellierung des Designprozesses als Spiel gegen einen mächtigen Angreifer zwingt die Methode das System, Abwehrmechanismen zu entwickeln, die gegen direkte Agentenkompromittierung robust sind.

Die Autoren betonen, dass bestehende Methoden zur automatisierten Gestaltung zwar auf Aufgabenleistung fokussieren, aber oft die katastrophalen Risiken von Agentenversagen oder böswilligem Verhalten ignorieren. MaMa schließt diese Lücke, indem es Sicherheit direkt in den Optimierungsloop integriert. Der Beitrag kommt zu dem Schluss, dass mit MaMa gestaltete Systeme signifikant sicherer sind als manuell erstellte Alternativen oder solche, die nur auf Qualität optimiert wurden, und einen Weg bieten, agentive Systeme in hochriskanten Umgebungen mit größerem Vertrauen einzusetzen. Die Autoren vermerken bescheiden, dass ihre Benchmarks zwar reale Szenarien simulieren, zukünftige Arbeiten jedoch erforderlich sind, um diese Erkenntnisse an komplexeren, embodied AI-Systemen zu validieren und die Rechenkosten des iterativen Bewertungsprozesses zu adressieren.