Delegation-Aware Runtime Contracts for Open LLM Multi-Agent Systems: Constraint Preservation, Capability Revocation, and State Recovery

Stellen Sie sich eine Welt vor, in der Sie nicht nur mit einem einzigen smarten Roboter sprechen, sondern mit einem ganzen Team von ihnen, die zusammenarbeiten. In dieser Welt könnte ein „Manager“-Roboter sagen: „Hey, du geh und finde den besten Preis für einen neuen Laptop“, und dann könnte dieser Roboter zu einem dritten Roboter sagen: „Du geh und überprüfe die Webseiten.“ Das nennt man ein Multi-Agenten-System. Es ist wie ein digitaler Staffellauf, bei dem der Stab eine Aufgabe ist. Aber hier liegt der knifflige Teil: Wenn der erste Roboter die Aufgabe an den zweiten übergibt, flüstert er die Anweisungen normalerweise nur in natürlicher Sprache. Wenn der erste Robot sagt: „Gib nicht mehr als 500 $ aus“, hört der zweite Roboter vielleicht nur: „Finde einen Laptop“ und vergisst das Preislimit völlig. Das passiert, weil Computer großartig darin sind, Regeln zu befolgen, aber nicht immer so gut darin, sich an das Kleingedruckte zu erinnern, wenn sie ein Gespräch weitergeben. Wissenschaftler sind besorgt, dass, wenn wir diese Roboter-Teams ohne bessere Regeln unkontrolliert laufen lassen, sie versehentlich unser ganzes Geld ausgeben, unsere Geheimnisse verraten oder Dinge tun könnten, die wir nie von ihnen verlangt haben.

Dieses Paper stellt eine neue Methode zum Umgang mit diesen Roboter-Übergaben vor, genannt DARC (Delegation-Aware Runtime Contracts). Denken Sie an das, als würde man den Robotern einen speziellen, unzerbrechlichen Rucksack geben anstatt nur eines Flüsterns. Jedes Mal, wenn ein Roboter eine Aufgabe an einen anderen übergibt, sagt er nicht nur „Geh“, sondern überreicht einen digitalen Vertrag in diesem Rucksack. Dieser Vertrag listet genau auf, was der neue Roboter tun darf, was er nicht darf, wie viel Geld er ausgeben darf und wann sein Auftrag abläuft. Das Paper zeigt, dass, wenn Sie diese Verträge verwenden, mathematisch bewiesen werden kann, dass der neue Roboter nicht plötzlich mehr Macht erhalten kann als der alte hatte, und dass er die Budgetgrenzen nicht vergessen kann. Der Autor hat ein System entwickelt, um diese Rucksäcke automatisch zu überprüfen. Er fand heraus, dass ohne diese Verträge Regeln oft verloren gehen, wenn Aufgaben weitergegeben werden, aber mit ihnen bleiben die Regeln fest verankert. Das Paper weist jedoch vorsichtig darauf hin, dass die Teile, die das Verständnis menschlicher Sprachbedeutungen erfordern (wie „sei höflich“), immer noch etwas knifflig sind und mehr Tests benötigen.

Das Problem: Das „Stille-Post-Spiel“ von Roboter-Teams

Stellen Sie sich das Spiel „Stille Post“ mit einer Gruppe von Freunden vor. Sie flüstern einem ersten Freund ein Geheimnis zu, der es dem nächsten zuflüstert, und so weiter. Bis es beim letzten ankommt, hat sich das Geheimnis meist verändert. Vielleicht wird aus „Iss nicht den Kuchen!“ plötzlich „Iss den Kuchen!“.

In der Welt der KI passiert genau das, wenn ein Team von Large Language Model (LLM) Agenten zusammenarbeitet. Ein Agent (der Chef) gibt einem anderen Agenten (dem Arbeiter) eine Aufgabe. Der Chef sagt vielleicht: „Finde einen Anbieter, aber gib nicht mehr als 1.000 $ aus und zeige niemandem unsere Mitarbeiterliste.“ Der Arbeiter hört dies und übergibt die Aufgabe an einen dritten Agenten (den Web-Surfer). Aber da die Nachricht nur aus reinem Text besteht, hört der dritte Agent vielleicht nur: „Finde einen Anbieter.“ Das Budgetlimit und die Datenschutzregel sind in Luft aufgelöst!

Das ist gefährlich. Wenn ein Roboter-Team das Budget eines Unternehmens verwaltet oder private Daten handhabt, bedeutet der Verlust dieser Regeln, dass die Roboter versehentlich Millionen ausgeben oder Geheimnisse verraten könnten. Das Problem ist nicht, dass die Roboter „böse“ sind; das Problem ist, dass die Art und Weise, wie sie miteinander kommunizieren, wichtige Sicherheitsregeln wie optionale Vorschläge statt wie harte Gesetze behandelt.

Die Lösung: Der unzerbrechliche Rucksack (DARC)

Der Autor dieses Papers, angeführt von Vinay Bamil, schlägt eine Lösung namens DARC vor. Anstatt nur eine Textnachricht zu übergeben, muss jeder Agent, wenn er eine Aufgabe delegiert, einen Delegationsvertrag übergeben.

Betrachten Sie diesen Vertrag als einen speziellen, unzerbrechlichen Rucksack, der mit der Aufgabe kommt. In diesem Rucksack befinden sich klare, maschinenlesbare Etiketten, die besagen:

• Was du tun darfst: (z. B. „Du darfst Preise prüfen, aber du darfst nichts kaufen.“)
• Was du nicht darfst: (z. B. „Du darfst keine Mitarbeiterakten einsehen.“)
• Das Budget: (z. B. „Du hast genau 500 $ übrig, die du ausgeben kannst.“)
• Das Ablaufdatum: (z. B. „Diese Aufgabe ist nur für 1 Stunde gültig.“)
• Die Historie: (z. B. „Diese Aufgabe kam von Agent A, der sie vom Chef erhielt.“)

Die Magie von DARC liegt darin, dass es diese Regeln als Mathematik behandelt, nicht nur als Worte. Wenn ein Roboter versucht, eine Aufgabe an einen neuen Roboter zu übergeben, prüft ein „Mediator“ (ein Sicherheitswächter) den Rucksack. Wenn der neue Roboter versucht, eine Regel herauszunehmen, die nicht da war, oder wenn er versucht, eine neue Macht zu erlangen, die der vorherige nicht hatte, sagt der Wächter: „Nö!“ und stoppt die Übergabe.

Wie es funktioniert: Der Sicherheitswächter und der Rucksack

Das System arbeitet in drei Hauptphasen, ähnlich wie eine Sicherheitskontrolle an einem Flughafen:

1. Die Übergabe (Mediator): Wenn Agent A eine Aufgabe an Agent B übergeben möchte, prüft der Mediator den Rucksack. Er stellt sicher, dass Agent B nicht nach mehr Macht verlangt, als Agent A hatte. Wenn Agent A ein Budget von 500 $ hatte, kann Agent B nicht ein Budget von 600 $ erhalten. Wenn Agent A eine Regel bezüglich „keine Mitarbeiterdaten“ hatte, muss auch Agent B diese Regel einhalten. Der Rucksack wird vor der Übergabe der Aufgabe erstellt, sodass es unmöglich ist, die Regeln zu vergessen.
2. Die Aktion (Gateway): Wenn Agent B versucht, tatsächlich etwas zu tun (wie einen Laptop zu kaufen oder eine Datei zu lesen), prüft das Gateway den Rucksack erneut. Es fragt: „Hast du die Erlaubnis dazu? Hast du noch genügend Budget übrig? Sind die Daten, die du lesen willst, erlaubt?“ Wenn die Antwort nein lautet, wird die Aktion sofort blockiert.
3. Die Bereinigung (Incident Controller): Was ist, wenn ein Roboter gehackt wird oder durchdreht? Das System kann den Rucksack „entziehen“. Wenn der Chef sagt: „Stoppt Agent B!“, stoppt das System nicht nur Agent B; es verfolgt die Historie des Rucksacks. Es findet jeden Roboter, dem Agent B eine Aufgabe gegeben hat, und stoppt diese ebenfalls. Es setzt zudem alle Daten, die diese Roboter berührt haben, unter Quarantäne, um sicherzustellen, dass sich die „Infektion“ nicht ausbreitet.

Was der Autor herausgefunden hat (und was nicht)

Der Autor hat einen Prototyp dieses Systems gebaut und es streng getestet. Hier ist, was er entdeckt hat:

• Die Mathematik funktioniert: Er hat bewiesen, dass, wenn man diese Verträge verwendet, die Regeln nicht versehentlich verloren gehen können. Wenn ein Budget auf 500 $ gesetzt wurde, bleibt es 500 $ (oder weniger), egal wie oft die Aufgabe weitergereicht wird. Er fand heraus, dass ohne dieses System Regeln oft nach nur wenigen Übergaben verschwinden.
• Der „Omission“-Bug (Auslassungsfehler): Während seiner Tests entdeckte er einen hinterhältigen Fehler. Er stellte fest, dass, wenn ein Eltern-Roboter vergessen hatte, ein spezifisches Limit (wie eine Budgetzahl) aufzuschreiben, der Kind-Roboter denken könnte, er hätte unbegrenztes Geld zur Verfügung. Er behob dies, indem er eine neue Regel einführte: Wenn ein Limit fehlt, muss das System das strengste mögliche Limit annehmen (wie 0 $), um auf der sicheren Seite zu sein. Dies ist eine große Lektion für den Aufbau sicherer KI.
• Das „Bedeutungs“-Problem: Das System ist perfekt darin, Zahlen, Daten und klare Regeln zu prüfen. Aber es ist nicht perfekt darin, die Nuancen der menschlichen Sprache zu verstehen. Wenn zum Beispiel eine Regel besagt „Sei höflich“, kann das System mathematisch nicht beweisen, ob ein Roboter höflich war oder nicht. Der Autor gibt zu, dass das System für diese „bedeutungsbasierten“ Regeln nur ein „Best-Effort“-Monitor ist, kein perfekter Garant. Er ist ehrlich darüber: Er kann beweisen, dass die Mathematik funktioniert, aber er kann (noch) nicht beweisen, dass die „Höflichkeit“ funktioniert.
• Das Testen: Er führte eine Pilotstudie durch, um zu sehen, wie gut ein automatisierter Richter solche Fehler erkennen kann. Jedoch hat der Richter seinen strengen Übereinstimmungstest noch nicht bestanden. Daher behauptet er nicht, das „Höflichkeits-Problem“ bereits gelöst zu haben; er zeigt lediglich, dass sein System in der Lage ist, diese Probleme zu verfolgen, und dass weitere Tests erforderlich sind.

Warum das wichtig ist

Dieses Paper bildet eine Brücke zwischen zwei Welten: der alten Welt der strengen Computersicherheit (in der Regeln hart und unzerbrechlich sind) und der neuen Welt der flexiblen KI-Teams (in der Roboter in natürlicher Sprache kommunizieren).

Der Autor zeigt, dass wir KI-Roboter nicht einfach frei miteinander kommunizieren lassen dürfen, wenn wir sie sicher machen wollen. Wir müssen ihnen einen „Vertrag“ mitgeben, der mit der Aufgabe reist. Dies stellt sicher, dass selbst wenn die Roboter gesprächig und kreativ sind, sie nicht die Regeln brechen können, die wir für sie festgelegt haben.

Obwohl das System noch nicht perfekt ist (insbesondere beim Verständnis komplexer menschlicher Bedeutungen), bietet es ein solides Fundament. Es beweist, dass wir KI-Teams bauen können, die leistungsstark und dennoch sicher sind, indem wir unser Geld und unsere Geheimnisse schützen, indem wir jede Übergabe als einen ernsthaften, geprüften Vertrag behandeln und nicht bloß als ein Flüstern in der Dunkelheit.