🤖 machine learning

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

Dieses Paper schlägt ein vertragsbasiertes kompositionelles Shielding-Framework für Multi-Agenten-Reinforcement-Learning vor, das deterministische Sicherheitsgarantien gewährleistet und team-optimales Verhalten unter dezentraler Ausführung durch die Zertifizierung von Tupeln lokaler LTL-Verpflichtungen mittels eines nicht-stationären Multi-Armed-Bandit-Selektors sicherstellt.

Ursprüngliche Autoren: Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein Team von Robotern, die zusammenarbeiten sollen, wie etwa eine Flotte von Drohnen, die Pakete ausliefert, oder Roboter, die ein Lager organisieren. Das Ziel ist es, dass sie lernen, ihre Aufgaben so schnell und effizient wie möglich zu erledigen. Es gibt jedoch einen Haken: Wenn sie einen Fehler machen, könnten sie zusammenstoßen oder etwas beschädigen.

Das Problem ist, dass das, was für einen Roboter „sicher“ ist, oft davon abhängt, was die anderen Roboter tun. Wenn Roboter A nach links fährt, ist es sicher. Aber wenn Roboter B zur gleichen Zeit auch nach links fährt, krachen sie zusammen.

Der alte Weg: Das überprotektive Elternteil

Traditionell wurde verwendet, um Roboter sicher zu halten, ein „zentraler Schutzschild“. Stellen Sie sich das wie ein strenges Elternteil vor, das das gesamte Team beobachtet. Das Elternteil sieht jede mögliche Bewegung und sagt: „Okay, du darfst nach links fahren, aber nur, wenn du dir absolut sicher bist, dass niemand sonst auch nach links fährt.“

Um sicher zu gehen, ist dieses Elternteil oft zu vorsichtig. Es könnte sagen: „Ich kann niemanden nach links fahren lassen, nur für den Fall, dass...“, weil es die Bewegungen der anderen Roboter nicht perfekt vorhersagen kann. Dies hindert die Roboter daran, die klugen, koordinierten Manöver durchzuführen, die die Arbeit schnell erledigen würden. Es ist wie ein Elternteil, das einer Gruppe von Kindern sagt: „Spielt kein Fangen, weil jemand stolpern könnte“, sodass sie einfach nur stillsitzen. Sie sind sicher, aber sie lernen nicht und haben auch keinen Spaß.

Der neue Weg: Das „Vertragssystem“

Dieses Paper stellt eine intelligentere Methode vor, um das Team sicher zu halten, ohne so einschränkend zu sein. Sie nennen es Contract-Based Compositional Shielding (Vertragsbasierte kompositionale Abschirmung).

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der Teamvertrag
Anstatt eines großen Regelbuchs vereinbart das Team eine Reihe von lokalen Verträgen.

Roboter A sagt: „Ich verspreche, immer auf der linken Seite des Raums zu bleiben.“
Roboter B sagt: „Ich verspreche, immer auf der rechten Seite des Raums zu bleiben.“

Dies sind „lokale Verpflichtungen“. Es sind einfache Versprechen, die jeder Roboter über sein eigenes Verhalten abgibt.

2. Der magische Check (Zertifizierung)
Bevor die Roboter überhaupt anfangen zu lernen, prüft ein Computer, ob diese Versprechen zusammen funktionieren. Er fragt: „Wenn Roboter A sein Versprechen hält und Roboter B sein Versprechen hält, werden sie sich dann niemals zusammenstoßen?“

Wenn die Antwort JA lautet, ist der Vertrag „zertifiziert“.
Wenn die Antwort NEIN lautet, wird der Vertrag verworfen.

Dies ist der „zirkuläre“ Teil. Roboter A verlässt sich auf das Versprechen von Roboter B, und Roboter B verlässt sich auf das Versprechen von Roboter A. Solange der Computer beweist, dass beide Versprechen zusammen Sicherheit garantieren, ist das Team bereit.

3. Die lokalen Schilde
Sobald der Vertrag zertifiziert ist, erhält jeder Roboter seinen eigenen winzigen „Schild“ (einen Filter).

Der Schild von Roboter A betrachtet nur die Bewegungen von Roboter A. Er sagt: „Du kannst dich nach links, rechts oder nach vorne bewegen, solange du auf der linken Seite bleibst.“ Er muss nicht wissen, was Roboter B macht, weil er dem Vertrag von Roboter B vertraut.
Roboter B erhält einen ähnlichen Schild.

Da diese Schilde auf diesen vertrauenswürdigen Versprechen basieren, darf Roboter A Dinge tun, die das alte „strenge Elternteil“ verboten hätte. Roboter A kann nach links fahren, weil er weiß, dass Roboter B versprochen hat, rechts zu bleiben. Dies ermöglicht es dem Team, die koordinierten, schnellen Manöver durchzuführen, die zuvor unmöglich waren.

Der Lernprozess: Der „Game Show“-Selektor

Das Paper beschreibt auch, wie die Roboter lernen, den besten Vertrag auszuwählen.
Stellen Sie sich vor, die Roboter haben eine Bibliothek mit verschiedenen Verträgen (z. B. „Bleib links“, „Bleib rechts“, „Bewege dich langsam“, „Bewege dich schnell“).

Sie probieren einen Vertrag eine Zeit lang aus.
Sie sehen, wie gut sie abgeschnitten haben (haben sie das Paket erhalten? Gab es einen Crash?).
Ein „Selektor“ (wie ein Moderator einer Spielshow) wählt den Vertrag aus, der bisher die besten Ergebnisse geliefert hat, und bleibt dabei.
Wenn ein Vertrag nicht mehr gut funktioniert, wechseln sie zu einem neuen aus der Bibliothek.

Entscheidend ist, dass sie nur zu Verträgen wechseln, die bereits als sicher zertifiziert wurden. Sie versuchen niemals einen „wilden Schätzer“-Vertrag, der nicht überprüft wurde. Das bedeutet, dass sie lernen und ihre Geschwindigkeit verbessern können, ohne jemals ein Crash-Risiko einzugehen.

Die Ergebnisse

Die Autoren haben dies in sechs verschiedenen Roboterszenarien getestet (wie z. B. Lagerroboter und Drohnenschwärme). Sie fanden heraus:

Sicherheit: Die Roboter sind nie zusammengestoßen, da die Verträge mathematisch als sicher bewiesen wurden.
Leistung: Die Roboter lernten, viel besser zusammenzuarbeiten als mit der alten „strengen Elternteil“-Methode. Sie konnten die „optimale“ (beste) Art der Koordination wiederherstellen, die die alten Methoden verworfen hatten.

Zusammenfassung

Kurz gesagt löst dieses Paper das Problem: „Wie lassen wir Roboter koordinieren, ohne dass ein zentraler Chef jeden einzelnen Schritt mikromanagt?“

Alter Weg: „Bewege dich nicht, außer ich sage, dass es für alle zu 100 % sicher ist.“ (Zu langsam, zu vorsichtig).
Neuer Weg: „Du versprichst X, ich verspreche Y. Wenn wir beide unsere Versprechen halten, sind wir sicher. Lass uns versuchen, unsere Arbeit schnell zu erledigen!“ (Schnell, koordiniert und dennoch sicher).

Das Paper beweist, dass dieser „Vertragsansatz“ es Teams von Robotern ermöglicht, komplexe, sichere Teamarbeit zu erlernen, ohne dass ein zentraler Controller sie jede Sekunde überwachen muss.

Technisches Resümee: Kontraktbasierte kompositionale Abschirmung für sicheres Multi-Agenten-Reinforcement-Learning

Problemstellung

In kooperativem Multi-Agenten-Reinforcement-Learning (MARL) ist die Gewährleistung von Sicherheit während des Trainings und der Anwendung eine Herausforderung, wenn globale Sicherheitsbeschränkungen nicht von einem einzelnen Agenten einseitig erzwungen werden können. In „sicheren Koordinationsproblemen“ hängt die Zulässigkeit der Aktion eines Agenten von den nicht-stationären Policies seiner Teamkollegen ab. Standardansätze verlassen sich oft auf zentralisierte Abschirmung (centralized shielding), welche eine globale sichere Aktionsrelation berechnet, oder auf unilaterale (faktorisierte) Maskierung, bei der jeder Agent seine Aktionen unabhängig basierend auf Worst-Case-Annahmen über andere einschränkt.

Das Paper identifiziert eine kritische Einschränkung der unilateralen Maskierung: Sie verwirft oft optimale sichere Verhaltensweisen, die Koordination erfordern. Wie das erläuternde Beispiel des Papers (Abbildung 1) zeigt, wenn die sichere Aktion von Agent A davon abhängt, dass Agent B eine bestimmte Aktion wählt, wird eine rein unilaterale Maskierung die Aktion von Agent A verbieten, um gegen alle möglichen Aktionen von Agent B sicher zu bleiben. Dies führt zu einer „konservativen kartesischen Dekomposition“, die sichere, hochbelohnende koordinierte gemeinsame Aktionen ausschließt. Das Ziel ist es, dezentrale Ausführung (bei der Agenten basierend auf lokalen Informationen handeln) zu erreichen und gleichzeitig das teamoptimale sichere Verhalten wiederherzustellen, ohne zu einer zentralisierten Laufzeitsteuerung zurückzukehren.

Methodik

Die Autoren schlagen Kontraktbasierte kompositionale Abschirmung (Contract-Based Compositional Shielding) vor, ein Framework, das eine gemeinsame globale Spezifikation in lokale temporale Kontrakte zerlegt. Die Methodik besteht aus drei Hauptphasen:

1. Formales Framework und Annahmen

Globale Spezifikation: Sicherheit wird durch eine einzige globale Formel $\Phi_{safe}$ im Sicherheitsfragment der Linearen Temporalen Logik ( $LTL_{safe}$ ) definiert.
Lokale Kontrakte: Die globale Spezifikation wird in ein Tupel lokaler Verpflichtungen $C = \langle \phi_i \rangle_{i=1}^n$ zerlegt, wobei jedes $\phi_i$ eine $LTL_{safe}$ -Formel über dem lokalen Alphabet von Agent $i$ ist.
Zirkuläres Assume-Guarantee: Im Gegensatz zu früheren Arbeiten, die azyklische Abhängigkeitsstrukturen erfordern, erlaubt dieser Ansatz zirkuläre Annahmen. Agent $i$ nimmt an, dass alle anderen Agenten $j \neq i$ ihre Verpflichtungen $\phi_j$ erfüllen. Diese Zirkularität wird nicht durch eine feste Ordnung gelöst, sondern indem das gesamte Tupel simultan zertifiziert wird.

2. Schild-Synthese (Offline)

Der Syntheseprozess konstruiert eine Bibliothek zertifizierter Kontrakte:

Automatenkonstruktion: Jede lokale Verpflichtung $\phi_i$ wird in einen deterministischen Sicherheitsautomaten $A^C_i$ mit einer Menge von „schlechten Zuständen“ (bad states) kompiliert, die Verstöße repräsentieren.
Kontrakt-Produkt: Ein globales Produktautomaten-Konstrukt wird über den Zustandsraum $S \times Q_1 \times \dots \times Q_n$ erstellt.
Fixed-Point-Zertifizierung: Die Autoren berechnen einen größten Fixpunkt (die „rechteckige Gewinnregion“ $Win^\square_C$ $W i n_{C}^{□}$ ) unter Verwendung eines Assume-Guarantee-Prädikator-Operators. Diese Region repräsentiert Zustände, aus denen ein nicht-leerer kartesischer Produktsatz lokaler Aktionsmasken (ein „Rechteck“) aufrechterhalten werden kann, sodass:
1. Die gemeinsame Aktion innerhalb der Gewinnregion bleibt.
2. Keine schlechten Zustände erreicht werden.
Zertifizierungskriterien: Ein Kontrakt-Tupel ist „zertifiziert“, wenn:
1. Die Konjunktion der lokalen Verpflichtungen die globale Sicherheitsvorgabe semantisch impliziert ( $C \models^\uparrow \Phi_{safe}$ ).
2. Der Anfangszustand des Systems innerhalb der berechneten Gewinnregion liegt.
Projektion: Sobald zertifiziert, wird die Gewinnregion projiziert, um lokale Aktionsmasken für jeden Agenten zu generieren. Diese Masken sind „lokal masken-identifizierbar“, was bedeutet, dass ein Agent seine erlaubten Aktionen allein unter Verwendung seiner lokalen Beobachtungshistorie und der aktiven Kontrakt-ID bestimmen kann, ohne die Masken anderer Agenten rekonstruieren zu müssen.

3. Lernen und Selektion (Online)

Bibliothekskonstruktion: Vor dem Training enumeriert eine beschränkte Suche Kandidaten-Kontrakt-Tupel (begrenzt durch Formeltiefe und eine endliche Sprache). Jeder Kandidat wird auf Zertifizierung geprüft. Die Menge der erfolgreichen Tupel bildet die Zertifizierte Bibliothek ( $\mathcal{L}_{cert}$ ).
Bandit-Selektor: Während des Trainings wählt ein nicht-stationärer Multi-Armed-Bandit-Algorithmus aus, welcher Kontrakt aus der Bibliothek für einen gegebenen Trainingsblock erzwungen werden soll.
- Jeder Kontrakt fungiert als ein „Arm“.
- Der Selektor optimiert den Team-Ertrag (team return) und stellt gleichzeitig Sicherheit sicher.
- Er verwendet eine Discounted Upper Confidence Bound (D-UCB) Strategie, um sich an die Nicht-Stationarität des Lernprozesses anzupassen (da sich die Werte verschiedener Kontrakte verbessern, während die Policies besser werden).
Sicherheitsgarantie: Theorem 3 garantiert, dass das System end-to-end sicher bleibt, solange der Selektor die Kontrakte nur an Episodengrenzen wechselt und immer einen Kontrakt aus der vorzertifizierten Bibliothek wählt.

Zentrale Beiträge

Das Paper skizziert vier primäre Beiträge:

Dekomposition und Kompilierung: Eine Methode zur Zerlegung einer gemeinsamen globalen $LTL_{safe}$ -Spezifikation in Kandidaten-lokale Verpflichtungen und deren Kompilierung in deterministische Sicherheitsautomaten für die Schild-Synthese.
Formale Korrektheit und Wiederherstellbarkeit: Formale Garantien für dezentrale Abschirmung basierend auf zirkulärer Assume-Guarantee-Argumentation und Kontrakt-Produkt-Fixpunkten. Die Autoren beweisen, dass das Framework die optimale sichere deterministische Policy wiederherstellen kann, sofern diese durch einen Kontrakt in der Bibliothek repräsentierbar ist.
Optimierung unter Zertifizierung: Ein Mechanismus unter Verwendung von beschränkter zertifizierter Profilsuche und diskontierter UCB-Selektion, um Konservativität zu reduzieren. Dies ermöglicht es dem System, Kontrakte auszuwählen, die hochbelohnende koordinierte Verhaltensweisen freisetzen, ohne die deterministische Sicherheit zu gefährden.
Empirische Evaluierung: Umfangreiche Evaluierung über 6 kooperative Multi-Agenten-Umgebungen (einschließlich Flatland, RWARE und Pressure Plate) und 15 algorithmische Varianten, die die Effektivität des Ansatzes demonstrieren.

Ergebnisse

Die empirische Evaluierung vergleicht das vorgeschlagene Contract-IPPO und Contract-IQL gegen Standard-MARL-Algorithmen (IPPO, IQL, MAPPO) sowie verschiedene Shielding-Baselines (unilaterale Schilde, zentralisierte Schilde).

Performance: In Umgebungen, in denen unilaterale faktorisierte Masken zu konservativ sind (z. B. RWARE, Pressure Plate, Connector), verbessert das kontraktbasierte Shielding den Team-Ertrag signifikant und konvergiert in Richtung der Performance zentralisierter Schilde (wie Shielded-Joint-PPO).
Sicherheit: Die Sicherheit wird strukturell erzwungen; die Kurven in Abbildung 4 messen den erhaltenen Ertrag, was impliziert, dass Sicherheitsverletzungen durch die Masken selbst verhindert werden.
Skalierbarkeit: In den größten Umgebungen betrachtete die beschränkte Suche bis zu 12.001 Profile, von denen bis zu 390 als sicher zertifiziert wurden, was die Machbarkeit des Offline-Enumerationsansatzes demonstriert.
Spezifische Erkenntnisse: In der „Pressure Plate“-Umgebung zwangen Standard-faktorisierte Schilde den Läufer (Runner), sich aus geschützten Türbereichen fernzuhalten, um sicher gegen jedes Halter-Verhalten (Holder Behavior) zu sein. Der kontraktbasierte Ansatz erlaubte es dem Läufer, die Fläche zu überqueren, indem er sich auf die zertifizierte Verpflichtung der Halter verlassen konnte, auf ihren Platten zu bleiben, wodurch das koordinierte optimale Verhalten wiederhergestellt wurde.

Bedeutung und Ansprüche

Das Paper behauptet, den grundlegenden Trade-off in sicherem MARL zwischen dezentraler Ausführung und optimaler Koordination zu adressieren.

Wiederherstellung der Koordination: Die Autoren behaupten, dass ihre Methode ein „team-optimales sicheres Verhalten“ wiederherstellt, das durch rein faktorisierte (unilaterale) Schilde typischerweise verloren geht. Durch das Zulassen von zirkulären Annahmen, die simultan zertifiziert werden, vermeidet das System die „konservative kartesische Dekomposition“, die sichere gemeinsame Aktionen ausschließt.
End-to-End Sicherheit: Das Framework trennt die Belohnungsadaptation (Lernen) von der Sicherheitserzwingung (Abschirmung). Der Lernprozess kann innerhalb der Grenzen vorzertifizierter Kontrakte explorieren und optimieren, was sicherstellt, dass während des Trainings und der Anwendung niemals ein unsicheres Verhalten zugelassen wird.
Bescheidener Umfang: Das Paper ist bescheiden hinsichtlich seiner Einschränkungen. Es räumt ein, dass die Fähigkeit, das globale Optimum wiederherzustellen, von der Repräsentierbarkeit der optimalen Policy innerhalb der endlichen Bibliothek lokaler Kontrakte abhängt. Wenn die Kontraktsprache (z. B. durch eine zu niedrige Tiefe $D$ ) nicht expressiv genug ist, um die notwendige Koordination zu erfassen, kann das System das globale Optimum nicht wiederherstellen. Zudem basiert der aktuelle Ansatz auf einer erschöpfenden (wenn auch beschränkten) Enumeration von Kontrakten; für zukünftige Arbeiten wird vorgeschlagen, Heuristiken für das Finden nahezu optimaler Kontrakte ohne vollständige Enumeration zu untersuchen.

Zusammenfassend präsentiert das Paper einen rigorosen, formal verifizierten Ansatz für sicheres MARL, der es dezentralen Agenten ermöglicht, effektiv zu koordinieren, ohne eine zentrale Laufzeitsteuerung zu benötigen, und damit die Lücke zwischen formaler Verifikation und Reinforcement-Learning-Optimierung schließt.