💻 computer science

Robust and Safe Multi-Agent Reinforcement Learning with Communication for Autonomous Vehicles: From Simulation to Hardware

Dieser Beitrag stellt RSR-RSMARL vor, ein robustes und sicheres Multi-Agenten-Reinforcement-Learning-Framework, das Kommunikation, robuste Politiktraining für Zero-Shot-Sim-zu-Real-Transfer und sicherheitsgewährleistende Schilde auf Basis von Control Barrier Functions integriert und erfolgreich verbesserte Koordination sowie Sicherheit auf hardwarebasierten autonomen Fahrzeugen demonstriert.

Ursprüngliche Autoren: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von ferngesteuerten Spielzeugautos vor, die versuchen, gemeinsam eine Rennstrecke zu befahren. In der perfekten Welt der Computersimulationen können diese Autos wie telepathische Zwillinge sofort miteinander kommunizieren. Wenn ein Auto ein Schlagloch sieht, teilt es dies den anderen sofort mit, und alle reagieren exakt zur gleichen Zeit.

In der realen Welt funktioniert das jedoch nicht so. Echte Autos kommunizieren über WLAN, und dieses Signal benötigt Zeit zur Übertragung. Manchmal ist es schnell, manchmal langsam, und manchmal kommt die Nachricht eine winzige Sekunde zu spät. Wenn Sie Ihre Autos darauf trainieren, sofortige Telepathie zu erwarten, werden sie auf einer echten Strecke zusammenstoßen, da sie auf Informationen reagieren, die bereits veraltet sind.

Diese Arbeit stellt eine neue Trainingsmethode namens RSR-RSMARL vor (ein Wortungetüm, aber denken Sie daran als „Real-Sim-Real Smart Driving"), um genau dieses Problem zu lösen. So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Training mit „Realwelt-Verzögerung"

Anstatt vorzutäuschen, dass die Autos sofort miteinander sprechen können, maßen die Forscher, wie lange es tatsächlich dauert, bis ihre Spielzeugautos Nachrichten aneinander senden. Sie stellten fest, dass dies etwa 10 bis 20 Millisekunden dauert (ein Wimpernschlag, aber eine lange Zeit für ein schnelles Auto).

Sie bauten diese „Latenz" direkt in die Computersimulation ein. Sie lehrten die KI-Autos, zu fahren, wobei sie wussten, dass die Nachrichten ihrer Freunde möglicherweise ein wenig verspätet ankommen. Es ist wie das Training einer Basketballmannschaft, bei der der Trainer Anweisungen mit einer leichten Verzögerung ruft, wodurch die Spieler lernen müssen, auch dann zu antizipieren und zu reagieren, wenn das Signal nicht perfekt ist. Auf diese Weise sind die Autos, wenn sie vom Computer in die reale Welt übergehen, bereits an die Verzögerung gewöhnt.

2. Der „Sicherheitswächter" (Der Türsteher)

Selbst bei guter Ausbildung kann die KI manchmal einen riskanten Zug machen. Um Zusammenstöße zu verhindern, fügten die Forscher einen „Sicherheitspanzer" hinzu. Denken Sie daran als an einen strengen Türsteher in einem Club oder ein Sicherheitsnetz für einen Turner.

Der Trainer (Die KI): Die KI entscheidet, was das Auto tun sollte (z. B. „Jetzt Spurwechsel!").
Der Türsteher (Der Sicherheitspanzer): Bevor das Auto sich tatsächlich bewegt, prüft der Sicherheitspanzer den Plan. Er fragt: „Ist dies sicher, angesichts dessen, wo die anderen Autos gerade jetzt sind und wo sie sein könnten, wenn ihre Nachricht verspätet war?"
Das Ergebnis: Wenn der Plan der KI zu riskant ist, lenkt der Sicherheitspanzer das Auto sanft zu etwas Sichererem (wie dem Abbremsen) um, anstatt einen Zusammenstoß zuzulassen. Dies geschieht in Echtzeit, jede einzelne Sekunde.

3. Die „Plug-and-Play"-Bremsen

Das System ist so konzipiert, dass es flexibel ist. Die KI kann mit verschiedenen Arten von „Low-Level"-Reglern (den Teilen, die tatsächlich das Gaspedal oder die Bremse betätigen) kommunizieren.

PID-Regler: Wie ein einfacher, schneller Reflex. Gut für schnelle, leichte Reaktionen.
MPC-Regler: Wie ein Schachspieler. Er denkt ein paar Schritte voraus, um die Fahrt glatter zu gestalten, benötigt jedoch ein winziges bisschen mehr Rechenleistung.
Die Forscher zeigten, dass ihr System mit beiden Typen hervorragend funktioniert, was beweist, dass es ein vielseitiges Framework ist.

4. Der große Test: Von der Simulation zur Realität

Das Team testete dies auf zwei Arten:

Im Computer (CARLA-Simulator): Sie führten Tausende von Rennen mit unterschiedlichen „Latenz"-Stufen und Hindernissen durch.
Auf echter Hardware: Sie setzten die trainierte KI auf einen Fuhrpark von autonomen Autos im Maßstab 1/10 (etwa so groß wie eine große Schuhkarton), die mit Kameras und Lasern ausgestattet waren.

Die Ergebnisse:

Keine Unfälle: Die Autos, die mit der Methode „Realwelt-Verzögerung" und dem „Sicherheitspanzer" trainiert wurden, absolvierten die Strecken, ohne etwas zu berühren, selbst wenn sich die anderen Autos unvorhersehbar bewegten.
Das „Telepathie"-Versagen: Autos, die ohne Berücksichtigung von Verzögerungen trainiert wurden (unter der Annahme einer sofortigen Kommunikation), stießen auf der realen Strecke viel häufiger zusammen.
Das „Kein-Reden"-Versagen: Autos, die überhaupt nicht miteinander kommunizieren konnten, waren langsamer und neigten eher dazu, gegen Dinge zu stoßen.
Der „Zeitvariierende"-Gewinner: Die besten Ergebnisse wurden erzielt, indem die Autos mit wechselnden Verzögerungen trainiert wurden (manchmal schnell, manchmal langsam), genau wie echtes WLAN. Dies machte sie am anpassungsfähigsten und sichersten.

Das Fazit

Diese Arbeit beweist, dass man, um selbstfahrende Autos in der realen Welt sicher zu machen, sie nicht nur in einer perfekten Simulation mit sofortiger Kommunikation trainieren kann. Man muss ihnen beibringen, mit der chaotischen Realität verzögerter Nachrichten umzugehen, und ihnen einen „Sicherheitswächter" geben, der schlechte Entscheidungen außer Kraft setzt. Auf diese Weise können sie in einem Computer lernen und dann sofort sicher auf einer realen Strecke fahren, ohne dass zusätzliche Übung erforderlich ist.

Technische Zusammenfassung: Robustes und sicheres Multi-Agenten-Reinforcement-Learning mit Kommunikation für autonome Fahrzeuge

Problemstellung
Deep Multi-Agenten-Reinforcement-Learning (MARL) hat in Simulationen vielversprechende Ergebnisse für vernetztes autonomes Fahren gezeigt; jedoch besteht eine erhebliche Lücke zwischen der Leistung in der Simulation und dem Einsatz in der realen Hardware. Frühere Arbeiten gehen häufig von einer instantanen, perfekt synchronisierten Kommunikation zwischen den Agenten aus, was die inhärente Latenz und Asynchronität von Vehicle-to-Vehicle (V2V)-Systemen nicht berücksichtigt. In praktischen Umgebungen unterliegt geteilte Information messbaren Verzögerungen und Übertragungsvariabilitäten. Darüber hinaus fehlen bestehenden Testumgebungen oft die notwendigen Komponenten, um End-to-End-Multi-Agenten-Frameworks mit formalen Sicherheitsgarantien zu validieren, und Standardtechniken zur Simulation-zu-Realität-Übertragung (wie Domänenrandomisierung) adressieren häufig nicht die spezifischen kombinierten Herausforderungen von Kommunikationslatenz, Sensorunsicherheit und sicherheitskritischen Einschränkungen.

Methodik: RSR-RSMARL
Die Autoren schlagen RSR-RSMARL (Robust and Safe Real-Sim-Real Multi-Agent Reinforcement Learning) vor, ein Framework, das entwickelt wurde, um die Lücke zwischen Simulation und Hardware zu schließen, indem es Kommunikationsbeschränkungen explizit modelliert. Die Architektur besteht aus drei Kernkomponenten:

Kommunikationsbewusste MARL-Formulierung:
- Real-zu-Sim-Design: Anstatt einen idealen Informationsaustausch anzunehmen, integriert das Framework gemessene V2V-Latenzstatistiken aus der realen Welt direkt in die Zustandsrepräsentation.
- Verzögerte Zustandsmodellierung: Agenten erhalten lokale Beobachtungen und geteilte Beobachtungen von Nachbarn ( $N_i$ ), die als verzögert und potenziell asynchron behandelt werden. Der geteilte Zustand umfasst komplementäre Wahrnehmungsmerkmale (z. B. Vorhandensein von Hindernissen, Fahrspurmarkierungen), die von Bord-Sensoren (LiDAR, Kameras) abgeleitet werden.
- Trainingsstrategie: Die Policy wird sowohl unter festen als auch unter zeitvariablen Verzögerungsmodellen trainiert. Dies setzt die Agenten zeitlich fehljustierten Nachbarinformationen aus und zwingt die Policy, robuste Koordinationsstrategien zu erlernen, die nicht auf synchronisierten Daten basieren.
CBF-basierter Sicherheits-Schild:
- Um formale Sicherheitsgarantien sowohl während des Trainings als auch beim Einsatz zu gewährleisten, wird ein modularer Sicherheits-Schild integriert. Dieser Schild nutzt Control Barrier Functions (CBFs), die über ein Quadratisches Programm (QP) durchgesetzt werden.
- Mechanismus: Hochlevel-Aktionen, die von der MARL-Policy generiert werden, werden durch den Sicherheits-Schild geleitet, der unsichere Befehle filtert, bevor sie den Low-Level-Controller erreichen.
- Verzögerungsbewusste Sicherheit: Die CBF-Einschränkungen werden konservativ aufgeweitet, um Zustandsunsicherheiten zu berücksichtigen, die durch Kommunikationsverzögerungen und asynchrone Updates verursacht werden. Nachbarfahrzeuge werden als dynamische Hindernisse mit begrenzten Verzögerungen modelliert, was Kollisionsvermeidungsgarantien sicherstellt, selbst wenn Schätzwerte für den Zustand von Nachbarn veraltet sind.
- Controller-Unabhängigkeit: Das Framework unterstützt einsteckbare Low-Level-Controller, insbesondere PID (für leichte Ausführung) und Model Predictive Control (MPC) (für glattere, optimierungsbasierte Trajektorien), ohne die Lernformulierung zu verändern.
Real-Sim-Real-Pipeline:
- Das System verwendet einen Ansatz mit zentralisiertem Training und dezentraler Ausführung (CTDE). Policies werden im CARLA-Simulator unter Verwendung gemessener Latenzverteilungen trainiert und dann zero-shot auf physische Hardware übertragen.
- Hardware-Plattform: Die Validierung erfolgt an einem Fleet von 1/10-Skala-F1TENTH-autonomen Fahrzeugen, die mit LiDAR, Kameras und IMUs ausgestattet sind und über Wi-Fi mit empirisch gemessenen Latenzen (10–20 ms im Testbett, wobei das Training aus breiteren Verteilungen sampelt, um Produktionsvariabilität nachzuahmen) kommunizieren.

Hauptbeiträge

Framework-Vorschlag: Einführung von RSR-RSMARL, eines robusten MARL-Frameworks, das speziell für die Real-Sim-Real-Policy-Übertragung entwickelt wurde und verzögerungsbewusstes Training sowie einen CBF-basierten Sicherheits-Schild integriert, um Kommunikationslatenz, Modellunsicherheiten und Zustandsschätzfehler zu adressieren, während formale Sicherheitsgarantien gewahrt bleiben.
Latenzmodellierungsstrategie: Entwicklung einer kommunikationsbewussten Trainingsstrategie, die stochastische Latenz (sowohl fest als auch zeitvariabel) explizit in den MARL-Lernprozess injiziert. Dies ermöglicht eine verzögerungsrobuste Koordination vor dem Einsatz und geht über die Annahme idealer Kommunikation hinaus.
Umfassende Validierung: Umfassende Evaluierung in CARLA und auf physischen Hardware-Plattformen. Die Studie umfasst strukturierte Ablationsstudien unter zunehmenden Kommunikationsverzögerungen und zeigt eine erfolgreiche zero-shot-Übertragung von in der Simulation trainierten Policies für einen sicheren Betrieb in der realen Welt.

Experimentelle Ergebnisse
Das Framework wurde in zwei Szenarien evaluiert: einer dreispurigen Miniaturautobahn und einer zweispurigen kreisförmigen Autobahn mit variierenden Hindernisdichten.

Sicherheit und Zero-Shot-Übertragung: Die vorgeschlagenen RSR-RSMARL-Varianten (unter Verwendung sowohl von Zeitvariablen (TV-) als auch von Festverzögerungsmodellen (F-2)) erzielten null Kollisionen über alle Hindernislevel hinweg sowohl auf Hardware als auch in der Simulation. Im Gegensatz dazu wiesen Baselines ohne Sicherheits-Schild (RSR-MARL) oder ohne Kommunikation (No-Comm) steigende Kollisionsraten auf, wenn die Hindernisdichte zunahm.
Effizienz vs. Sicherheit: Während das TV-Verzögerungsmodell im Vergleich zu einigen Baselines zu leicht längeren Abschlusszeiten führte, behielt es eine kollisionsfreie Bilanz bei. Das Zeitvariable-Modell schnitt in Bezug auf Koordinations-effizienz und Stabilität konsistent besser ab als Festverzögerungsmodelle, was darauf hindeutet, dass das Training mit stochastischen Verzögerungen Agenten besser auf reale Jitter-Effekte vorbereitet.
Controller-Leistung: Das Framework funktionierte erfolgreich mit sowohl PID- als auch MPC-Backends. Die Integration von MPC verbesserte zusätzlich die Trajektorien-Glättung, jedoch zu höheren Rechenkosten.
Ablationsstudien: Das Entfernen des Sicherheits-Schilds führte zu instabilen Lern-Dynamiken und signifikant höheren Kollisionsraten, was bestätigt, dass alleinige Verzögerungsmodellierung für die Sicherheit nicht ausreicht. Vergleiche mit Domänenrandomisierung (MARL-DR) zeigten, dass MARL-DR unter höheren Kollisionsraten und geringerer Effizienz litt, was darauf hindeutet, dass explizite Verzögerungsmodellierung für dieses spezifische Problem generischem Rauschen überlegen ist.
Auswirkung der Kommunikation: Experimente zeigten, dass V2V-Kommunikation den Bedarf an reaktiven Sicherheits-Overrides (CBF-Eingriffen) signifikant reduziert und die Eingriffsrate von 18,7 % (ohne Kommunikation) auf 11,4 % (mit Kommunikation) senkt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass RSR-RSMARL einen strukturierten und zuverlässigen Weg für die Übertragung von MARL-basiertem kooperativem Entscheidungsfinden von Simulationen auf physische Systeme bietet. Die Autoren betonen, dass ihr Ansatz die kritische „Sim-zu-Real"-Lücke adressiert, indem er das Training auf experimentell beobachteten Verzögerungsstatistiken verankert und formale Sicherheitsbeschränkungen durchsetzt.

Die Bedeutung dieser Arbeit liegt in ihrem Nachweis, dass hardwarebasierte Kommunikationsmodellierung für skalierbare und zuverlässige Multi-Agenten-autonome Systeme unerlässlich ist. Durch die Integration von verzögerungsbewusstem Lernen mit formaler Sicherheitsdurchsetzung unterstützt das Framework die zero-shot-Übertragung auf reale Plattformen und bewahrt starke Sicherheits-Leistungs-Abwägungen auch unter realistischen, asynchronen und verzögerten Kommunikationsbedingungen. Die Autoren positionieren dies als einen Schritt hin zur praktischen Implementierung robuster, kommunikationsbewusster Multi-Agenten-CAV-Autonomie.