💻 computer science

Robust and Safe Multi-Agent Reinforcement Learning with Communication for Autonomous Vehicles: From Simulation to Hardware

Dit artikel introduceert RSR-RSMARL, een robuust en veilig multi-agent versterkingsleerframework dat communicatie, robuust beleidstraining voor zero-shot simulatie-naar-realiteit-overdracht en op Control Barrier Function gebaseerde veiligheidskappen integreert, en dat succesvol verbeterde coördinatie en veiligheid demonstreert op hardware-autonome voertuigen.

Oorspronkelijke auteurs: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep zelfrijdende speelgoedauto's voor die samen een baan proberen te racen. In de perfecte wereld van computersimulaties kunnen deze auto's direct met elkaar praten, zoals telepathische tweelingbroers. Als één auto een kuil ziet, vertelt hij de anderen onmiddellijk, en iedereen reageert op exact hetzelfde moment.

Maar in de echte wereld werkt dat niet zo. Echte auto's communiceren via Wi-Fi, en dat signaal kost tijd om te reizen. Soms is het snel, soms langzaam, en soms komt het bericht een fractie van een seconde te laat aan. Als je je auto's traint om telepathie op afstand te verwachten, zullen ze crashen wanneer je ze op een echte baan zet, omdat ze reageren op informatie die al verouderd is.

Dit artikel introduceert een nieuwe trainingsmethode genaamd RSR-RSMARL (een mondvol, maar denk eraan als "Real-Sim-Real Slim Rijden") om precies dit probleem op te lossen. Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Real-World Delay" Training

In plaats van te doen alsof de auto's direct met elkaar kunnen praten, hebben de onderzoekers gemeten hoe lang het daadwerkelijk duurt voordat hun speelgoedauto's berichten naar elkaar sturen. Ze ontdekten dat dit ongeveer 10 tot 20 milliseconden duurt (een knipoog, maar een lange tijd voor een snelle auto).

Ze bouwden deze "lag" vervolgens direct in de computersimulatie. Ze leerden de AI-auto's rijden terwijl ze wisten dat de berichten van hun vrienden misschien een beetje te laat zouden zijn. Het is als het trainen van een basketbalteam waarbij de coach instructies roept met een lichte vertraging, waardoor de spelers leren anticiperen en reageren, zelfs als het signaal niet perfect is. Op deze manier zijn de auto's, wanneer ze van de computer naar de echte wereld gaan, al gewend aan de vertraging.

2. De "Veiligheidswachter" (De Doorman)

Zelfs met goede training kan AI soms een risicovolle zet maken. Om crashes te voorkomen, hebben de onderzoekers een "Veiligheidsschild" toegevoegd. Denk hierbij aan een strenge doorman bij een club of een veiligheidsnet voor een turnster.

De Coach (De AI): De AI beslist wat de auto moet doen (bijvoorbeeld: "Nu van baan veranderen!").
De Doorman (Het Veiligheidsschild): Voordat de auto daadwerkelijk beweegt, controleert het Veiligheidsschild het plan. Het vraagt: "Is dit veilig gezien waar de andere auto's nu zijn en waar ze zouden kunnen zijn als hun bericht te laat was?"
Het Resultaat: Als het plan van de AI te riskant is, duwt het Veiligheidsschild de auto zachtjes naar iets veiligers (zoals vertragen) in plaats van te crashen. Dit gebeurt in real-time, elke seconde opnieuw.

3. De "Plug-and-Play" Remmen

Het systeem is ontworpen om flexibel te zijn. De AI kan praten met verschillende soorten "low-level" controllers (de onderdelen die daadwerkelijk op het gaspedaal of de rem drukken).

PID-controller: Als een simpele, snelle reflex. Goed voor snelle, lichte reacties.
MPC-controller: Als een schaker. Het denkt een paar stappen vooruit om het ritje soepeler te maken, hoewel het een klein beetje meer denkkracht kost.
De onderzoekers toonden aan dat hun systeem uitstekend werkt met beide types, wat bewijst dat het een veelzijdig raamwerk is.

4. De Grote Test: Van Simulatie naar Realiteit

Het team testte dit op twee manieren:

In de Computer (CARLA Simulator): Ze lieten duizenden races lopen met verschillende niveaus van "lag" en obstakels.
Op Echte Hardware: Ze zetten de getrainde AI op een vloot van 1/10e schaal autonome auto's (ongeveer de grootte van een grote schoenendoos), uitgerust met camera's en lasers.

De Resultaten:

Geen Crashes: De auto's die getraind waren met de "Real-World Delay" methode en het "Veiligheidsschild" voltooiden de banen zonder iets te raken, zelfs wanneer de andere auto's onvoorspelbaar bewogen.
De "Telepathie" Fout: Auto's die getraind waren zonder rekening te houden met vertragingen (uitgaande van directe communicatie) crashten veel vaker wanneer ze op de echte baan werden gezet.
De "Geen-Praten" Fout: Auto's die helemaal niet met elkaar konden praten waren langzamer en neigden meer tegen dingen aan te botsen.
De "Tijdsvariabele" Winnaar: De beste resultaten kwamen voort uit het trainen van de auto's met variërende vertragingen (soms snel, soms langzaam), net als echt Wi-Fi. Dit maakte ze het meest aanpasbaar en veilig.

De Conclusie

Dit artikel bewijst dat om zelfrijdende auto's veilig te maken in de echte wereld, je ze niet zomaar kunt trainen in een perfecte, directe communicatie-simulatie. Je moet ze leren omgaan met de rommelige realiteit van vertraagde berichten en ze een "veiligheidswachter" geven die slechte beslissingen overruleert. Door dit te doen, kunnen ze in een computer leren en vervolgens direct veilig rijden op een echte baan zonder extra oefening nodig te hebben.

Technische Samenvatting: Robuuste en Veilige Multi-Agent Versterkende Leer met Communicatie voor Autonome Voertuigen

Probleemstelling
Diepe Multi-Agent Versterkende Leer (MARL) heeft potentie getoond voor connected autonoom rijden in simulatie; echter, er bestaat een aanzienlijke kloof tussen prestaties in simulatie en implementatie op echte hardware. Eerdere werken gaan vaak uit van onmiddellijke, perfect gesynchroniseerde communicatie tussen agenten, wat geen rekening houdt met de inherente latentie en asynchronie van Vehicle-to-Vehicle (V2V) systemen. In praktische omgevingen is gedeelde informatie onderhevig aan meetbare vertragingen en variabiliteit in transmissie. Bovendien missen bestaande testomgevingen vaak de noodzakelijke componenten om end-to-end multi-agent frameworks te valideren met formele veiligheidsgaranties, en standaard sim-naar-real transfertechnieken (zoals domeinrandomisatie) slagen er vaak niet in om de specifieke gecombineerde uitdagingen van communicatielatentie, sensieonzekerheid en veiligheidskritieke beperkingen aan te pakken.

Methodologie: RSR-RSMARL
De auteurs stellen RSR-RSMARL (Robuuste en Veilige Real-Sim-Real Multi-Agent Versterkende Leer) voor, een framework ontworpen om de kloof tussen simulatie en hardware te overbruggen door communicatiebeperkingen expliciet te modelleren. De architectuur bestaat uit drie kerncomponenten:

Communicatiebewuste MARL-formulering:
- Real-naar-Sim Ontwerp: In plaats van uit te gaan van ideale informatie-uitwisseling, integreert het framework gemeten real-world V2V latentiestatistieken direct in de staatrepresentatie.
- Vertraagde Staatmodellering: Agenten ontvangen lokale observaties en gedeelde observaties van buren ( $N_i$ ) die worden behandeld als vertraagd en potentieel asynchroon. De gedeelde staat omvat complementaire perceptiekenmerken (bijvoorbeeld aanwezigheid van obstakels, rijstrookgrenzen) afgeleid van aan boord aanwezige sensoren (LiDAR, camera's).
- Trainingsstrategie: Het beleid wordt getraind onder zowel vaste als tijdsvariabele vertragingmodellen. Dit blootstelt de agenten aan tijdelijk misgealigneerde buurinformatie, waardoor het beleid robuuste coördinatiestrategieën moet leren die niet vertrouwen op synchrone data.
CBF-gebaseerde Veiligheidsscherm:
- Om formele veiligheidsgaranties te waarborgen tijdens zowel training als implementatie, wordt een modulair Veiligheidsscherm geïntegreerd. Dit scherm maakt gebruik van Control Barrier Functions (CBF's) afgedwongen via een Kwantitatief Programma (QP).
- Mechanisme: Hoog-niveau acties gegenereerd door het MARL-beleid worden door het Veiligheidsscherm geleid, dat onveilige commando's filtert voordat ze de laag-niveau controller bereiken.
- Vertragingbewuste Veiligheid: De CBF-beperkingen worden conservatief opgeblazen om rekening te houden met staatsonzekerheid veroorzaakt door communicatievertragingen en asynchrone updates. Buurvoertuigen worden gemodelleerd als dynamische obstakels met begrenste vertragingen, waardoor botsingsvermijdingsgaranties worden gewaarborgd, zelfs wanneer schattingen van buurstaten verouderd zijn.
- Controller-onafhankelijkheid: Het framework ondersteunt plugbare laag-niveau controllers, specifiek PID (voor lichtgewicht uitvoering) en Model Predictive Control (MPC) (voor soepelere, op optimalisatie gebaseerde trajecten), zonder de leerformulering te wijzigen.
Real-Sim-Real Pijplijn:
- Het systeem hanteert een Centralized Training with Decentralized Execution (CTDE) aanpak. Beleid wordt getraind in de CARLA-simulatie met gebruik van gemeten latentiedistributies en vervolgens zero-shot overgebracht naar fysieke hardware.
- Hardwareplatform: Validatie wordt uitgevoerd op een vloot van 1/10e-schaal F1TENTH autonome voertuigen uitgerust met LiDAR, camera's en IMU's, die communiceren via Wi-Fi met empirisch gemeten latenties (10–20 ms in de testomgeving, waarbij training steekt uit bredere distributies om productvariabiliteit na te bootsen).

Belangrijkste Bijdragen

Frameworkvoorstel: Introductie van RSR-RSMARL, een robuust MARL-framework specifiek ontworpen voor Real-Sim-Real beleidsoverdracht dat vertragingbewuste training en een CBF-gebaseerd Veiligheidsscherm integreert om communicatielatentie, modelonzekerheden en staatsschatfouten aan te pakken terwijl formele veiligheidsgaranties worden behouden.
Strategie voor Latentiemodellering: Ontwikkeling van een communicatiebewuste trainingsstrategie die stochastische latentie (zowel vast als tijdsvariabel) expliciet injecteert in het MARL-leerproces. Dit maakt vertraging-robuste coördinatie mogelijk vóór implementatie, verdergaand dan de aanname van ideale communicatie.
Uitgebreide Validatie: Omvattende evaluatie in CARLA en op fysieke hardwareplatforms. De studie omvat gestructureerde ablatiestudies onder toenemende communicatievertragingen en toont succesvolle zero-shot overdracht van in simulatie getrainde beleidslijnen voor veilige real-world operatie.

Experimentele Resultaten
Het framework werd geëvalueerd in twee scenario's: een 3-rijbaan miniature snelweg en een 2-rijbaan cirkelvormige snelweg, met variërende obstakeldichtheden.

Veiligheid en Zero-Shot Overdracht: De voorgestelde RSR-RSMARL-varianten (met gebruik van zowel Tijdsvariabele (TV) als Vaste-vertraging (F-2) modellen) behaalden nul botsingen over alle obstakelniveaus heen op zowel hardware als simulatie. In tegenstelling hiermee vertoonden baselines zonder Veiligheidsscherm (RSR-MARL) of zonder communicatie (No-Comm) toenemende botsingspercentages naarmate de obstakeldichtheid toenam.
Efficiëntie versus Veiligheid: Hoewel het TV-vertragingmodel resulteerde in iets langere voltooingstijden vergeleken met sommige baselines, behield het een botsingsvrije staat. Het Tijdsvariabele model presteerde consequent beter dan vaste-vertragingmodellen wat betreft coördinatie-efficiëntie en stabiliteit, wat suggereert dat training met stochastische vertragingen agenten beter voorbereidt op real-world jitter.
Controllerprestaties: Het framework opereerde succesvol met zowel PID- als MPC-backends. De integratie van MPC verbeterde verder de trajectgladheid, zij het tegen hogere computerkosten.
Ablatiestudies: Het verwijderen van het Veiligheidsscherm leidde tot onstabiele leerdynamiek en aanzienlijk hogere botsingspercentages, wat bevestigt dat vertragingmodellering alleen ontoereikend is voor veiligheid. Vergelijkingen met Domeinrandomisatie (MARL-DR) toonden aan dat MARL-DR te kampen had met hogere botsingspercentages en lagere efficiëntie, wat aangeeft dat expliciete vertragingmodellering superieur is aan generieke ruisinjectie voor dit specifieke probleem.
Impact van Communicatie: Experimenten toonden aan dat V2V-communicatie de behoefte aan reactieve veiligheidsingrijpen (CBF-interventies) aanzienlijk verlaagt, waardoor het interventiepercentage daalt van 18,7% (zonder communicatie) naar 11,4% (met communicatie).

Betekenis en Beweringen
Het artikel beweert dat RSR-RSMARL een gestructureerde en betrouwbare weg biedt voor het overdragen van op MARL gebaseerde coöperatieve besluitvorming van simulatie naar fysieke systemen. De auteurs benadrukken dat hun aanpak de kritieke "sim-naar-real" kloof aanpakt door training te verankeren in experimenteel waargenomen vertragingstatistieken en formele veiligheidsbeperkingen af te dwingen.

De betekenis van dit werk ligt in de demonstratie dat hardware-gegronde communicatiemodellering essentieel is voor schaalbare en betrouwbare multi-agent autonome systemen. Door vertragingbewust leren te integreren met formele veiligheidsafdwinging, ondersteunt het framework zero-shot overdracht naar real-world platformen, waarbij sterke veiligheids-prestatie trade-offs worden behouden, zelfs onder realistische, asynchrone en vertraagde communicatiebeperkingen. De auteurs positioneren dit als een stap naar de praktische implementatie van robuuste, communicatiebewuste multi-agent CAV-autonomie.