A Deployed Hybrid Vehicle-in-the-Loop Platform for Validating Cooperative Perception

Stel je voor dat je met een auto door een drukke stad probeert te rijden, maar je hebt een superkracht: je kunt door muren en om hoeken heen kijken. In de echte wereld hebben auto's deze kracht niet; ze vertrouwen op camera's en sensoren die alleen kunnen zien wat direct voor hen ligt. Als een grote vrachtwagen je zicht blokkeert, ben je blind voor alles wat er achter hem gebeurt. Dit is een groot probleem voor zelfrijdende auto's, die moeten weten wat er aan elke kant van elk obstakel gebeurt om veilig te blijven. Om dit op te lossen, bouwen ingenieurs "coöperatieve perceptie"-systemen. Denk hierbij aan een spelletje tikkertje waarbij elke speler roept waar hij andere spelers ziet. Als Auto A achter een vrachtwagen vastzit, kan Auto B (die om de hoek staat) roepen: "Hé, er is hier een voetganger!" en Auto A kan die voetganger direct "zien".

Het testen van deze systemen is echter lastig. Je kunt niet zomaar een honderd echte auto's op een kleine testbaan zetten om te zien hoe ze met elkaar communiceren; dat is te duur en te gevaarlijk. Je kunt ook niet gewoon een computerspel gebruiken, want een spel is misschien niet realistisch genoeg om te bewijzen dat de auto veilig is voor echte wegen. Daarom bouwen wetenschappers "hybride" testlabs. Dit zijn een soort mix tussen een echte rijschool en een videogame. Je rijdt een echte auto, maar het overige verkeer om je heen is een digitale simulatie die direct reageert. Dit artikel beschrijft een team dat precies zo'n "Vehicle-in-the-Loop"-platform heeft gebouwd. Ze hebben een echte, geïnstrumenteerde auto gekoppeld aan een hoogtechnologische videogame wereld, waardoor ze konden testen hoe goed auto's hun "kreten" (berichten) kunnen delen om het volledige plaatje te zien, zelfs wanneer het weer slecht is of de zon verblindend is.

De Hybride Speeltuin

De onderzoekers, een team van het Instituut voor Communicatie en Computersystemen in Athene, Griekenland, hebben een nieuw testplatform ingezet dat fungeert als een brug tussen de echte wereld en een digitale tweeling. Stel je een digitale tweeling voor als een perfecte, levende videogame-replica van een echte weg. In deze opstelling rijdt een echte auto op een testbaan, maar hij rijdt niet alleen. Hij is verbonden met een computersimulatie die de game-engine CARLA draait.

Zo werkt de magie: de echte auto stuurt elke 100 milliseconden digitale "postkaarten". Deze postkaarten bevatten twee soorten informatie: waar de auto is (de locatie) en wat hij ziet (het beeld van de sensoren). Deze berichten volgen strikte Europese regels (ETSI-standaarden) zodat ze gemakkelijk te lezen zijn. De simulatie ontvangt deze postkaarten en werkt de digitale wereld onmiddellijk bij. Als de echte auto een voetganger ziet, weet de digitale wereld dat ook. Maar het coole deel is het omgekeerde: de digitale wereld kan ook berichten terugsturen naar de echte auto, of het systeem kan "geestauto's" (virtuele agenten) toevoegen die fysiek niet bestaan maar zich gedragen als echt verkeer. Dit stelt het team in staat om scenario's te testen met meer auto's dan ze daadwerkelijk bezitten, waardoor ze een drukke, complexe omgeving creëren op een kleine baan.

Het "Super-View" Experiment

Om te zien of dit systeem echt werkt, heeft het team een reeks tests uitgevoerd op een dubbele T-splitsing (een kruispunt met twee T-vormen). Ze zetten drie echte auto's op de baan. Twee daarvan waren volledig "verbonden", wat betekende dat ze zowel hun locatie als hun volledige sensordata (wat ze zagen) deelden met het systeem. De derde auto was slechts een "prater", die alleen zijn locatie deelde. Ze voegden ook virtuele auto's toe aan de mix om het verkeer dichter te maken.

Het brein van het systeem, een krachtig computermodule die draait op een grafische kaart (GPU), nam al deze berichten en voegde ze samen tot één "occupancy grid" (bezettingstabel). Je kunt dit raster zien als een gigantisch, onzichtbaar schaakbord dat over de weg is gelegd. Elk vakje op het bord is gekleurd om aan te geven of het leeg is, of dat het wordt bezet door een auto of persoon, of dat het systeem onzeker is. Het doel was om te zien of de gecombineerde "kreten" van de echte en virtuele auto's een duidelijker, completer beeld creëerden dan welke enkele auto ook op zichzelf zou kunnen zien.

Ze testten dit onder drie verschillende "stemmingen" van de omgeving:

1. Nominaal: Perfecte omstandigheden op een zonnige dag.
2. Regen: Gesimuleerde regenachtige weersomstandigheden.
3. Nacht: Donkere omstandigheden waarbij het zicht laag is.

Ze testten ook vijf verschillende niveaus van "verwarring" met betrekking tot waar de auto's dachten dat ze waren. Soms was de GPS perfect, en soms voegden ze ruis toe om te simuleren dat de auto tot wel 2,0 meter afweek.

Wat ze vonden: De Kracht van Teamwerk

De resultaten waren zeer onthullend. Ten eerste ontdekte het team dat wanneer auto's samenwerken, hun gecombineerde "gezichtsveld" explodeert. Een enkele auto ziet misschien slechts ongeveer een kwart van het belangrijke gebied rond het kruispunt. Maar wanneer alle auto's (echt en virtueel) hun gegevens delen, dekken ze het grootste deel van het gebied. Dit is als een groep mensen die in een cirkel staat; één persoon kan alleen naar voren kijken, maar samen kunnen ze alles om hen heen zien.

Ten tweede, en misschien wel het belangrijkste, ontdekten ze een limiet aan hoeveel hulp teamwerk kan bieden. Wanneer de locatiegegevens van de auto's zeer nauwkeurig waren (lage ruis), maakte het toevoegen van meer auto's het systeem veel beter in het opsporen van obstakels. Maar zodra de locatiegegevens "ruizig" werden (wat betekende dat de auto's onzeker waren over hun positie met meer dan een matige hoeveelheid, rond de 1,5 tot 2,0 meter), hielp het toevoegen van meer auto's niet meer. Sterker nog, de onzekerheid over waar de auto's zich bevonden, werd het grootste probleem, veel meer dan het weer of het aantal auto's. Het is als proberen een spelletje "Waar is Waldo?" te spelen met een wazige kaart; zelfs als je honderd mensen hebt die kijken, als je niet weet waar je zelf staat, kun je het doelwit niet vinden.

Interessant genoeg was het teamwerk het meest nuttig wanneer de individuele auto's het het moeilijkst hadden. Bij nacht, wanneer de camera van een enkele auto verblind kan worden door de duisternis, was het coöperatieve systeem in staat om te herstellen en obstakels bijna net zo goed te "zien" als op een zonnige dag. Dit suggereert dat het delen van informatie een reddingslijn is wanneer je eigen sensoren een slechte dag hebben.

De Limieten en de Weg Vooruit

De auteurs zijn eerlijk over de huidige beperkingen van hun systeem. De verbinding tussen de echte auto en de digitale game is niet perfect gesynchroniseerd tot op de exacte milliseconde. Soms loopt de simulatie een klein beetje achter, wat de timing van de berichten kan verstoren. Dit is geen hardwarefout, maar een eigenschap van hoe de software momenteel is ingesteld. Het team weet dat ze deze "jitter" moeten oplossen om de tests perfect herhaalbaar te maken.

Ze merkten ook op dat hoewel ze hebben bewezen dat het systeem functioneel werkt, ze nog niet volledig hebben gemeten hoe perfect de digitale wereld overeenkomt met de echte wereld in elk klein detail. Dat is hun volgende stap: om de "sim-to-real" match perfect te maken.

Vooruitblikkend plant het team om dit platform om te vormen tot een testdienst specifief voor de Mediterrane regio. Dit gebied heeft unieke uitdagingen zoals verblindende zonneschijn, zeer hoge temperaturen en druk, gemengd verkeer dat ook scooters en voetgangers omvat. Door een bibliotheek van deze specifieke scenario's op te bouwen, hopen ze autofabrikanten en ontwikkelaars te helpen bij het testen van hun zelfrijdende systemen in omstandigheden die vaak over het hoofd worden gezien door standaard Europese testlocaties.

Kortom, dit artikel laat zien dat het mengen van echte auto's met digitale tweelingen een krachtige manier is om te testen hoe auto's met elkaar kunnen "praten". Het bewijst dat samenwerking zelfrijdende auto's veiliger en bewuster maakt, maar het waarschuwt ons ook dat als de auto's niet precies weten waar ze zijn, zelfs het beste teamwerk de verwarring niet kan oplossen. De toekomst van deze technologie ligt in het strakker trekken van de timing, het perfectioneren van de digitale match en het testen in de unieke, zonnige, chaotische straten van de Middellandse Zee.