A Deployed Hybrid Vehicle-in-the-Loop Platform for Validating Cooperative Perception

Stellen Sie sich vor, Sie versuchen, mit einem Auto durch eine belebte Stadt zu fahren, aber Sie haben eine Superkraft: Sie können durch Wände und um Ecken sehen. In der realen Welt haben Autos diese Kraft nicht; sie verlassen sich auf Kameras und Sensoren, die nur das sehen können, was direkt vor ihnen liegt. Wenn ein großer Lkw die Sicht versperrt, sind Sie blind für alles, was dahinter geschieht. Dies ist ein großes Problem für selbstfahrende Autos, die wissen müssen, was sich überall befindet, um sicher zu bleiben. Um dies zu lösen, entwickeln Ingenieure Systeme der „kooperativen Wahrnehmung“. Stellen Sie sich das wie ein Fangspiel vor, bei dem jeder Spieler laut ruft, wo er andere Spieler sieht. Wenn Auto A hinter einem Lkw feststeckt, kann Auto B (das um die Ecke steht) rufen: „Hey, hier ist ein Fußgänger!“, und Auto A kann diesen sofort „sehen“.

Das Testen dieser Systeme ist jedoch schwierig. Man kann nicht einfach hundert echte Autos auf einer winzigen Teststrecke platzieren, um zu sehen, wie sie miteinander kommunizieren; das ist zu teuer und zu gefährlich. Man kann auch nicht einfach ein Computerspiel verwenden, da das Spiel vielleicht nicht realistisch genug ist, um zu beweisen, dass das Auto auf echten Straßen sicher ist. Also bauen Wissenschaftler „hybride“ Testlabore. Diese sind wie eine Mischung aus einer echten Fahrschule und einem Videospiel. Sie fahren ein echtes Auto, aber der restliche Verkehr um Sie herum ist eine digitale Simulation, die sofort reagiert. Dieses Paper beschreibt ein Team, das genau so eine Art von „Vehicle-in-the-Loop“-Plattform entwickelt hat. Sie haben ein echtes, instrumentiertes Auto an eine hochtechnologische Videospielwelt angeschlossen, um zu testen, wie gut Autos Informationen teilen können (ihre „Rufe“), um das Gesamtbild zu erfassen, selbst wenn das Wetter schlecht ist oder die Sonne blendet.

Der hybride Spielplatz

Die Forscher, ein Team vom Institute of Communication and Computer Systems in Athen, Griechenland, haben eine neue Testplattform eingesetzt, die als Brücke zwischen der realen Welt und einem digitalen Zwilling fungiert. Stellen Sie sich einen digitalen Zwilling als eine perfekte, lebendige Videospiel-Replik einer echten Straße vor. In diesem Aufbau fährt ein echtes Auto auf einer Teststrecke, aber es fährt nicht allein. Es ist mit einer Computersimulation verbunden, die die Game Engine CARLA ausführt.

So geschieht die Magie: Das echte Auto verschickt alle 100 Millisekunden digitale „Postkarten“. Diese Postkarten enthalten zwei Arten von Informationen: wo sich das Auto befindet (seinen Standort) und was es sieht (die Ansicht seiner Sensoren). Diese Nachrichten folgen strengen europäischen Regeln (ETSI-Standards), damit sie leicht lesbar sind. Die Simulation empfängt diese Postkarten und aktualisiert augenblicklich ihre digitale Welt. Wenn das echte Auto einen Fußgänger sieht, weiß die digitale Welt das auch. Aber der coole Teil ist der umgekehrte Weg: Die digitale Welt kann auch Nachrichten an das echte Auto zurücksenden, oder das System kann „Geisterautos“ (virtuelle Agenten) einmischen, die physisch nicht existieren, aber wie echter Verkehr agieren. Dies ermöglicht es dem Team, Szenarien mit mehr Autos zu testen, als sie tatsächlich besitzen, wodurch eine dichte, komplexe Umgebung auf einer kleinen Strecke geschaffen wird.

Das „Super-Sicht“-Experiment

Um zu sehen, ob dieses System tatsächlich funktioniert, führte das Team eine Reihe von Tests an einem Doppel-T-Kreuzungspunkt (einer Kreuzung mit zwei T-Formen) durch. Sie stellten drei echte Autos auf der Strecke auf. Zwei davon waren vollständig „verbunden“, was bedeutet, dass sie sowohl ihren Standort als auch ihre vollständigen Sensordaten (was sie sahen) mit dem System teilten. Das dritte Auto war lediglich ein „Sprecher“, der nur seinen Standort teilte. Sie fügten auch virtuelle Autos hinzu, um den Verkehr dichter zu machen.

Der „Gehirn“-Modul des Systems, ein leistungsstarker Computerbaustein, der auf einer Grafikkarte (GPU) läuft, nahm all diese Nachrichten entgegen und verschmolz sie zu einem einzigen „Occupancy Grid“ (Belegungsgitter). Man kann sich dieses Gitter wie ein riesiges, unsichtbares Schachbrett vorstellen, das über die Straße gelegt wurde. Jedes Quadrat auf dem Brett ist farblich markiert, um anzuzeigen, ob es leer ist, ob es von einem Auto oder einer Person besetzt ist oder ob sich das System unsicher ist. Das Ziel war es zu sehen, ob die kombinierten „Rufe“ der realen und virtuellen Autos ein klareres, vollständigeres Bild erzeugten, als es ein einzelnes Auto allein sehen könnte.

Sie testeten dies unter drei verschiedenen „Stimmungen“ der Umgebung:

1. Nominal: Perfekte Bedingungen an einem sonnigen Tag.
2. Regen: Simulierte regnerische Wetterbedingungen.
3. Nacht: Dunkle Bedingungen mit geringer Sichtbarkeit.

Sie testeten zudem fünf verschiedene Stufen der „Verwirrung“ bezüglich dessen, wo sich die Autos befanden. Manchmal war das GPS perfekt, und manchmal fügten sie Rauschen hinzu, um eine Abweichung von bis zu 2,0 Metern zu simulieren.

Was sie fanden: Die Kraft der Teamarbeit

Die Ergebnisse waren sehr aufschlussreich. Erstens stellte das Team fest, dass sich das Sichtfeld der Autos durch Kooperation massiv ausweitet. Ein einzelnes Auto sieht vielleicht nur etwa ein Viertel des wichtigen Bereichs um die Kreuzung herum. Aber wenn alle Autos (echte und virtuelle) ihre Daten teilen, decken sie den Großteil des Bereichs ab. Das ist wie eine Gruppe von Menschen, die in einem Kreis steht; eine Person kann nur nach vorne sehen, aber gemeinsam können sie alles um sich herum sehen.

Zweitens, und vielleicht am wichtigsten, entdeckten sie eine Grenze dafür, wie viel Hilfe durch Teamarbeit möglich ist. Wenn die Standortdaten der Autos sehr genau waren (geringes Rauschen), machte das Hinzufügen von mehr Autos das System wesentlich besser darin, Hindernisse zu entdecken. Sobald die Standortdaten jedoch „verrauscht“ waren (das heißt, die Autos waren sich um etwa 1,5 bis 2,0 Meter unsicher über ihre Position), half das Hinzufügen weiterer Autos nicht mehr. Tatsächlich wurde die Unsicherheit darüber, wo sich die Autos befanden, zum größten Problem, weit mehr als das Wetter oder die Anzahl der Autos. Es ist, als würde man versuchen, ein Spiel „Wo ist Waldo?“ mit einer verschwommenen Karte zu spielen; selbst wenn man hundert Leute hat, die suchen, kann man das Ziel nicht finden, wenn man nicht weiß, wo man selbst steht.

Interessanterweise war die Teamarbeit am hilfreichsten, wenn die einzelnen Autos am meisten zu kämpfen hatten. Bei Nacht, wenn die Kamera eines einzelnen Autos durch die Dunkelheit geblendet sein könnte, war das kooperative System in der Lage, sich zu erholen und Hindernisse fast so gut zu „sehen“ wie an einem sonnigen Tag. Dies deutet darauf hin, dass das Teilen von Informationen ein Lebensretter ist, wenn die eigenen Sensoren einen schlechten Tag haben.

Die Grenzen und der Weg nach vorn

Die Autoren sind ehrlich bezüglich der aktuellen Grenzen ihres Systems. Die Verbindung zwischen dem echten Auto und dem digitalen Spiel ist nicht auf die Millisekunde genau synchronisiert. Manchmal hinkt die Simulation der Zeit minimal hinterher, was das Timing der Nachrichten stören kann. Dies ist kein Hardwarefehler, sondern eine Eigenheit der aktuellen Software-Konfiguration. Das Team weiß, dass sie dieses „Jitter“ (Zeitversatz) beheben müssen, um die Tests perfekt reproduzierbar zu machen.

Sie merkten auch an, dass sie zwar bewiesen haben, dass das System funktional arbeitet, aber noch nicht vollständig gemessen haben, wie perfekt die digitale Welt in jedem einzelnen Detail mit der realen Welt übereinstimmt. Das ist ihr nächster Schritt: die „Sim-to-Real“-Übereinstimmung perfekt zu machen.

Zukünftig plant das Team, diese Plattform in einen Testdienst speziell für die Mittelmeerregion zu verwandeln. Diese Region weist einzigartige Herausforderungen auf, wie blendende Sonnenreflexionen, sehr hohe Temperaturen und dichten, gemischten Verkehr, der auch Roller und Fußgänger umfasst. Durch den Aufbau einer Bibliothek dieser spezifischen Szenarien hoffen sie, Automobilhersteller und Entwickler dabei zu unterstützen, ihre selbstfahrenden Systeme in Bedingungen zu testen, die bei Standard-Europatests oft vernachlässigt werden.

Kurz gesagt zeigt dieses Paper, dass die Mischung aus echten Autos und digitalen Zwillingen ein leistungsstarkes Werkzeug ist, um zu testen, wie Autos miteinander „reden“ können. Es beweist, dass Kooperation selbstfahrende Autos sicherer und aufmerksamer macht, warnt uns aber auch davor, dass selbst die beste Teamarbeit die Verwirrung nicht beheben kann, wenn die Autos nicht genau wissen, wo sie sich befinden. Die Zukunft dieser Technologie liegt in der Präzisierung des Timings, der Perfektionierung des digitalen Abgleichs und dem Testen in den einzigartigen, sonnigen und chaotischen Straßen des Mittelmeers.