Towards Collaborative Joint Perception and Prediction: Framework, Baseline Evaluation, and Deployment Perspectives

Stellen Sie sich vor, Sie fahren ein Auto, das selbst denken kann. Das ist die Welt des autonomen Fahrens, in der Computer das Steuer übernehmen, um uns sicher zu halten und den Verkehrsfluss zu gewährleisten. Aber selbst das intelligenteste Auto hat einen toten Winkel. Wenn ein großer Lkw Ihre Sicht versperrt oder ein Gebäude einen Fußgänger verbirgt, der gerade um die Ecke biegt, können die „Augen“ Ihres Autos (seine Kameras und Laser) nicht sehen, was kommt. Es ist, als würde man versuchen, Fußball zu spielen, während man eine Augenbinde trägt; man kennt zwar die Regeln, aber man kann den Ball nicht sehen.

Um dies zu beheben, bringen Wissenschaftler Autos bei, miteinander und mit intelligenten Straßenlaternen zu kommunizieren. Dies wird als Vehicle-to-Everything (V2X)-Kommunikation bezeichnet. Anstatt nur aus ihrem eigenen Windschutzscheiben-Blickwinkel zu schauen, können Autos das teilen, was sie sehen. Wenn ein Auto weiter die Straße hinunter einen Fußgellen sieht, kann es dem Auto, das ihn nicht sehen kann, zurufen: „Hey, pass auf!“ Dieses Teamwork wird als Collaborative Perception bezeichnet. Aber es gibt einen Haken: Nur zu wissen, wo sich etwas in diesem Moment befindet, reicht nicht aus. Das Auto muss auch erraten, wo dieser Fußgänger in den nächsten Sekunden sein wird. Das ist der knifflige Teil der „Prediction“ (Vorhersage). Wenn die Autos zusammenarbeiten, um die Zukunft zu erraten, können sie eine bessere Vorhersage treffen als ein einzelnes Auto allein. Jedoch verbraucht das Teilen all dieser Daten viel Internet-Bandbreite, und wenn sie die falschen Informationen teilen, könnten sie sich tatsächlich verwirren lassen. Dies ist das Rätsel, das Wissenschaftler zu lösen versuchen: Wie teilen Autos die richtigen Informationen zur richtigen Zeit, um die Zukunft sicher vorherzusagen, ohne das Netzwerk zu verstopfen?

---

Das Teamwork von morgen: Eine neue Art für Autos, die Zukunft zu „sehen“

Dieses Paper stellt eine neue Idee namens Collaborative Joint Perception and Prediction (Co-P&P) vor. Denken Sie an es als eine Super-Team-Strategie für selbstfahrende Autos. Die Autoren, Forscher von XITASO und dem Karlsruher Institut für Technologie, schlagen ein System vor, bei dem Autos nicht nur eine Liste von „Dingen, die ich sehe“ austauschen, sondern zusammenarbeiten, um ein vollständiges, 3D-Bild der Welt aufzubauen, bevor sie versuchen zu erraten, was als Nächstes passiert.

Das Paper befasst sich mit zwei großen Problemen, die das selbstfahrende Fahren schwierig machen:

1. Blinde Flecken: Dinge, die hinter Bäumen oder anderen Autos verborgen sind.
2. Der „Whack-a-Mole“-Fehler: In traditionellen Systemen findet ein Auto zuerst ein Objekt, verfolgt es dann und rät dann, wohin es geht. Wenn es im ersten Schritt (dem Finden des Objekts) einen winzigen Fehler macht, wird dieser Fehler immer größer, bis es versucht, die Zukunft zu erraten. Es ist, als würde man versuchen, eine Karte einer Stadt basierend auf einer Skizze zu zeichnen, die bereits leicht falsch war; die endgültige Karte wird eine Katastrophe sein.

Die Autoren schlagen eine clevere Lösung vor: Lassen Sie die Autos zusammenarbeiten, um zuerst die Lücken im fehlenden Bild „aufzufüllen“ und nutzen Sie dann dieses perfekte Bild, um die Vorhersage zu treffen.

Der „Magische Spiegel“ und die „Kristallkugel“

Um zu erklären, wie das funktioniert, stellen Sie sich vor, die Autos befinden sich in einem Raum mit einem riesigen, zerbrochenen Spiegel. Jedes Auto hat ein Stück des Spiegels.

• Der alte Weg (Modularer Prozess): Auto A betrachtet sein Stück des Spiegels, zeichnet eine Skizze einer Person, dann betrachtet Auto B sein Stück, zeicht eine Skizze, und dann versuchen sie zu erraten, wohin die Person gehen wird. Wenn die Skizze von Auto A verschwommen ist, ist die Vorhersage falsch.
• Der neue Weg (Co-P&P): Die Autos teilen zuerst ihre Spiegelstücke, um ein einziges, riesiges, kristallklares Bild des gesamten Raumes aufzubauen (dies wird Collaborative Scene Completion genannt). Sobald sie das perfekte Bild haben, nutzen sie dann eine „Kristallkugel“ (Joint Perception and Prediction-Modul), um zu erraten, wohin die Person gehen wird. Da das Bild perfekt ist, ist die Vorhersage viel besser.

Die große Entdeckung: Warten Sie nicht bis zum Ende!

Die wichtigste Erkenntnis in diesem Paper betrifft den Zeitpunkt, an dem die Autos ihre Informationen teilen sollten. Die Forscher testeten drei verschiedene Zeiten für den Datenaustausch:

1. Zu Beginn (Detection Level/Erkennungsebene): Austausch von Rohdaten wie „Ich sehe hier ein Auto“.
2. In der Mitte (Tracking Level/Verfolgungsebene): Austausch von „Dieses Auto bewegt sich in diese Richtung“.
3. Ganz am Ende (Prediction Level/Vorhersageebene): Austausch von „Das Auto wird in 3 Sekunden hier sein“.

Das Paper schließt das Teilen am Ende explizit aus. Sie fanden heraus, dass es die Dinge sogar verschlimmert, wenn Autos warten, bis sie bereits ihre eigenen Vorhersagen getroffen haben, und dann diese Vermutungen teilen. Es ist, als würden zwei Personen versuchen, den Gewinner eines Rennens zu erraten, aber sie teilen ihre endgültigen Vermutungen erst, nachdem das Rennen vorbei ist. Zu diesem Zeitpunkt, wenn eine Person in ihrer Logik einen Fehler gemacht hat, hilft das Teilen der falschen Antwort nicht; es verbreitet lediglich den Fehler. Das Paper zeigt, dass eine Fusion auf Vorhersageebene (prediction-level fusion) zu einer Verschlechterung der Gesamtleistung des Systems führt.

Stattdessen erzielen die besten Ergebnisse durch das Teilen zu einem frühen Zeitpunkt (auf der Detection- oder Tracking-Ebene). Dies ermöglicht es den Autos, die Fehler der jeweils anderen zu korrigieren, bevor sie die Zukunft vorhersagen. Die Daten zeigten, dass das frühe Teilen die Fähigkeit, verborgene Objekte (wie einen Fußgänger hinter einem Baum) zu entdecken, signifikant verbesserte, während das Teilen späterer Vorhersagen nicht half und viel mehr Internetdaten verbrauchte.

Der „Kompressions“-Trick

Es gibt noch eine weitere coole Entdeckung. Das Teilen all dieser 3D-Laserdaten (genannt Point Clouds) nimmt normalerweise einen riesigen Teil des Internetplatzes ein. Die Autoren bauten einen Prototyp, der einen speziellen „neuronalen Codec“ (einen smarten Kompressor) namens RENO verwendet. Sie fanden heraus, dass sie die geteilten Daten um etwa das 34-fache komprimieren konnten (von einer riesigen Datei auf eine winzige), ohne die Fähigkeit zu verlieren, die Zukunft genau vorherzusagen.

Stellen Sie sich vor, Sie senden einem Freund einen Full-HD-Film, aber anstatt der gesamten Datei senden Sie eine winzige Textnachricht, die dem Computer des Freundes genau sagt, wie er den Film perfekt wieder aufbauen kann. Das ist das, was diese Kompression leistet. Das Paper zeigt, dass die Autos selbst mit dieser starken Kompression die Zukunft immer noch besser vorhersagten, als wenn sie gar nicht kommuniziert hätten.

Was sie getestet haben und was sie fanden

Die Forscher testeten ihre Ideen unter Verwendung eines realen Datensatzes aus China namens DAIR-V2X-Seq, der Daten von Autos und Straßensensoren enthält.

• Das Ergebnis: Als sie die Daten früh kombinierten (Detection Level), wurde das System viel besser darin, Autos, Radfahrer und Fußgänger zu entdecken, die aus der Sicht des Hauptautos verborgen waren.
• Die Warnung: Sie fanden auch heraus, dass die aktuellen Systeme immer noch etwas mit kleinen Objekten wie Fußgängern und Radfahrern kämpfen im Vergleich zu großen Autos.
• Das Vertrauen: Das Paper präsentiert dies als gemessene experimentelle Ergebnisse. Sie haben nicht nur geraten; sie haben die Zahlen ausgewertet. Sie zeigten, dass während die Strategie des „frühen Teilens“ funktioniert, die Strategie des „späten Teilens“ kontraproduktiv ist. Sie merkten auch an, dass ihr End-to-End-Prototyp (der alles in einem Schritt erledigt) viel besser darin war, die Zukunft vorherzusagen als die alte schrittweise Methode, was beweist, dass bei der alten Methode (Schritt-für-Schritt) sich Fehler aufstauen.

Warum das wichtig ist

Dieses Paper liefert uns einen klaren Fahrplan dafür, wie selbstfahrende Autos miteinander kommunizieren sollten. Es sagt uns: „Warte nicht, bis du deine Vermutung angestellt hast, um Hilfe zu suchen. Suche nach Hilfe, während du noch schaust.“ Es zeigt auch, dass wir dieses Teamwork effizient genug gestalten können, um auf echten Internetverbindungen zu funktionieren, ohne alles zu verlangsamen.

Obwohl die Autoren zugeben, dass der Bau eines perfekten Systems für jede Situation (wie winzige Fußgänger) noch ein laufender Prozess ist und sie mehr Daten benötigen, um diese Systeme vollständig zu trainieren, deutet ihr Fundament auf einen klaren Weg hin. Indem wir Autos zusammenarbeiten lassen, um ein vollständiges Bild zu erstellen, bevor sie die Zukunft erraten, und indem wir eine intelligente Kompression nutzen, um die Daten leicht zu halten, können wir selbstfahrende Autos sicherer und bewusster für die Welt um sie herum machen.