Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

Der Traum von einem Auto, das von selbst fährt, ist seit Jahrzehnten ein fester Bestandteil der Science-Fiction und verspricht eine Zukunft, in der die Last des Lenkens, Bremsens und Navigierens im Verkehr von menschlichen Schultern genommen wird. In den letzten zwanzig Jahren haben Ingenieure daran gearbeitet, dieses Versprechen in die Realität umzusetzen, indem sie Systeme entwickelten, die die Straße sehen, vorhersagen können, was andere Fahrer tun werden, und entscheiden können, wie sie sicher vorankommen. Diese Systeme stützen sich auf drei Hauptsäulen: die Fähigkeit, die Welt durch Kameras und Sensoren wahrzunehmen, die Fähigkeit zu vermuten, wohin andere Menschen und Fahrzeuge als Nächstes fahren werden, und die Fähigkeit, einen sicheren Pfad nach vorne zu planen. Während wir Testflotten in spezifischen Städten im Einsatz gesehen haben, ist die Technologie noch nicht bereit für die offene Straße überall. Eine große Hürde bleibt bestehen: Woher wissen wir, ob ein Computerprogramm wirklich besser als ein anderes ist? Unterschiedliche Forschungsteams testen ihre Software oft in unterschiedlichen virtuellen Welten oder mit unterschiedlichen Regeln, was einen fairen Vergleich unmöglich macht. Ohne eine gemeinsame Basis ist es schwierig zu sagen, ob eine neue Methode ein echter technologischer Sprung nach vorn ist oder nur eine Methode, die nur in einem spezifischen Test funktioniert.

Ein Team von Forschern der University of Southern California beschloss, dieses Problem zu lösen, indem sie acht der fortschrittlichsten autonomen Planer in eine einzige, gemeinsame virtuelle Arena brachten. Sie wählten eine populäre Simulationsplattform namens CARLA, die die Physik des Fahrens und die Komplexität von Stadtstraßen rekonstruiert, und nutzten sie als neutralen Schiedsrichter. Die Forscher nahmen Softwaremodelle, die zuvor Spitzenplätze in drei verschiedenen großen Wettbewerben erreicht hatten – einer basierte auf realen Daten von Waymo, ein anderer auf dem nuPlan-Datensatz und mehrere aus der CARLA-Community selbst – und zwangen sie, auf denselben Strecken zu fahren und denselben Staus, Fußgängern und Baustellen gegenüberzutreten. Das Ziel war nicht, einen neuen Benchmark zu erstellen, sondern zu sehen, wie diese unterschiedlichen Ansätze, die isoliert voneinander entwickelt worden waren, bewertet würden, wenn sie nach exakt denselben Standards beurteilt würden. Die Studie umfasste eine Vielzahl von Methoden: einige, die auf strengen, von Menschen geschriebenen Regeln basieren, einige, die durch das Beobachten menschlicher Fahrer lernen, einige, die durch Versuch und Irrtum wie ein Videospielcharakter lernen, und einige, die komplexe mathematische Modelle nutzen, um die Zukunft vorherzusagen.

Die Ergebnisse dieses direkten Vergleichs zeigten, dass es keinen einzelnen „besten“ Weg gibt, einen autonomen Fahrer zu bauen. Stattdessen zeigte die Studie, dass die Stärken und Schwächen eines Systems stark davon abhängen, wie viele Informationen es sehen darf und wie es trainiert wird. Die Forscher fanden heraus, dass Planer, denen „privilegierte“ Informationen zur Verfügung gestellt wurden – was bedeutet, dass sie den exakten Standort und die Geschwindigkeit jedes anderen Autos und Fußgängers sehen konnten, als hätten sie eine perfekte Karte der gesamten Welt –, auf langen, kontinuierlichen Routen signifikant besser abschnitten. Diese Systeme, zu denen ein regelbasierter Planer und ein Modell, das darauf trainiert wurde, menschliches Fahren zu imitieren, gehörten, schafften es, fast 97 Prozent ihrer zugewiesenen Routen ohne Kollision zu bewältigen. Im Gegensatz dazu schaffte das erfolgreichste System, das sich nur auf Standard-Sensoren wie Kameras und Laserscanner verließ, etwa 70 Prozent der Routen. Dies deutet darauf hin, dass Sensoren zwar gut darin sind, schnelle, lokale Interaktionen zu bewältigen, aber eine perfekte Vogelperspektive auf die Verkehrssituation entscheidend ist, um über lange Distanzen Fortschritte zu erzielen.

Doch eine perfekte Sicht oder eine hohe Erfolgsquote garantieren kein sicheres oder legales Fahren. Die Studie deckte einen überraschenden Zielkonflikt zwischen dem Erreichen des Ziels und dem Befolgen der Regeln auf. Eines der leistungsstärksten Modelle, das eine starke Vorhersage-Engine mit einem Kontrollsystem kombinierte, das darauf ausgelegt war, einem vorgegebenen Pfad zu folgen, war exzellent darin, auf der Straße zu bleiben und sein Ziel zu erreichen. Dennoch verstieß es häufig gegen Verkehrsregeln, wie etwa das Überfahren von roten Ampeln oder das Ignorieren von Stoppschildern, da seine Anweisungen darauf fokussiert waren, dem Pfad zu folgen, statt die Regeln zu befolgen. Auf der anderen Seite war ein Modell, das mittels Reinforcement Learning trainiert wurde – welches lernt, indem es Belohnungen für gutes Verhalten und Strafen für schlechtes Verhalten erhält –, sehr gut darin, Verstöße zu vermeiden, hatte aber Schwierigkeiten, lange Routen effizient zu bewältigen. Dies verdeutlicht eine kritische Herausforderung: Ein selbstfahrendes Auto kann sehr gut darin sein, vorwärtszukommen, oder sehr gut darin, höflich zu sein, aber beide Eigenschaften in einem einzigen System zu vereinen, bleibt schwierig.

Vielleicht war der aufschlussreichste Befund, dass kein einziger Ansatz konsistent die chaotischsten Situationen bewältigen konnte. Als die Forscher die Modelle gegen spezifische Szenarien testeten, die Hindernisse beinhalteten, wie etwa eine ins Fahrfeld geöffnete Autotür, eine Baustelle oder einen unerwartet auf die Straße tretenden Fußgänger, hatten alle Methoden Schwierigkeiten. Unabhängig davon, ob das System auf Regeln, dem Lernen aus Daten oder komplexen mathematischen Vorhersagen basierte – keines von ihnen konnte diese kniffligen, hindernisreichen Umgebungen zuverlässig navigieren, ohne Fehler zu machen. Dies deutet darauf hin, dass die Fähigkeit, präzise Entscheidungen in der Umgebung ungewöhnlicher Objekte zu treffen, ein gemeinsamer Engpass für das gesamte Feld ist. Die Studie zeigte auch, dass es irreführend sein kann, nur auf eine Endpunktzahl zu schauen. Zwei Systeme können am Ende die gleiche Gesamtbewertung erhalten, aber eines könnte gescheitert sein, weil es kollidiert ist, während das andere gescheitert ist, weil es gegen die Regeln verstoßen hat. Durch die Aufschlüsselung der Ergebnisse in spezifische Arten von Fahrsituationen zeigten die Forscher, dass eine hohe Punktzahl sehr unterschiedliche Arten von Fehlern verbergen kann.

Die Forscher führten auch einen neuen hybriden Ansatz in den Test ein, bei dem sie ein Modell, das berühmt dafür ist, vorherzusagen, wohin andere Autos fahren werden, mit einem Planungsmodul ergänzten. Dieses neue System war gut darin, das Auto auf seinem Pfad zu halten, aber wie die anderen Top-Performer kämpfte es dennoch mit den Verkehrsregeln. Die Studie kam zu dem Schluss, dass wir zwar enorme Fortschritte bei der Simulation und beim Testen von autonomer Technologie gemacht haben, aber noch nicht an dem Punkt sind, an dem diese Systeme bereit für den Masseneinsatz sind. Die Lücke zwischen einem Auto, das auf einer ruhigen Teststrecke fahren kann, und einem, das das unvorhersehbare Chaos einer echten Stadt bewältigen kann, ist immer noch signifikant. Die Arbeit dient als klarer Fahrplan für die Zukunft und zeigt, dass die nächsten Durchbrüche nicht einfach dadurch kommen werden, einen Teil des Systems schneller oder intelligenter zu machen, sondern dadurch, das schwierige Gleichgewicht zwischen dem Folgen eines Pfades, dem Befolgen des Gesetzes und dem sicheren Reagieren auf das Unerwartete zu lösen. Bis dieses Gleichgewicht gefunden ist, bleibt das Versprechen vollautonomer Fahrzeuge in weiter Ferne.