LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

Autonome Autos verlassen sich seit langem auf starre, regelbasierte Systeme, die einem strengen Skript folgen, oder auf lernbasierte Frameworks, die Rohsensordaten direkt in Lenkbefehle umwandeln. Obwohl diese Ansätze bedeutende Fortschritte gemacht haben, haben sie oft Schwierigkeiten mit dem Unerwarteten: seltene, komplexe Situationen, die außerhalb ihrer Trainingsdaten liegen, wie etwa ein Bauarbeiter, der mit der Hand winkt, oder ein plötzliches, zweideutiges Verkehrsmuster. Um diese Lücke zu schließen, haben Forscher auf Vision-Language-Modelle zurückgegriffen. Dies sind leistungsstarke Systeme der künstlichen Intelligenz, die darauf trainiert sind, sowohl Bilder als auch menschliche Sprache zu verstehen und in der Lage sind, eine Szene so zu interpretieren, wie es ein menschlicher Fahrer tun würde – indem sie beschreiben, was sie sehen, die Absicht interpretieren und Entscheidungen basierend auf dem Kontext treffen. Die vorherrschende Hoffnung war, dass diese Modelle, sobald sie fortschrittlicher und fähiger in der allgemeinen Argumentation werden, von Natur aus bessere Fahrer werden und schließlich spezialisierte Systeme, die ausschließlich für den Straßenverkehr entwickelt wurden, übertreffen werden.

Ein Team von Forschern der University of Michigan unternahm den Versuch, diese Annahme mit einem rigorosen, langfristigen Blick darauf zu testen, wie diese Modelle tatsächlich abschneiden. Sie führten ein neues Evaluierungs-Framework namens LightEMMA ein, das darauf ausgelegt ist, die Fahrfähigkeiten dieser Modelle zu messen, ohne ihnen ein spezielles Training zu geben oder ihre internen Einstellungen anzupassen. Anstatt den Modellen das Fahren beizubringen, baten die Forscher sie einfach darum, eine Straßenszene zu betrachten und vorherzusagen, wohin das Auto als Nächstes fahren sollte. Sie testeten fünfzehn verschiedene Modelle aus fünf großen Familien, die einen Zeitraum von drei Jahren rasanter Entwicklung abdeckten, unter Verwendung eines anspruchsvollen Datensatzes aus realen urbanen Fahrszenen. Das Ziel war zu sehen, ob die neuesten, leistungsfähigsten Modelle wirklich bessere Fahrer waren als ihre Vorgänger, oder ob der Sprung in der allgemeinen Intelligenz es versäumt hatte, sich in sichererem und präziserem Fahren niederzuschlagen.

Die Ergebnisse dieser Längsschnittstudie offenbaren eine überraschende Diskrepanz. Obwohl die Modelle größer, schneller in der allgemeinen Argumentation und fähiger im Verständnis komplexer Sprache wurden, wurden sie nicht konsistent besser darin, Fahrzeugtrajektorien vorherzusagen. Tatsächlich schnitten einige der neuesten Generationen schlechter ab als ältere Versionen derselben Familie. Als die Forscher die Genauigkeit der vorhergesagten Pfade gegenüber den tatsächlich von echten Autos genommenen Pfaden maßen, stellten sie fest, dass neuere Modelle oft größere Fehler machten. Beispielsweise erreichte eines der Top-Modelle aus der GPT-Familie einen durchschnittlichen Fehler von etwas mehr als einem Meter über ein dreisekündiges Vorhersagefenster, während andere neuere Modelle aus derselben oder anderen Familien höhere Fehlerraten zeigten, die teilweise zwei Meter überstiegen. Dies deutet darauf hin, dass es nicht automatisch ein besserer Fahrer macht, ein Modell lediglich im allgemeinen Sinne „schlauer“ zu machen.

Die Studie deckte auch spezifische Arten auf, wie diese Modelle in realen Fahrszenarien scheitern. Ein häufiger Fehler betraf eine übermäßige Abhängigkeit von der jüngsten Historie des Autos. Wenn ein Fahrzeug gerade an einer Kreuzung nach rechts abgebogen war, sagten die Modelle oft eine Rechtskurve voraus, selbst wenn das Auto bereits wieder geradeaus gefahren war und die Straße vor ihm frei war. Sie hatten Schwierigkeiten, ihr mentales Modell basierend auf der aktuellen Sichtweise zu aktualisieren, und projizierten stattdessen die vorherige Aktion in die Zukunft. In anderen Fällen gelang es den Modellen nicht, widersprüchliche visuelle Hinweise in Einklang zu bringen. Wenn eine Ampel grün wurde, aber ein Fahrzeug direkt vor ihnen stoppte, sagten einige Modelle korrekt voraus, dass das Auto warten sollte, während andere das Hindernis ignorierten und vorhersagten, das Auto würde die Kreuzung durchfahren. Ähnlich verhielt es sich beim Annähern an eine rote Ampel: Einige Modelle sagten ein abruptes, hartes Anhalten voraus, anstatt eines sanften Abbremsens, während andere es versäumten, überhaupt abzubremsen.

Über die Genauigkeit hinaus untersuchten die Forscher die praktischen Kosten der Nutzung dieser Modelle für das Fahren. Sie fanden heraus, dass die Inferenzzeit – die Zeit, die das Modell benötigt, um ein Bild zu verarbeiten und eine Vorhersage zu generieren – stark variierte. Das schnellste Modell benötigte etwa 4,5 Sekunden, um einen einzelnen Frame zu verarbeiten, während das langsamste über 40 Sekunden brauchte. Für ein Auto, das mit Autobahngeschwindigkeit fährt, ist selbst das Warten von wenigen Sekunden auf eine Entscheidung viel zu lang; das Fahren in Echtzeit erfordert Entscheidungen in Millisekunden. Darüber hinaus waren die Kosten für die Nutzung kommerzieller Modelle für diese Aufgabe erheblich; einige kosteten mehrere Cent pro Frame, was für den kontinuierlichen Betrieb zu einer prohibitiven Ausgabe führen würde. Die Studie stellte auch fest, dass selbst die besten Modelle gelegentlich daran scheiterten, Anweisungen zu befolgen, indem sie Ausgaben produzierten, die schwer zu lesen oder zu parsen waren, obwohl die Forscher eine Methode entwickelten, um die meisten dieser Formatierungsfehler zu korrigieren.

Letztendlich legt die Arbeit nahe, dass der Weg zum sicheren, autonomen Fahren mittels Vision-Language-Modellen mehr erfordert, als nur auf die nächste Generation der allgemeinen KI zu warten. Die Modelle sind in der Lage, eine Szene zu beschreiben und Sprache zu verstehen, aber es fehlt ihnen der spezifische, domänenspezifisch trainierte Instinkt, der nötig ist, um sich sicher und zuverlässig in der physischen Welt zu bewegen. Die Forscher kommen zu dem Schluss, dass diese Systeme eine spezialisierte Anpassung benötigen, um die spezifischen Regeln und Dynamiken des Fahrens zu erlernen, anstatt sich allein auf ihre breiten, allgemeinen Argumentationsfähigkeiten zu verlassen. Das LightEMMA-Framework steht nun als Werkzeug zur Verfügung, damit die Fachwelt diese Modelle weiterhin testen und verfeinern kann, um sicherzustellen, dass zukünftige Fortschritte in der künstlichen Intelligenz sich in greifbaren Verbesserungen auf der Straße niederschlagen.