Selbstfahrende Autos verlassen sich seit langem auf einen modularen Ansatz, bei dem ein Teil der Software die Straße sieht, ein anderer entscheidet, was zu tun ist, und ein dritter das Fahrzeug lenkt. Diese Trennung führt oft dazu, dass sich Fehler summieren, wie in einem Spiel des „Stille Post“, bei dem die Nachricht bei jeder Übertragung verzerrt wird. Um dies zu lösen, entwickeln Forscher End-to-End-Systeme, die direkt von Kamerabildern auf Lenkbefehle schließen lernen, ganz ähnlich wie ein menschlicher Fahrer, der eine Situation sieht und reagiert, ohne sie bewusst in einzelne Schritte zerlegen zu müssen. Diese Systeme haben jedoch oft Schwierigkeiten mit seltenen oder komplexen Szenarien, da ihnen die Fähigkeit fehlt, wirklich darüber „nachzudenken, was als Nächstes passieren könnte“. Sie sehen die Gegenwart klar, haben aber Schwierigkeiten, sich die Zukunft vorzustellen, was für eine sichere Navigation unerlässlich ist.

Ein vielversprechender neuer Weg führt über „Weltmodelle“ (World Models), also Computerprogramme, die darauf trainiert sind, vorherzusagen, wie sich eine Szene im Laufe der Zeit verändert. Indem sie lernen, die nächsten Sekunden eines Videos vorherzusagen, können diese Modelle die Dynamik des Verkehrs verstehen und diese Voraussicht nutzen, um ihre eigenen Bewegungen zu planen. Dennoch blieb eine erhebliche Lücke zwischen den leistungsstarken Videoprediktions-Techniken aus der Forschung und den spezifischen Anforderungen des autonomen Fahrens bestehen. Viele bestehende Methoden versuchen, fehlende Teile eines Videos zufällig zu ergänzen, was zwar gut ist, um die Vergangenheit zu verstehen, aber schlecht darin ist, die Zukunft vorherzusagen. Andere verlassen sich auf vereinfachte, komprimierte Repräsentationen der Welt, die zu viele Details verlieren, um für komplexe Entscheidungsfindungen nützlich zu sein. Die Herausforderung bestand darin, ein System zu schaffen, das sowohl die reiche, detaillierte Realität der Straße verstehen als auch zuverlässig plausible Zukünfte generieren kann, um seine Handlungen zu leiten.

Forscher von Afari Intelligent Drive und mehreren Universitäten haben dies adressiert, indem sie eine spezifische Architektur namens Video Joint Embedding Predictive Architecture, oder V-JEPA, neu überdacht haben. Diese Technologie ist darauf ausgelegt, tiefe, bedeutungsvolle Muster aus Videos zu lernen, ohne auf menschliche Labels angewiesen zu sein, aber in ihrer ursprünglichen Form war sie darauf aufgebaut, fehlende Teile eines Videos zu vervollständigen, anstatt in die Zeit nach vorne zu blicken. Das Team erkannte, dass ein Auto, um selbstständig zu fahren, nach vorne schauen muss, nicht nur Lücken füllen darf. Sie entwickelten ein neues System namens WA-JEPA, das die leistungsfähigen Lernfähigkeiten von V-JEPA speziell für die Aufgabe des Autofahrens anpasst. Anstatt zufällig fehlende Teile eines Videos zu erraten, wird ihr Modell darauf trainiert, die aktuelle Straße zu beobachten und exakt vorherzusagen, wie die Szene in der Zukunft aussehen wird, während es gleichzeitig entscheidet, was das Auto tun soll.

Der Kern ihrer Innovation liegt darin, wie sie das Modell lehren, über die Zeit nachzudenken. In der ersten Trainingsphase wird dem System eine Sequenz von Videobildern aus mehreren Kameras eines Autos gezeigt. Es wird dann aufgefordert, sich die zukünftigen Bilder vorzustellen, die auf den letzten sichtbaren Moment folgen. Im Gegensatz zu bisherigen Methoden, die vielleicht versuchen würden, ein fehlendes Bild in der Mitte eines Videos zu erraten, wird dieses Modell gezwungen, strikt nach vorne zu blicken und so die Ursache-Wirkungs-Beziehungen des Verkehrs zu lernen. Um diese Vorhersagen realistischer zu gestalten, ersetzten die Forscher einen standardmäßigen mathematischen Ansatz durch eine Technik namens „Flow Matching“. Dies ermöglicht es dem Modell, einen glatten, kontinuierlichen Pfad zukünftiger Möglichkeiten zu generieren, anstatt nur ein einziges statisches Ergebnis zu erraten. Dies ist entscheidend, da die Zukunft selten ein einziger fester Punkt ist, sondern ein Spektrum an Möglichkeiten, durch das das Auto navigieren muss.

In der zweiten Phase verknüpften die Forscher diese zukunftsorientierte Fähigkeit direkt mit der Steuerung des Autos. Sie bauten ein einziges, einheitliches System, das sowohl das zukünftige Erscheinungsbild der Straße als auch die zukünftigen Aktionen des Autos gleichzeitig vorhersagt. Durch das gemeinsame Training dieser beiden Aufgaben lernt das Modell, dass die Art und Weise, wie sich die Welt verändert, direkt mit der Bewegung des Autos verknüpft ist. Wenn das Auto abbiegt, verändert sich die Sichtweise auf eine bestimmte Weise; wenn das Auto anhält, verhält sich die Welt anders. Diese enge Kopplung bedeutet, dass das Modell die Welt nicht nur sieht, sondern versteht, wie seine eigenen Handlungen diese Welt formen. Das Ergebnis ist ein System, das in der Lage ist, komplexe Verkehrssituationen zu durchdenken, indem es die Zukunft in seinem Geist simuliert, bevor es eine Entscheidung trifft.

Das Team testete sein neues System auf einem Standard-Benchmark namens NAVSIM, der reale Fahrdaten nutzt, um zu bewerten, wie gut autonome Fahrzeuge navigieren können. Auf dem NAVSIM-v2-Test erreichte WA-JEPA eine Punktzahl von 91,7 und übertraf damit die besten existierenden End-to-End-Fahr-Methoden sowie andere World-Model-Ansätze. Diese Verbesserung deutet darauf heavy, dass das System besser darin ist, Kollisionen zu vermeiden und Verkehrsregeln zu befolgen. Vielleicht noch beeindruckender ist, dass die Forscher ihr Modell in einem völlig anderen, geschlossenen Simulator namens HUGSIM testeten, ohne es speziell auf diese Umgebung trainiert zu haben. In diesem Zero-Shot-Test, bei dem das Auto kontinuierlich fahren und in Echtzeit auf seine eigenen Fehler reagieren musste, erreichte WA-JEPA eine hohe Punktzahl von 0,4462 und übertraf damit alle anderen Methoden deutlich. Dies deutet darauf hin, dass die Fähigkeit, die Zukunft vorherzusagen und Handlungen gemeinsam zu planen, ein robustes Verständnis des Fahrens schafft, das gut auf neue und unbekannte Situationen übertragbar ist.

Die Ergebnisse legen nahe, dass der Schlüssel zu besserem autonomen Fahren nicht darin liegen könnte, mehr Sensoren oder komplexere Regeln hinzuzufügen, sondern das System zu lehren, die Zukunft präziser zu imaginieren. Indem sie den Fokus von der bloßen Vervollständigung fehlender Videodaten auf die aktive Vorhersage dessen verschoben haben, was als Nächstes kommt, und indem sie diese Vorhersage direkt mit den Entscheidungen des Autos verknüpften, haben die Forscher ein Modell geschaffen, das mit einem menschenähnlicheren Sinn für Voraussicht fährt. Dieser Ansatz schließt die Lücke zwischen dem Verständnis der visuellen Welt und dem Handeln und bietet einen Weg zu Fahrzeugen, die der unvorhersehbaren Natur realer Straßen mit größerer Zuversicht und Sicherheit begegnen können.