💻 computer science

How Can Driving World Models Do Counterfactual Prediction?

Dieses Paper identifiziert eine grundlegende Diskrepanz in Weltmodellen für das Fahren, bei der die direkte aktionsbedingte Vorhersage daran scheitert, den faktischen Kontext für kontrafaktische Szenarien zu bewahren, und schlägt eine einfache, trainingsfreie Pipeline vor, die beobachtete Evidenz integriert, um die Genauigkeit kontrafaktischer Vorhersagen signifikant zu verbessern.

Ursprüngliche Autoren: Jiaru Zhang, Can Cui, Yi Xu, Xin Ye, Ruqi Zhang, Ziran Wang

Veröffentlicht 2026-08-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaru Zhang, Can Cui, Yi Xu, Xin Ye, Ruqi Zhang, Ziran Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen einen Film eines Autos, das eine Straße entlangfährt. Plötzlich rennt ein Hund hinter einem geparkten Lieferwagen hervor. Im echten Film tritt der Fahrer voll auf die Bremse. Aber was wäre, wenn Sie wissen wollten: „Was hätte die Kamera gesehen, wenn der Fahrer nicht gebremst, sondern stattdin nach links ausgewichen wäre?“ Dies ist der Kern der kontrafaktischen Vorhersage. Es ist eine spezielle Art von „Was wäre wenn“-Frage, die Wissenschaftler im Bereich der Künstlichen Intelligenz stellen, speziell für selbstfahrende Autos.

Um dies zu verstehen, müssen Sie etwas über World Models (Weltmodelle) wissen. Betrachten Sie diese als KI-„Tagträumer“. Sie werden mit Millionen von Stunden Fahrvideos trainiert, damit sie sich vorstellen können, was als Nächstes passiert. Normalerweise, wenn man ihnen ein Video zeigt, in dem ein Auto sich einer Kreuzung nähert, und ihnen sagt: „Stell dir jetzt vor, das Auto beschleunigt“, generiert die KI ein neues Video eines beschleunigenden Autos. Das Problem ist, dass die meisten dieser KI-Tagträumer sehr schlecht darin sind, die spezifische „Was wäre wenn“-Frage zu einem Ereignis zu beantworten, das bereits stattgefunden hat. Sie vergessen tendenziell die spezifischen Details der ursprünglichen Szene (wie den Hund, der hervorrennt) und entwerfen stattdessen eine generische, plausible Zukunft. Diese Arbeit untersucht, warum das passiert, und versucht, es zu beheben.

Die Autorin dieser Arbeit, Jiaru Zhang, und ihr Team von der Purdue University und Bosch haben einen grundlegenden Fehler entdeckt, wie die aktuelle Fahr-KI mit diesen „Was wäre wenn“-Szenarien umgeht. Sie fanden heraus, dass, wenn man eine Standard-KI fragt: „Was würde passieren, wenn ich X statt Y tue?“, die KI nur in die Vergangenheit (die Historie vor dem Ereignis) und die neue Anweisung (die neue Aktion) blickt. Sie ignoriert die Beweise dessen, was im ursprünglichen Video nach dem Ereignis tatsächlich passiert ist, vollkommen.

Um dies zu erklären, nutzen die Autoren eine kluge Analogie aus einem berühmten Philosophen'schen „Leiter der Kausalität“. Stellen Sie sich drei Sprossen einer Leiter vor:

Sehen: Beobachten, was natürlich geschieht.
Tun: Eine Aktion ändern und sehen, was im allgemeinen Sinne passiert.
Vorstellen (Imagining): Fragen, was in dieser spezifischen Situation passiert wäre, wenn man etwas anderes getan hätte.

Das Paper argumentt, dass aktuelle KI-Modelle auf der zweiten Sprosse feststecken. Sie sind gut im allgemeinen „Tun“, aber sie scheitern an der dritten Sprosse, dem „Vorstellen“, weil sie vergessen, die Hinweise der ursprünglichen Realität zu nutzen. Wenn zum Beispiel in einem echten Video ein Auto vor das Ego-Fahrzeug geschnitten hat, muss eine wahre kontrafaktische Antwort auch zeigen, dass dieses Auto auch dann vor das Fahrzeug schneidet, wenn man ausgewichen wäre. Eine Standard-KI, die die Beweise des „Vordrängens“ ignoriert, würde jedoch vielleicht eine leere Straße zeigen, weil sie denkt: „Oh, wenn das Auto ausgewichen ist, ist vielleicht niemand vorgefahren.“

Um dies zu beweisen, baute das Team einen speziellen Test unter Verwendung eines Videospiel-Simulators namens CARLA. In der realen Welt kann man die Zeit nicht zurückdrehen, um zu sehen, was passiert wäre, wenn man anders gefahren wäre. Aber in einem Simulator kann man exakt dieselbe Szene zweimal durchlaufen lassen: einmal mit der echten Aktion und einmal mit der „Was wäre wenn“-Aktion. Dies gab ihnen eine perfekte „Ground Truth“ (Grundwahrheit), um sich selbst zu vergleichen. Sie testeten zwei populäre Arten von Fahr-KI-Modellen und fanden heraus, dass die Standardmethode (der KI einfach nur die neue Aktion zu sagen) fehlschlug, da sie die spezifischen Ereignisse der ursprünglichen Szene nicht bewahrte. Die KI generierte glatte, plausible Videos, aber es waren die falschen Geschichten.

Das Paper schlägt daraufhin eine einfache, clevere Lösung vor, die kein Retraining der KI erfordert. Sie nennen es eine „Transport and Complete“-Pipeline (Transportieren und Vervollständigen). So funktioniert sie:

Abduce (Rekonstruieren): Zuerst nehmen sie das echte Video und nutzen ein Tiefensensor-Werkzeug, um die flachen Bilder in eine 3D-Punktwolke zu verwandeln, ähnlich dem Bau einer digitalen Skulptur der Szene.
Transport (Bewegen): Sie bewegen die Kamera dann in dieser 3D-Welt dorthin, wo sie sich befunden hätte, wenn das Auto den neuen Pfad genommen hätte. Dadurch werden die realen Objekte (wie das Auto, das vorgestoßen ist) in die neue Position der „Was wäre wenn“-Ansicht versetzt.
Complete (Auffüllen): Die KI wird dann gebeten, nur die leeren Stellen aufzufüllen – also die Teile der Szene, die die 3D-Bewegung nicht zeigen konnte (wie den Himmel oder Dinge, die hinter anderen Autos verborgen waren).
Combine (Kombinieren): Schließlich fügen sie die echten, bewegten Objekte wieder in das generierte Video der KI ein.

Die Ergebnisse waren beeindruckend. Obwohl diese Methode die KI-Modelle exakt so verwendet, wie sie sind (oh ohne Training), gelang es ihr, die fehlenden Ereignisse wiederherzustellen, die die Standardmethode übersehen hatte. Sie zeigte, dass das Auto auch im „Was wäre wenn“-Szenario vorgefahren ist, und das Video wirkte viel realistischer.

Zusammenfassend zeigt das Paper, dass man, um eine wahre „Was wäre wenn“-Frage über ein spezifisches Ereignis zu beantworten, nicht einfach nur die KI bitten kann, sich eine neue Zukunft vorzustellen. Man muss sie dazu zwingen, sich an die spezifischen Details der Vergangenheit zu erinnern und diese in das neue Szenario mitzunehmen. Durch die Kombination von ein wenig 3D-Geometrie mit der Vorstellungskraft der KI haben die Autoren einen Weg geschaffen, um diese „Was wäre wenn“-Vorhersagen viel genauer zu machen – indem sie sicherstellen, dass die KI nicht nur eine neue Geschichte erfindet, sondern die alte Geschichte korrekt umschreibt.

Technische Zusammenfassung: Kontrafaktische Prädiktion in Driving World Models

Problemdefinition und kausale Lücke
Die Arbeit adressiert eine grundlegende Diskrepanz zwischen der beabsichtigten Fähigkeit von Driving World Models (kontrafaktische Prädiktion) und deren Standardimplementierung (direkte aktionsbedingte Prädiktion). In der autonomen Fahrt stellt die kontrafaktische Prädiktion die Frage: „Gegeben ist ein faktisches Fahrprotokoll, in dem ein Ereignis auftrat (z. B. ein Auto, das einscherte), wie hätte die Kamera das Bild aufgenommen, wenn das Ego-Fahrzeug eine andere Aktion ausgeführt hätte (z. B. Bremsen statt Beschleunigen)?“

Die Autoren identifizieren, dass aktuelle „direkte Prädiktionen“ das Modell nur auf die gemeinsame Historie ( $H$ ) und die alternative Aktion ( $a'$ ) bedingen. Dieser Ansatz versäumt es, die faktische Fortsetzung ( $F^+$ ) – die beobachteten Beweise dafür, was nach der gemeinsamen Historie tatsächlich geschah – einzubeziehen. Gemäß Pearls „Ladder of Causation“ erfordert ein echtes Kontrafaktum (Stufe 3) eine Abduktion: die Inferenz des spezifischen Zustands der Welt ( $w$ ), der das beobachtete faktische Ergebnis erzeugt hat, um dann mit der neuen Aktion zu intervenieren. Die direkte Prädiktion, die $F^+$ ignoriert, mittelt effektiv über alle möglichen Welten, die mit der Historie konsistent sind ( $p(w|H)$ ), anstatt die spezifische Welt zu berücksichtigen, die im Episode realisiert wurde ( $p(w|H, F^+)$ ). Infolgedessen generieren direkte Modelle oft flüssige Videos, die konsistent mit der neuen Aktion sind, aber spezifische Ereignisse (wie ein herankommendes Auto) auslassen, die in der Episode tatsächlich präsent waren.

Methodik: Eine trainingsfreie Pipeline
Um diese Lücke ohne das Nachtrainieren bestehender Modelle zu schließen, schlagen die Autoren eine einfache, zur Inferenzzeit genutzte Pipeline vor, die auf dem kausalen Rezept von Abduktion, Aktion und Prädiktion basiert. Die Methode operiert auf einem eingefrorenen World Model und besteht aus vier Phasen:

Abduktion (Rekonstruktion): Ein eingefrorenes Tiefenschätzungsmodell verarbeitet die faktische Fortsetzung ( $F^+$ ), um die metrische Tiefe zu schätzen. Dies hebt die 2D-RGB-Frames in eine 3D-Punktwolke an und rekonstruiert die beobachteten Oberflächen der realisierten Welt.
Transport (Intervention): Das System wendet die alternative Ego-Trajektorie ( $a'$ ) auf die Kamerapose an, während die rekonstruierte 3D-Welt fixiert bleibt. Unter Verwendung von Forward Splatting und einem Tiefenpuffer werden die beobachteten 3D-Punkte in die kontrafaktische Kameraperspektive zurückprojiziert. Dies generiert ein gewarptes Evidenzbild ( $E_t$ ) und eine Support-Maske ( $M_t$ ), die angibt, welche Pixel durch die faktische Beobachtung bestimmt werden.
Vervollständigung (Prädiktion): Das eingefrorene World Model wird angewiesen, nur die ununterstützten Regionen zu generieren (Bereiche, die in der faktischen Aufzeichnung nicht sichtbar oder verdeckt sind).
- Bei Diffusionsmodellen ist der Input eine verrauschte Kodierung der faktischen Evidenz, die durch $M_t$ maskiert ist. Während des Denoising-Prozesses werden die Evidenzregionen in jedem Schritt wiederhergestellt, um die Generierung zu steuern.
- Bei autoregressiven Modellen werden die Token, die der Evidenzmaske entsprechen, auf die Input-Werte fixiert, während das Modell die Token für die verbleibenden Regionen generiert.
Kombination (Verfeinerung): Der Output des World Models wird mit der transportierten Evidenz verschmolzen. Eine Gewichtungsfunktion ( $\alpha_t$ ) stellt sicher, dass zuverlässige transportierte Pixel unverändert erhalten bleiben, während die Übergänge geglättet werden, um Farben zu harmonisieren und Nähte zu reduzieren.

Benchmark und Evaluierung
Da reale Daten keine kontrafaktische Wahrheit liefern können (man kann aus einer Vergangenheit nicht zwei Zukünfte beobachten), haben die Autoren einen kontrollierten Benchmark mit dem CARLA-Simulator konstruiert.

Setup: Sie simulieren eine Welt mit einem vordefinierten Ereignis (z. B. ein Auto, das aus einer Seitenstraße auftaucht). Sie führen drei Szenarien durch: (1) Faktische Ausführung ( $F, a_{obs}$ ), (2) Kontrafaktische Ausführung ( $P, a'$ ) und (3) Null-Ausführung, bei der das Ereignis unterdrückt wird ( $U, a'$ ).
Metriken:
- Recovered Fraction ($Rec$): Misst, wie sehr die Prädiktion der kontrafaktischen Grundwahrheit ( $P$ ) gegenüber der Null-Referenz ( $U$ ) ähnelt, unter Verwendung von Embedding-Ähnlichkeit (DINOv2 und CLIP). Ein Wert von 1 bedeutet perfekte Wiederherstellung des Ereignisses; 0 bedeutet vollständiges Auslassen.
- Perzeptuelle Treue (Perceptual Fidelity): Misst den LPIPS-Abstand zwischen der Prädiktion und der kontrafaktischen Grundwahrheit, um die visuelle Qualität zu bewerten.

Wesentliche Ergebnisse
Experimente mit zwei repräsentativen World Models (einem diffusionsbasierten Modell und einem autoregressiven Modell) lieferten folgende Erkenntnisse:

Versagen der direkten Prädiktion: Standardmäßige, direkt aktionsbedingte Prädiktionen scheiterten konsequent daran, die spezifischen Ereignisse zu bewahren, die in der faktischen Fortsetzung vorhanden waren. Ihre „Recovered Fraction“-Scores waren niedrig, was darauf hindeutet, dass sie plausible, aber falsche Zukünfte generierten, in denen das Ereignis (z. B. das auftauchende Auto) nicht stattfand.
Effektivität der Methode: Die vorgeschlagene, trainingsfreie Pipeline verbesserte die Leistung signifikant. Sie steigerte die „Recovered Fraction“ erheblich und behielt erfolgreich das Ereignissignal bei, das bei der direkten Prädiktion verloren ging.
Visuelle Qualität: Die Methode reduzierte den perzeptuellen Abstand (LPIPS) zur kontrafaktischen Grundwahrheit und erzeugte Outputs, die sowohl semantisch korrekt (enthaltend das Ereignis) als auch visuell kohärent waren.

Bedeutung und Ansprüche
Die Arbeit behauptet nicht, die kontrafaktische Prädiktion für alle Fahrszenarien gelöst oder eine neue Lernarchitektur eingeführt zu haben. Ihre Bedeutung liegt vielmehr in:

Diagnose: Bereitstellung einer präzisen kausalen Erklärung dafür, warum aktuelle World Models bei kontrafaktischen Aufgaben scheitern (das Auslassen der Abduktion/Evidenz aus der faktischen Fortsetzung).
Benchmarking: Etablierung des ersten kontrollierten Benchmarks mit passenden kontrafaktischen Grundwahrheiten, um diesen spezifischen Fehlermodus quantitativ zu messen.
Konstruktive Baseline: Demonstration, dass eine einfache, trainingsfreie geometrische Intervention die „fehlende Evidenz“ wiederherstellen und die kontrafaktische Treue signifikant verbessern kann. Dies dient als Referenzpunkt für zukünftige Methoden und legt nahe, dass eine bessere kontrafaktische Prädiktion die explizite Integration beobachteter Evidenz in den Generierungsprozess erfordern könnte, anstatt sich allein auf die Aktionsbedingung zu verlassen.

Die Autoren kommen zu dem Schluss, dass diese Arbeit darauf abzielt, die Aufmerksamkeit auf die Lücke zwischen direkter Prädiktion und echtem kontrafaktischem Denken zu lenken und die Entwicklung von Methoden zu motivieren, welche die kausale Struktur spezifischer Fahr-Episoden respektieren.

Technische Zusammenfassung: Kontrafaktische Prädiktion in Driving World Models

Mehr davon