💻 computer science

Action Emergence from Streaming Intent

Dieser Beitrag stellt „Streaming Intent" vor, ein neuartiges End-to-End-Fahrzeugsteuerungsframework, das durch kausale Ableitung semantisch gestreamter Intentionen mittels eines Chain-of-Thought-Mechanismus zur Steuerung eines Flow-Matching-Aktionsgenerators die Emergenz von Aktionen ermöglicht und auf dem Waymo-Benchmark eine wettbewerbsfähige Leistung sowie eine beispiellose, intentionstreue Steuerbarkeit erzielt.

Ursprüngliche Autoren: Pengfei Jing, Victor Shea-Jay Huang, Hengtong Lu, Jifeng Dai, Xie Yan, Benjin Zhu

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengfei Jing, Victor Shea-Jay Huang, Hengtong Lu, Jifeng Dai, Xie Yan, Benjin Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein Auto zu fahren. Lange Zeit war der beste Weg, dies zu tun, dem Roboter Tausende von Videos von fahrenden Menschen zu zeigen und zu sagen: „Kopiere, was du siehst."

Das Problem mit diesem Ansatz ist, dass der Roboter zu einem Papagei wird. Wenn er eine Situation sieht, die er nicht zuvor geübt hat (wie eine seltsame Kreuzung oder eine plötzliche Umleitung), gerät er in Panik. Er versucht, alles, was er je gesehen hat, zu „mitteln", was zu einem verwirrten, wackeligen Pfad führt, der tatsächlich nirgendwohin führt. Ihm fehlt die Absicht. Er entscheidet sich nicht, nach links zu lenken; er rät lediglich, dass „nach links lenken" eine statistisch wahrscheinliche Handlung ist.

Die Arbeit „Action Emergence from Streaming Intent" stellt eine neue Methode vor, um den Roboter zu unterrichten, genannt SI (Streaming Intent). So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Papagei" vs. der „Fahrer"

Aktuelle KI-Modelle für autonomes Fahren sind wie Papageien.

Autoregressive Modelle (der alte Weg) versuchen, die nächste Sekunde des Fahrens vorherzusagen, dann die nächste, eine nach der anderen. Wenn die Zukunft unklar ist, geraten sie in Verwirrung und produzieren einen „unscharfen" Pfad, der einen Kompromiss zwischen Geradeausfahren, Linkskurven und Stoppen darstellt. Es ist wie ein Papagei, der versucht, zwei Wörter gleichzeitig zu sagen.
Diffusionsmodelle (der neuere Weg) sind besser darin, viele verschiedene Möglichkeiten vorzustellen, aber sie sind wie ein Träumender. Sie können tausend verschiedene Pfade generieren, aber man kann ihnen nicht sagen: „Okay, dieser spezifische Pfad ist der, den wir gerade nehmen wollen." Sie wählen einfach den häufigsten aus ihrem Traum aus.

2. Die Lösung: Der „Streaming Intent"

Die Autoren schlagen ein System vor, bei dem das Auto nicht nur rät; es denkt bevor es handelt. Sie nennen dies Streaming Intent.

Stellen Sie es sich wie einen Filmregisseur vor, der einem Stuntfahrer Anweisungen gibt:

Das Skript (Chain-of-Thought): Bevor das Auto sich bewegt, schreibt die KI ein kurzes Skript. Es sagt nicht nur „Lenken". Es durchläuft vier Schritte:
- Wahrnehmen: „Ich sehe eine rote Ampel und einen Fußgänger."
- Vorhersagen: „Der Fußgänger wird überqueren."
- Urteilen: „Ich muss anhalten."
- Planen: „Ich werde Vorfahrt gewähren."
Das Streaming (Kontinuierlicher Fluss): Dies ist nicht nur ein Gedanke. Während das Auto fährt, führt es einen „laufenden Kommentar". Die Entscheidung, an der ersten Ampel zu stoppen, wird zum Ausgangspunkt für die Entscheidung, an der nächsten zu beschleunigen. Es ist wie ein Fluss; das Wasser (die Absicht) fließt kontinuierlich und verbindet die Vergangenheit mit der Zukunft, damit das Auto nicht vergisst, was es vor fünf Sekunden beschlossen hat.

3. Wie das Auto tatsächlich fährt (Der Zaubertrick)

Sobald die KI ihr „Skript" (die Begründung) fertiggestellt hat, übergibt sie einen spezifischen Anweisungstoken an den Fahrmotor.

Der alte Weg: Der Motor versucht, den Pfad basierend auf dem gesamten Video zu erraten.
Der SI-Weg: Der Motor verwendet eine Technik namens Classifier-Free Guidance (CFG). Stellen Sie sich vor, der Motor hat eine „Standardeinstellung" (was die meisten Autos tun) und eine „Sondereinstellung" (was das Skript sagt).
- Die KI sagt: „Nimm den Standardpfad, aber drücke ihn kräftig in Richtung 'Vorfahrt gewähren'."
- Dies ermöglicht dem Auto, einen Pfad zu generieren, der physisch sicher ist, aber strikt der spezifischen Entscheidung folgt, die im Skript getroffen wurde.

Wenn Sie das Skript von „Geradeaus" auf „Links abbiegen" ändern, generiert das Auto sofort einen völlig anderen, sicheren Pfad für diese spezifische Szene, ohne dass eine vorgefertigte Liste von Kurven zur Auswahl benötigt wird. Es entstehet die Handlung aus der Begründung.

4. Die Ergebnisse: Ein intelligenterer Fahrer

Das Team testete dies am Waymo End-to-End-Benchmark (ein berühmter Test für Fähigkeiten im autonomen Fahren).

Leistung: Das neue System (SI) erzielte sehr hohe Werte und schlug fast alle vorherigen Modelle.
Das „Erste": Zum ersten Mal zeigte eine vollständig end-to-end KI Intent-Faithful Controllability (Absichtstreue Steuerbarkeit). Das bedeutet, wenn Sie der KI in einer bestimmten Szene sagen „Links abbiegen", biegt sie tatsächlich sicher links ab. Wenn Sie ihr sagen „Geradeaus", fährt sie geradeaus. Sie halluziniert nicht einfach zufällige Pfade; sie erstellt distincte, hochwertige Pläne, die rein auf dem basieren, was ihr gesagt wurde zu tun.

5. Schneller machen (Der „Distillation"-Trick)

Normalerweise ist dieses „zweistufige" Denken (Begründung + Fahren) langsam, weil der Computer das Gehirn für jede Bewegung zweimal durchlaufen lassen muss.

Die Autoren erstellten eine „Schüler"-Version der KI. Sie lehrten diesen kleineren Schüler, die endgültige Entscheidung des „Lehrers" in einem einzigen Schritt nachzuahmen.
Analogie: Stellen Sie sich einen Meisterkoch (den Lehrer) vor, der die Suppe zweimal probiert, um sie perfekt zu bekommen. Sie trainieren einen Sous-Chef (den Schüler), sie einmal zu probieren, aber genau das gleiche Ergebnis zu erzielen. Der Schüler ist doppelt so schnell, schmeckt aber genauso gut.

Zusammenfassung

Diese Arbeit stellt ein System für autonomes Fahren vor, das denkt, bevor es handelt. Anstatt nur zu kopieren, was es sieht, durchdenkt es eine Situation („Ich sehe X, also werde ich Y tun") und führt dann diesen spezifischen Plan aus. Es erzeugt einen kontinuierlichen Fluss von Entscheidungen, der es dem Auto ermöglicht, knifflige, seltene Situationen zu bewältigen, indem es neue, sichere Aktionen im laufenden Betrieb generiert, anstatt in einer Schleife durchschnittlicher Vermutungen stecken zu bleiben.

Technische Zusammenfassung: Handlungsentstehung aus Streaming-Intent

Problemstellung

Aktuelle End-to-End-Systeme für autonomes Fahren haben Schwierigkeiten mit „Long-Tail"-Szenarien (z. B. mehrdeutige Kreuzungen, ungeschützte Abbiegevorgänge, dichtes Einfädeln). Die Autoren argumentieren, dass die wesentliche fehlende Fähigkeit die Handlungsentstehung ist: die Fähigkeit, in beliebigen Szenen durch reasoning in Echtzeit physikalisch machbare, semantisch angemessene und sicherheitskonforme Handlungen zu generieren, anstatt vorab gelernte Szenen-Aktions-Zuordnungen abzurufen oder zu interpolieren.

Bestehende Paradigmen versagen bei der Erreichung dieses Ziels aufgrund mangelnder Intent-treuer Steuerbarkeit:

Autoregressive (AR) Modelle neigen dazu, die inhärent multimodale Zukunft auf eine einzige gemittelte Trajektorie zu reduzieren, was physikalisch nicht realisierbare Kompromisse erzeugt (z. B. eine Trajektorie, die weder eine Kurve noch ein gerader Weg ist).
Diffusions- und Flow-Matching (FM) Modelle können multimodale Verteilungen repräsentieren, fehlen jedoch ein explizites Konditionierungssignal, um das Sampling in Richtung eines spezifischen, begründeten Intents zu lenken. Folglich wird ihre Ausgabe vom Datenprior dominiert und bleibt nur schwach steuerbar.

Ohne einen Mechanismus, der einen diskreten, begründeten Fahr-Intent (z. B. Vorfahrt gewähren, einfädeln, abbiegen) mit der ausgeführten Trajektorie verknüpft, können Agenten sich nicht für einen Plan entscheiden, wenn mehrere Zukünfte plausibel sind.

Methodik: SI (Streaming Intent)

Die Arbeit schlägt SI (Streaming Intent) vor, ein Vision-Language-Action (VLA) Modell, das zur Realisierung der Handlungsentstehung entwickelt wurde. SI basiert auf einem einzigen gemeinsamen Qwen3-VL-Transformer-Backbone, der sowohl einen autoregressiven (AR) Sprachzweig als auch einen Flow-Matching (FM) Aktionszweig gemeinsam unterstützt.

Kernkomponenten

Streaming-Intent-Mechanismus:
- Semantisches Streaming: Der Intent wird nicht als isoliertes Label vorhergesagt. Stattdessen entsteht er aus einem vierstufigen Chain-of-Thought (CoT)-Prozess (PERCEIVE → PREDICT → JUDGE → PLAN), der autoregressiv dekodiert wird. Die endgültige Ausgabe ist ein diskreter Intent-Token. Dies stellt sicher, dass der Intent kausal im Szenenverständnis verankert ist.
- Temporales Streaming: Um Kohärenz über die Zeit hinweg zu gewährleisten, wird der Intent-Token ( $k_t$ ) aus dem aktuellen Clip in einen Memory-Token komprimiert und dem Input des nächsten Clips vorangestellt. Dies ermöglicht es dem Modell, zukünftige Intent-Vorhersagen auf der Basis der angesammelten Episodenhistorie zu konditionieren, ohne das gesamte Backbone neu berechnen zu müssen.
Intent-gesteuerte Classifier-Free Guidance (CFG):
- Der AR-Zweig dekodiert den CoT und emittiert einen Intent-Token, der in eine von 20 Intent-Klassen geparst wird.
- Diese Intent-Klasse steuert die Classifier-Free Guidance (CFG) am FM-Aktionskopf. Während der Inferenz führt das Modell zwei Vorwärtsdurchläufe pro Denoising-Schritt durch: einen konditioniert auf den spezifischen Intent ( $k$ ) und einen unbedingten ( $K$ ).
- Das finale Geschwindigkeitsfeld ist eine gewichtete Kombination: $v_t = v_\theta(x_t, t; e(K)) + w [v_\theta(x_t, t; e(k)) - v_\theta(x_t, t; e(K))]$ .
- Dies ermöglicht es dem Intent, als kontinuierliche Lenkdimension zu wirken und die Trajektorie in Richtung des festgelegten Manövers zu führen, anstatt zum statistischen Prior.
Datenkonstruktions-Pipeline:
- Da kein bestehendes Korpus das notwendige Triplett aus (kinematischer Meta-Aktion, begründendem CoT, Intent) bereitstellt, entwickelten die Autoren eine vierstufige Annotationspipeline unter Verwendung eines SOTA-VLM (Qwen3.5), um dichte Supervision ohne menschliche Annotationskosten zu generieren.
- Die Pipeline extrahiert Streaming-Clips, wendet regelbasierte kinematische Kennzeichnung an, generiert strukturierte CoT- und Intent-Abschnitte und aggregiert diese zu einem einheitlichen Trainingsdatensatz.
Inferenz-Optimierung (CFG-Distillation):
- Standard-CFG erfordert zwei Backbone-Durchläufe pro Schritt. Um die Inferenzkosten zu halbieren, distillieren die Autoren den Zwei-Durchlauf-CFG-Operator in einen Ein-Durchlauf-Schüler-Embedder.
- Ein leichter DistilledIntentEmbedder ( $\sim$ 21M Parameter) wird trainiert, um das CFG-korrigierte Geschwindigkeitsfeld zu approximieren. Dies reduziert die Inferenzkosten des Aktionskopfes um 50 % bei vernachlässigbarer Leistungsverschlechterung.

Hauptbeiträge

Formalisierung der Handlungsentstehung: Die Arbeit definiert Handlungsentstehung als Zielkapazität für End-to-End-Fahren und identifiziert Fahr-Intent als das strukturelle Element, das in aktuellen VA- und VLA-Modellen fehlt.
Streaming-Intent-Architektur: Der Vorschlag eines Mechanismus, der Intent durch semantischen CoT verankert und ihn über temporale Memory-Token aufrechterhält, wodurch Sprachreasoning und Trajektoriengenerierung verbunden werden.
Intent-treue Steuerbarkeit: Der Nachweis, dass ein einziges End-to-End trainiertes VLA qualitativ unterschiedliche, hochwertige Trajektorien für dieselbe Szene allein durch Variation der Intent-Klasse während der Inferenz erzeugen kann, ohne auf vorgefertigte Trajektorienbanken oder handcodierte Selektoren zurückzugreifen.
Empirische Leistung: Erzielung einer wettbewerbsfähigen aggregierten Leistung auf dem Waymo End-to-End-Benchmark bei gleichzeitiger Demonstration der oben genannten Steuerbarkeit.

Ergebnisse

Das Modell wurde auf dem Benchmark Waymo Open Dataset End-to-End (WOD-E2E) evaluiert.

Aggregierte Metriken:
- Validierungsset: Erzielte einen RFS (Rater Feedback Score) von 7,96 und übertraf damit den bisherigen besten Baseline (RAP, 7,91) sowie alle anderen berichteten Methoden.
- Testset: Erzielte einen RFS von 7,74 mit einem ADE von 1,24 m (3 s) und 2,81 m (5 s), konsistent mit den Validierungsrankings.
Handlungsentstehung & Steuerbarkeit:
- Die qualitative Analyse zeigt, dass SI in Long-Tail-Szenen intent-treue Trajektoriefamilien erzeugt, in denen Baseline-Modelle (wie RAP) auf einen einzigen dominanten Modus kollabieren.
- Die Variation der Intent-Klasse während der Inferenz liefert geometrisch unterschiedliche Pläne, die mit von Menschen bewerteten RFS-Alternativen übereinstimmen. Dies bestätigt, dass die Vielfalt keine zufällige Varianz ist, sondern die Abdeckung des plausiblen Aktionsrepertoires darstellt.
Effizienz: Die CFG-Distillationsstrategie halbierte die Inferenzkosten erfolgreich (von 2 Durchläufen auf 1) bei einer vernachlässigbaren Abnahme des RFS ( $\sim$ 0,02) und leichten Verbesserungen bei ADE/FDE.

Bedeutung und Behauptungen

Die Autoren behaupten, dass SI die erste vollständig End-to-End VLA darstellt, die Intent-treue Steuerbarkeit demonstriert, die rein aus datengesteuertem Lernen entsteht. Im Gegensatz zu früheren Ansätzen, die Trajektorienbanken zusammenfügen oder nachträgliche Selektoren verwenden, erreicht SI dies durch strukturell abgestimmte Sprach-Aktions-Repräsentationen.

Die Arbeit postuliert, dass Streaming Intent einen praktischen Weg zur Handlungsentstehung bietet. Indem Intent zu einer dynamisch sich entwickelnden, kausal verankerten und zeitlich kohärenten Verpflichtung gemacht wird, kann das Modell durch komplexe, mehrdeutige Szenen reasoning betreiben, um sich für spezifische Pläne zu entscheiden. Die Autoren erkennen Einschränkungen an und stellen fest, dass die Leistung bei Minderheiten-Intents (z. B. Rückwärtsfahren, Parken) derzeit durch die Datenabdeckung in Vorwärtsfahr-Korpora eingeschränkt ist, was nahelegt, dass die Skalierung der Annotationspipeline auf größere, diversere Datensätze ein notwendiger nächster Schritt ist.