NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning

Die Arbeit stellt NORD vor, ein dateneffizientes Vision-Language-Action-Modell für autonomes Fahren, das durch die Anwendung von Dr. GRPO zur Überwindung von Schwierigkeitsverzerrungen eine wettbewerbsfähige Leistung mit weniger als 60 % der üblichen Trainingsdaten und ohne aufwändige Reasoning-Annotationen erzielt.

Das Wesentliche

Stell dir vor, du möchtest einem jungen Fahrschüler beibringen, wie man autonomes Fahren beherrscht. Bisher gab es dafür zwei Hauptmethoden, die beide sehr teuer und aufwendig waren. Die neue Methode, die in diesem Papier vorgestellt wird, heißt NORD.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Über-Intellektuelle" Fahrschüler

Bisher haben die besten KI-Systeme für autonomes Fahren wie NORDs Vorgänger gearbeitet:

• Der Ansatz: Man hat der KI riesige Mengen an Daten gegeben. Aber das war nicht genug. Man hat ihr auch detaillierte Erklärungen (sogenanntes "Reasoning" oder "Chain-of-Thought") beigebracht.
• Die Analogie: Stell dir vor, du bringst einem Schüler bei, wie man eine Kurve fährt. Der alte Weg war so: Du gibst ihm nicht nur das Lenkrad, sondern zwingst ihn, vor jeder Handlung einen komplexen Aufsatz zu schreiben: "Ich sehe jetzt ein Auto, also muss ich langsam werden, weil die Reibung... und die Sonne blendet...".
• Die Nachteile:
  1. Daten-Hunger: Man braucht Millionen von Beispielen.
  2. Teure Lehrer: Man braucht eine noch schlauere KI (einen "Lehrer"), um diese Aufsätze zu schreiben.
  3. Langsamkeit: Wenn die KI fahren muss, muss sie erst den Aufsatz schreiben, bevor sie lenkt. Das dauert zu lange für den echten Straßenverkehr.

2. Die Lösung: NORD (No Reasoning for Driving)

Die Forscher sagen: "Halt! Brauchen wir diesen ganzen Aufsatz wirklich?"
Sie haben ein neues System namens NORD entwickelt.

• Der Ansatz: NORD lernt, ohne Aufsätze zu schreiben. Es schaut einfach auf die Straße (Kameras) und lenkt sofort.
• Die Analogie: NORD ist wie ein Sportler, der auf Instinkt trainiert. Er sieht die Kurve, sein Körper reagiert sofort. Er denkt nicht nach ("Warum ist die Kurve scharf?"), er fühlt sie einfach.
• Der Vorteil:
  • Es braucht 60 % weniger Daten (weniger Fahrschüler-Stunden).
  • Es braucht keine Aufsätze (keine teuren Lehrer-KIs).
  • Es ist viel schneller, weil es keine Zeit mit Reden verliert.

3. Das große Hindernis: Warum es am Anfang nicht geklappt hat

Als die Forscher NORD nur mit wenig Daten trainierten, war es am Anfang ziemlich schlecht. Dann wollten sie es mit einer speziellen Trainingsmethode (einem "Belohnungssystem") verbessern, die man GRPO nennt.

• Das Problem: Diese Methode GRPO funktionierte bei NORD gar nicht. Sie hat NORD nur minimal verbessert.
• Die Analogie: Stell dir vor, du hast einen Schüler, der noch unsicher ist (NORD). Du gibst ihm eine Belohnung für jede gute Fahrt. Aber das System GRPO ist so eingestellt, dass es nur sehr einfache Aufgaben (wie geradeaus fahren) belohnt und schwierige Aufgaben (wie scharfe Kurven) ignoriert oder sogar bestraft, weil der Schüler dort oft Fehler macht.
• Das Ergebnis: Der Schüler lernt nur, geradeaus zu fahren, aber er wird nie gut im Kurvenfahren. Das System hat eine "Schwierigkeits-Verzerrung" (Difficulty Bias).

4. Der Durchbruch: Dr. GRPO (Der neue Trainer)

Die Forscher haben herausgefunden, dass nicht der Schüler (NORD) das Problem ist, sondern der Trainer (GRPO). Sie haben einen neuen Trainer namens Dr. GRPO eingesetzt.

• Was macht Dr. GRPO anders? Er ignoriert die "Schwierigkeits-Verzerrung". Er sagt: "Hey, auch wenn der Schüler bei der scharfen Kurve oft hinfällt, ist das eine gute Lernchance! Wir belohnen den Versuch, auch wenn er nicht perfekt war."
• Das Ergebnis: NORD lernt jetzt tatsächlich von den schwierigen Situationen. Es wird schnell sehr gut, obwohl es nur mit wenig Daten trainiert wurde.

5. Das Endergebnis

NORD ist wie ein Fahrschüler, der mit einem Bruchteil der Übungsstunden und ohne theoretische Aufsätze genauso gut (oder sogar besser) fährt wie die alten Systeme, die Jahre an Übung und endlose Erklärungen brauchten.

• Effizienz: Es ist sparsam mit Daten und Rechenleistung.
• Geschwindigkeit: Es reagiert sofort, ohne zu "grübeln".
• Leistung: Auf den Tests (Waymo und NAVSIM) hat NORD mit den besten Systemen mithalten können, obwohl es viel "dünner" trainiert wurde.

Zusammenfassend:
Die Forscher haben bewiesen, dass man für autonomes Fahren nicht unbedingt einen "Philosophen" braucht, der über jede Handlung nachdenkt. Ein "Instinkt-System", das direkt lernt, ist effizienter, schneller und braucht weniger Ressourcen. Sie haben einfach den falschen Trainer (GRPO) durch den richtigen (Dr. GRPO) ersetzt, damit das System auch in schwierigen Situationen lernt.

Technische Zusammenfassung

1. Problemstellung

Der aktuelle Stand der Technik für autonomes Fahren verschiebt sich zunehmend hin zu Vision-Language-Action (VLA)-Modellen, die modulare Pipelines durch einheitliche End-to-End-Architekturen ersetzen. Die vorherrschende Trainingsmethode folgt jedoch einem zweistufigen Prozess, der zwei enorme und nicht skalierbare Kostenfaktoren mit sich bringt:

1. Massive Datensammlung: Die Notwendigkeit riesiger, spezialisierter Fahrdatensätze.
2. Dichte Reasoning-Annotationen: Die Generierung detaillierter "Chain-of-Thought" (CoT) Reasoning-Daten (oft durch Teacher-LLMs wie GPT-4o), die den Trainingsaufwand und die Inferenz-Latenz drastisch erhöhen.

Zudem zeigt sich, dass Standard-Reinforcement-Learning-Verfahren wie Group Relative Policy Optimization (GRPO) bei Modellen, die auf kleinen, reasoning-freien Datensätzen trainiert wurden (Weak SFT-Policies), versagen. Diese Modelle erreichen keine wettbewerbsfähige Leistung, obwohl die Hypothese nahelegt, dass explizites Reasoning für die Planung nicht zwingend kausal notwendig ist.

2. Methodik: NORD (No Reasoning for Driving)

NORD ist ein VLA-Modell, das autonomes Fahren ohne Reasoning-Annotationen und mit deutlich reduziertem Datenaufwand ermöglicht. Der Ansatz besteht aus folgenden Komponenten:

A. Architektur und Tokenisierung

• Basis-Modell: NORD basiert auf Qwen-2.5VL-3B-Instruct.
• Eingaben: Das Modell verarbeitet historische Ego-Trajektorien, Geschwindigkeit, Beschleunigung und RGB-Bilder von drei Kameras (Front, Front-Links, Front-Rechts).
• Ausgabe: Direkte Vorhersage von zukünftigen Trajektorien-Tokens (10 Hz).
• Effizienz: Um die Token-Effizienz zu maximieren, werden Trajektorien mittels k-disc-Tokenisierung in ein diskretes Vokabular von 2048 Clustern überführt. Es werden keine Reasoning-Tokens generiert, was die Inferenz-Latenz senkt.

B. Trainings-Pipeline

1. Supervised Fine-Tuning (SFT) mit limitierten Daten:

   • Das Modell wird nur auf einem kleinen Subset der Daten (z. B. 80.000 Samples von NAVSIM) ohne Reasoning-Annotationen feinabgestimmt.
   • Dies führt zu einer schwachen Basis-Policy (NORD-BASE), die zwar grundlegende Fahrmanöver beherrscht, aber bei komplexen Szenarien versagt.

2. Reinforcement Learning (RL) Post-Training mit Dr. GRPO:

   • Das Problem mit GRPO: Bei schwachen SFT-Policies erzeugen komplexe Szenarien (mittlere Belohnungswerte) eine hochvarianze Verteilung innerhalb der Rollout-Gruppen. Standard-GRPO bestraft diese hochvarianzen Szenarien unverhältnismäßig stark (ein Phänomen, das als Difficulty Bias bekannt ist), da der Vorteil (Advantage) durch die Gruppensignatur (Standardabweichung) geteilt wird. Dies führt dazu, dass das Lernen in den wichtigsten, schwierigen Szenarien blockiert wird.
   • Die Lösung (Dr. GRPO): NORD verwendet Dr. GRPO, einen Algorithmus, der den Difficulty Bias adressiert, indem er den Standardabweichungsterm aus der Advantage-Berechnung entfernt. Dies ermöglicht es dem Modell, auch von hochvarianzen, schwierigen Szenarien zu lernen, ohne durch den Bias unterdrückt zu werden.

3. Schlüsselbeiträge

1. Identifikation des Difficulty Bias: Die Autoren sind die ersten, die nachweisen, dass das Scheitern von dateneffizienten, reasoning-freien VLA-Modellen im autonomen Fahren auf einen Difficulty Bias in GRPO zurückzuführen ist, der durch die Kombination aus schwacher SFT-Policy und komplexen Fahrmetriken ausgelöst wird.
2. Charakterisierung der Belohnungsverteilung: Es wird empirisch gezeigt, dass dateneffiziente SFT-Policies zu einer polarisierten Belohnungsverteilung führen, bei der GRPO nur in low-variance Bereichen (einfache Szenarien) lernt, während die hochvarianzen Bereiche (komplexe Manöver) ignoriert werden.
3. Einführung von Dr. GRPO im autonomen Fahren: NORD ist das erste Modell, das Dr. GRPO erfolgreich im Bereich des autonomen Fahrens als "Drop-in"-Ersetzung für GRPO nutzt, um schwache Policies zu optimieren.
4. Performance ohne Reasoning: NORD demonstriert, dass wettbewerbsfähige Ergebnisse auf Benchmarks wie WaymoE2E und NAVSIM ohne Reasoning-Annotationen und mit mindestens 60 % weniger Trainingsdaten erzielt werden können.

4. Ergebnisse

Die Evaluation erfolgte auf den Benchmarks NAVSIM und WaymoE2E:

• NAVSIM (PDM Score):

  • NORD-BASE (nur SFT) erreichte einen Score von 76,66.
  • Nach GRPO-Post-Training stieg der Score nur marginal auf 77,18 (+0,67 %).
  • Nach Dr. GRPO-Post-Training erreichte NORD einen Score von 85,62 (+11,68 %).
  • Im Vergleich zu State-of-the-Art-Modellen wie AutoVLA (die 212k+ Samples und Reasoning benötigen) erreicht NORD mit nur ~80k Samples und ohne Reasoning eine vergleichbare Leistung.
  • In der "Best-of-N"-Konfiguration (Auswahl der besten von 6 Vorhersagen) erreicht NORD-BoN sogar 92,4, was AutoVLA-BoN (92,1) übertrifft.

• WaymoE2E (Rated Feedback Score - RFS):

  • NORD erreicht einen RFS von 7,709 und rangiert damit als drittbester VLA auf dem Benchmark.
  • Es ist das einzige Top-Modell, das ohne Reasoning und ohne Ensemble-Methoden trainiert wurde.
  • Es benötigt nur 12.000 SFT-Samples und 450 RLFT-Samples, während konkurrierende Modelle (z. B. Poutine, HMVLM) 12- bis 17-mal mehr Daten benötigen, um nur marginale Verbesserungen zu erzielen.

• Effizienz:

  • NORD ist die token- und runtime-effizienteste VLA-Lösung, da es keine Reasoning-Tokens generiert.
  • Die Inferenzzeit ist signifikant geringer als bei Reasoning-basierten Modellen.

5. Bedeutung und Fazit

Die Arbeit widerlegt die Annahme, dass Reasoning-Annotationen und massive Datensätze zwingend notwendig sind, um hochleistungsfähige autonome Fahrsysteme zu trainieren.

• Paradigmenwechsel: Sie zeigt, dass der Hauptlernfortschritt nicht im SFT, sondern im RL-Post-Training liegen kann, sofern der Optimierungsalgorithmus (GRPO) an die Eigenschaften schwacher Policies angepasst wird.
• Skalierbarkeit: Durch die Eliminierung von Reasoning-Annotationen und die Reduktion des Datenvolumens wird die Entwicklung von VLA-Modellen deutlich kostengünstiger und skalierbarer.
• Praktische Anwendbarkeit: Die geringere Inferenz-Latenz macht NORD für den realen Einsatz in Echtzeitsystemen besser geeignet als komplexe Reasoning-Modelle.

Zusammenfassend beweist NORD, dass ein dateneffizientes, reasoning-freies VLA-Modell durch die Korrektur des Optimierungsbias (Dr. GRPO) State-of-the-Art-Leistungen erzielen kann, was einen wichtigen Schritt hin zu zugänglicheren und effizienteren autonomen Systemen darstellt.