DriveCode: Domain Specific Numerical Encoding for LLM-Based Autonomous Driving

Die Arbeit stellt DriveCode vor, eine neuartige numerische Kodierungsmethode, die Zahlen als dedizierte Embeddings statt diskreter Text-Token darstellt, um die Präzision und Effizienz von LLM-basierten autonomen Fahrsystemen bei der Trajektorienvorhersage und der Erzeugung von Steuersignalen zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie geben einem sehr intelligenten, aber etwas verwirrten Roboter-Fahrer Anweisungen. Dieser Roboter ist ein Sprachmodell (ein KI-Modell, das wie ein Mensch spricht und denkt). Er kann Bilder sehen, Texte lesen und komplexe Entscheidungen treffen. Aber er hat ein riesiges Problem: Er ist schlecht im Rechnen.

Das Problem: Der Roboter zählt auf Fingern statt im Kopf

Normalerweise verarbeiten Computer Zahlen wie Wörter. Wenn der Roboter die Zahl „3,14" liest, sieht er sie nicht als eine einzige mathematische Größe, sondern zerlegt sie in Buchstaben: erst das „3", dann den Punkt, dann das „1", dann das „4".

Das ist, als würde man versuchen, ein Auto zu steuern, indem man nur die Buchstaben des Wortes „Geschwindigkeit" ausspricht, statt den tatsächlichen Wert zu kennen.

• Das Risiko: Der Roboter könnte denken, dass „3,14" größer ist als „3,8", weil das „1" in „3,14" vor dem „8" in „3,8" kommt. In der echten Welt führt ein solcher Fehler dazu, dass das Auto zu schnell fährt oder zu spät bremst – ein absolutes No-Go für autonomes Fahren.

Die Lösung: DriveCode – Der „Zahlen-Übersetzer"

Die Forscher haben eine neue Methode namens DriveCode entwickelt. Man kann sich das wie einen speziellen Dolmetscher vorstellen, der nur für Zahlen zuständig ist.

Statt Zahlen in Buchstaben zu verwandeln, übersetzt DriveCode sie direkt in eine elektronische Signatur (eine Art „Gedanken-Form"), die der Roboter sofort versteht.

Die Analogie des Musikorchesters:
Stellen Sie sich das autonome Fahrzeug als ein Orchester vor:

1. Die Kamera ist der Geiger (sie sieht die Straße).
2. Der Text ist der Sänger (er beschreibt die Situation: „Achtung, rotes Licht!").
3. Die Zahlen waren bisher nur Zettel mit Notizen, die der Sänger laut vorlas. Das Orchester musste raten, was gemeint ist.

Mit DriveCode bekommen die Zahlen nun ihre eigene Instrumentenstimme. Wenn der Geiger spielt und der Sänger singt, kommt die Zahl „5 km/h" nicht als Wort, sondern als ein reines, präzises Tonsignal direkt in das Gehirn des Dirigenten (des KI-Modells). Der Dirigent versteht sofort: „Ah, 5 km/h", ohne erst die Buchstaben „fünf" zerlegen zu müssen.

Wie funktioniert das technisch? (Ganz einfach erklärt)

1. Der Eingangs-Trichter (Projector): Wenn das Auto eine Zahl aus dem Text oder den Sensoren bekommt (z. B. „Geschwindigkeit: 12"), fängt ein spezieller Filter diese Zahl ab. Er verwandelt sie nicht in Buchstaben, sondern in einen digitalen Vektor (einen mathematischen Punkt im Raum), der perfekt zu den Bildern und Texten passt.
2. Das Gehirn: Das KI-Modell verarbeitet nun Bilder, Texte und diese „reinen Zahlen-Signale" gleichzeitig. Es denkt nicht mehr in Wörtern, wenn es um Geschwindigkeit geht, sondern in präzisen Werten.
3. Der Ausgang (Head): Wenn das Auto eine Entscheidung treffen muss (z. B. „Wie schnell soll ich fahren?"), gibt es nicht erst einen Satz wie „Ich fahre 50" aus, sondern berechnet direkt die Zahl 50. Das ist schneller und genauer.

Warum ist das so wichtig?

• Präzision: Ein Unterschied von 0,1 km/h kann in der Physik des Fahrens wichtig sein. DriveCode macht diese Unterschiede klar, statt sie in Buchstaben zu verstecken.
• Geschwindigkeit: Da das Modell nicht mehr jedes Zeichen einer Zahl einzeln „tippen" muss (wie „5", dann „0", dann Punkt), geht die Berechnung viel schneller. Das ist wie der Unterschied zwischen einem Handwerker, der jeden Nagel einzeln mit dem Hammer einschlägt, und einem, der eine fertige Schraube mit einem Akkuschrauber reinsetzt.
• Sicherheit: In kritischen Situationen (wie einem plötzlichen Bremsmanöver) zählt jede Millisekunde und jeder Zehntelgrad. DriveCode reduziert die Fehlerquote bei solchen Berechnungen drastisch.

Fazit

DriveCode ist wie eine Brille für den KI-Fahrer. Ohne diese Brille sieht er Zahlen nur als verschwommene Buchstabensalat. Mit DriveCode sieht er die Zahlen klar, scharf und in ihrer wahren mathematischen Bedeutung. Das macht autonome Fahrzeuge nicht nur intelligenter, sondern vor allem sicherer und präziser auf der Straße.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen vielversprechende Fähigkeiten für das autonome Fahren, insbesondere bei der Verarbeitung multimodaler Daten (Text, Bild, Video). Ein fundamentales Hindernis für ihren Einsatz in sicherheitskritischen Steuerungsaufgaben ist jedoch die mangelnde numerische Präzision.

• Tokenisierung als Text: Herkömmliche LLMs behandeln Zahlen als diskrete Text-Token (z. B. wird „1.31" in mehrere Token zerlegt). Dies führt dazu, dass das Modell die semantische Bedeutung von Dezimalstellen und Stellenwerten (Place Value) nicht intuitiv erfasst.
• Fehleranfälligkeit: Dies verursacht Fehler bei numerischen Vergleichen (z. B. „3.11 > 3.8") und Berechnungen.
• Kritische Konsequenzen: Im autonomen Fahren hängen Steuerbefehle (Lenkwinkel, Geschwindigkeit, Bremsintensität) von kontinuierlichen physikalischen Größen ab. Kleine numerische Fehler können sich durch die Module Wahrnehmung, Planung und Kontrolle fortpflanzen und zu unsicheren Manövern führen.
• Effizienzproblem: Die Generierung von Zahlen Token-für-Token ist rechenintensiv und verzögert die Inferenz, was für Echtzeitanwendungen problematisch ist.

2. Methodik: DriveCode

Die Autoren stellen DriveCode vor, ein neues numerisches Kodierungsschema, das Zahlen nicht als Text, sondern als kontinuierliche, dedizierte Embeddings behandelt. Das System basiert auf einer Architektur, die auf LLaVA-NeXT aufbaut, und besteht aus folgenden Kernkomponenten:

• Datenvorverarbeitung:

  • Numerische Werte in den Eingabetexten (z. B. Geschwindigkeit, Zeitdauer) werden mittels regulärer Ausdrücke extrahiert.
  • Die Originalzahlen werden durch einen speziellen Platzhalter-Token <number_token> ersetzt.
  • Die extrahierten Zahlen werden als geordnete Liste von Float-Werten gespeichert, die strikt mit der Reihenfolge der Platzhalter im Text übereinstimmen.

• Number Projector (Eingabe):

  • Ein spezieller Projektor (ein zweischichtiger MLP mit GELU-Aktivierung) bildet die kontinuierlichen Zahlenwerte ($x \in \mathbb{R}$) direkt in den versteckten Raum des Sprachmodells ($\mathbb{R}^d$) ab.
  • Diese numerischen Embeddings werden an den Positionen der <number_token> in die Eingabesequenz eingefügt und gemeinsam mit visuellen und textuellen Features verarbeitet. Dies ermöglicht dem Modell, numerische Informationen als eigene Modalität zu verstehen.

• Number Head (Ausgabe):

  • Anstatt Zahlen Token-für-Token zu generieren, wird ein separater „Number Head" verwendet.
  • Dieser Head regressiert direkt aus dem versteckten Zustand des LLM einen skalaren Zahlenwert.
  • Parallelisierung: Wenn das LLM einen <number_token> vorhersagt, wird der vorhergesagte Zahlenwert durch den Number Projector erneut in ein Embedding umgewandelt und direkt als Eingabe für den nächsten autoregressiven Schritt verwendet. Dies umgeht die diskrete Token-Generierung für Zahlen.

• Verlustfunktion:

  • Der Gesamtverlust kombiniert die Standard Cross-Entropy für Text ($L_{text}$) und eine Regressionsverlustfunktion für Zahlen ($L_{num}$).
  • Für skalare Größen (z. B. Geschwindigkeit) wird ein $\ell_1$-Verlust verwendet, für Trajektorienpunkte ein $\ell_2$-Abstand.

3. Hauptbeiträge

1. Dedizierte numerische Modalität: Einführung eines Number Projectors, der Zahlen als kontinuierliche Embeddings in den Sprachraum integriert, anstatt sie als diskrete Text-Token zu behandeln.
2. Direkte Regression: Entwicklung eines Number Heads, der numerische Werte direkt aus den versteckten Zuständen des Modells rekonstruiert, was eine gleichzeitige Generierung von Text und präzisen Zahlen in einer Sequenz ermöglicht.
3. Umfassende Evaluation: Validierung auf drei verschiedenen autonomen Fahr-Datensätzen (OmniDrive, DriveGPT4, DriveGPT4-V2) mit Nachweis der Überlegenheit gegenüber Baseline-Methoden.

4. Ergebnisse

Die Evaluation erfolgte auf den Datensätzen OmniDrive, DriveGPT4 und DriveGPT4-V2. DriveCode wurde mit Baselines wie DriveGPT4 (Standard-Tokenisierung), xVal (skalierte Embeddings) und ADAPT verglichen.

• Präzision: DriveCode erzielt die besten Ergebnisse in Bezug auf den Root Mean Square Error (RMSE) für Geschwindigkeit und Lenkwinkel.
  • Auf DriveGPT4 reduzierte DriveCode den RMSE für die Geschwindigkeit auf 1.08 m/s (vs. 1.30 bei DriveGPT4) und den Lenkwinkel auf 7.71 Grad (vs. 8.98).
  • Auf OmniDrive verbesserte sich der Trajektorien-L2-Fehler von 3.08 m (Text-Baseline) auf 2.83 m.
• Genauigkeitstoleranzen: Das Modell erreicht höhere Genauigkeitsraten bei moderaten und großen Toleranzschwellen ($A_{0.5}, A_{1.0}$).
• Effizienz: Durch die Vermeidung der sequenziellen Token-Generierung für Zahlen reduziert DriveCode die Inferenz-Latenz. Auf dem DriveGPT4-Datensatz betrug die durchschnittliche Zeit pro Probe 3.18 s (vs. 3.38 s bei Text-Baseline), was für Echtzeitanwendungen entscheidend ist.
• Ablationsstudien: Studien zeigten, dass sowohl die numerische Eingabe (Conditioning) als auch die direkte numerische Ausgabe (Regression) notwendig sind, um die beste Leistung zu erzielen.

5. Bedeutung und Fazit

DriveCode adressiert eine fundamentale Lücke in der Anwendung von LLMs im autonomen Fahren: die Diskrepanz zwischen der diskreten Natur von Sprach-Token und der kontinuierlichen Natur physikalischer Steuergrößen.

• Technischer Fortschritt: Die Methode beweist, dass die explizite Behandlung von Zahlen als eigene Modalität die numerische Reasoning-Fähigkeit von LLMs signifikant verbessert und gleichzeitig die Inferenzeffizienz steigert.
• Sicherheitsrelevanz: Durch die Reduktion von numerischen Fehlern und Latenzzeiten trägt DriveCode dazu bei, die Zuverlässigkeit von LLM-basierten End-to-End-Steuerungssystemen in sicherheitskritischen Szenarien zu erhöhen.
• Zukunftsperspektive: Die Autoren planen, DriveCode in geschlossenen Simulationsumgebungen zu testen und die Robustheit durch Multi-Scale-Numerik weiter zu verbessern.

Zusammenfassend stellt DriveCode einen wichtigen Schritt hin zu präzisen, effizienten und zuverlässigen KI-Systemen für das autonome Fahren dar, indem es die numerischen Schwächen aktueller Sprachmodelle durch eine domänenspezifische Kodierung überwindet.