DriveCode: Domain Specific Numerical Encoding for LLM-Based Autonomous Driving

Dit paper introduceert DriveCode, een nieuwe numerieke coderingsmethode die getallen als speciale embeddings in plaats van teksttokens representeert om de precisie en efficiëntie van LLM-gebaseerde autonome rijsystemen te verbeteren.

De kern

DriveCode: De "Digitale Schaal" voor Slimme Auto's

Stel je voor dat je een zeer intelligente, maar soms wat verwarde robotbestuurder hebt. Deze robot is een Grote Taalmodel (LLM). Hij is een meester in het begrijpen van verhalen, het zien van beelden en het geven van logische uitleg. Hij kan perfect vertellen: "Ik zie een rode lichten, dus ik ga remmen."

Maar hier zit het probleem: als je hem vraagt: "Hoe hard moet ik precies remmen? 3,5 meter per seconde of 3,6?", dan begint hij te twijfelen. Waarom? Omdat voor deze robot getallen gewoon woorden zijn.

Het Probleem: Getallen als Woorden

Voor een gewone computer is het getal 3,5 iets heel anders dan 3,6. Voor een taalmodel zijn het echter gewoon twee verschillende reeksen letters: "drie punt vijf" versus "drie punt zes".
Het model ziet de letters, maar voelt niet het gewicht van het getal. Het is alsof je een weegschaal probeert te bouwen met woorden in plaats van gewichten. Soms denkt de robot dat 3,11 zwaarder is dan 3,8, omdat "11" meer letters heeft dan "8". In de echte wereld, waar een auto moet sturen en remmen, kan zo'n klein foutje leiden tot een ongeluk.

De Oplossing: DriveCode

De onderzoekers van dit paper hebben DriveCode bedacht. Dit is als het geven van een speciale "digitale schaal" aan de robot.

In plaats van getallen als woorden te behandelen, behandelt DriveCode ze als echte, continue waarden.

Hier is hoe het werkt, met een paar creatieve vergelijkingen:

1. De "Vertaler" (De Projector)
Stel je voor dat de robot een kamer binnenkomt waar drie soorten mensen zitten:

• Mensen die foto's beschrijven (visueel).
• Mensen die verhalen vertellen (tekst).
• Mensen die cijfers fluisteren (nummers).

Tot nu toe moest de robot de cijfers eerst omzetten in woorden voordat hij ze kon horen. Dat was traag en onnauwkeurig.
DriveCode introduceert een speciale vertaler (de Number Projector). Deze vertaler pakt het cijfer direct op en zet het om in een "gevoel" of een "signaal" dat de robot direct kan begrijpen, zonder dat het eerst een woord hoeft te worden. Het is alsof je in plaats van "ik heb honger" te zeggen, direct een signaal geeft dat de maag van de robot laat knorren.

2. De "Directe Schakelaar" (De Number Head)
Wanneer de robot een antwoord moet geven, moet hij vaak een getal teruggeven (bijvoorbeeld: "Stuur 5 graden naar links").

• Oude manier: De robot moet letter voor letter typen: "5", dan " ", dan "g", dan "r", dan "a", dan "d", dan "e", dan "s". Dit is traag en foutgevoelig.
• DriveCode manier: De robot heeft nu een directe schakelaar. Hij denkt aan het getal en schakelt het direct in. Hij hoeft niet meer te "typen" in cijfers, maar schakelt direct de waarde over. Dit gaat veel sneller en is veel preciezer.

Waarom is dit belangrijk?

In het rijden gaat het om continuïteit. Een auto rijdt niet in stappen van "woord 1, woord 2", maar in een vloeiende stroom van snelheid en richting.

• Als je snelheid 50 km/u is en je moet remmen naar 49,9 km/u, dan is dat een klein, vloeiend verschil.
• Voor een taalmodel dat met woorden werkt, is dat een groot gat tussen twee verschillende woorden.

DriveCode zorgt ervoor dat de robot de fysieke realiteit van het rijden voelt. Hij begrijpt dat 49,9 heel dicht bij 50 ligt, en niet ver weg.

Het Resultaat

De onderzoekers hebben DriveCode getest op verschillende datasets (zoals DriveGPT4 en OmniDrive). Het resultaat?

• Preciezer: De auto's remmen en sturen nauwkeuriger.
• Sneller: Omdat de robot niet meer hoeft te "typen" in cijfers, reageert hij sneller.
• Veiliger: Minder kans op rare foutjes (zoals denken dat 3,11 groter is dan 3,8).

Samenvattend

DriveCode is als het geven van een speciale bril aan een slimme robot. Zonder deze bril ziet hij getallen als wazige woorden. Met DriveCode ziet hij de getallen als heldere, precieze waarden die direct aansluiten bij hoe de echte wereld werkt. Hierdoor kunnen we in de toekomst veel veiligere en slimmere zelfrijdende auto's bouwen die niet alleen "praten" over rijden, maar het ook precies doen.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende capaciteiten voor autonoom rijden, maar ze stuiten op een fundamentele beperking bij het verwerken van numerieke data. In traditionele LLM's worden getallen opgesplitst in discrete tekst-tokens (bijv. het getal "1.31" wordt gezien als de tokens "1", ".", "3", "1"). Dit leidt tot drie kritieke problemen:

1. Gebrek aan precisie: Het model mist het concept van de numerieke waarde en de positiële betekenis van cijfers (bijv. het verschil tussen 3.11 en 3.8).
2. Inefficiëntie: Het genereren van een getal vereist het sequentieel voorspellen van meerdere tokens, wat de inferentie-tijd verlengt.
3. Scheiding van modaliteiten: Autonoom rijden vereist continue fysieke grootheden (snelheid, stuurhoek, versnelling). De discreet-tokenisatie creëert een kloof tussen de sensorische input en de noodzakelijke continue controlecommando's, wat veiligheidskritische fouten kan veroorzaken.

Methodologie: DriveCode

DriveCode is een nieuw kadersysteem dat getallen behandelt als een dedicate modaliteit in plaats van ze als tekst te tokeniseren. Het systeem integreert continue numerieke representaties direct in de verborgen ruimte van het taalmodel.

De architectuur bestaat uit de volgende kerncomponenten:

1. Data Preprocessing:

   • Numerieke waarden in tekstuele prompts worden geïdentificeerd en vervangen door een speciale placeholder-token: <number_token>.
   • De oorspronkelijke numerieke waarden worden opgeslagen in een gesorteerde lijst die strikt gekoppeld is aan de volgorde van de placeholders.

2. Number Projector (Input):

   • In plaats van de tekst-tokenizer te gebruiken, worden de numerieke waarden (floats) ingevoerd in een Number Projector.
   • Dit is een MLP (Multi-Layer Perceptron) met GELU-activatie die een 1D-getal ($x \in \mathbb{R}$) afbeeldt op een hoog-dimensionale embedding ($\mathbb{R}^d$) die compatibel is met de taalmodel-ruimte.
   • Deze numerieke embeddings worden direct ingevoegd op de posities van de <number_token> placeholders, naast visuele (via Vision Tower) en tekstuele features.

3. Number Head (Output):

   • Tijdens de autoregressieve generatie produceert het model niet alleen tekst, maar ook numerieke voorspellingen.
   • Wanneer het model een <number_token> genereert, wordt de verborgen staat van het model parallel gevoed naar een Number Head.
   • Deze head voert een regressie uit om direct een continue numerieke waarde te voorspellen. Deze waarde wordt vervolgens via de Number Projector omgezet in een embedding voor de volgende stap, zonder eerst tekstuele tokens te genereren.

4. Verliesfunctie (Loss Function):

   • Het totale verlies is een combinatie van tekstuele cross-entropy en numerieke regressie.
   • Voor scalair controle (snelheid): $\ell_1$-verlies.
   • Voor trajectvoorspelling (waypoints): $\ell_2$-afstandsverlies.
   • Dit zorgt voor een directe supervisie van de numerieke nauwkeurigheid.

Belangrijkste Bijdragen

1. Dedicated Number Projector: Een mechanisme dat getallen als continue embeddings in de hidden space van het LLM projecteert, waardoor ze samen met visuele en tekstuele features kunnen worden verwerkt.
2. Number Head: Een regressie-head die directe numerieke voorspellingen mogelijk maakt binnen één output-sequentie, wat de noodzaak voor token-voor-token generatie van getallen elimineert.
3. Multimodale Integratie: Een uniek framework dat video, tekst en continue numerieke signalen in één sequentie combineert voor end-to-end autonoom rijden.

Resultaten

DriveCode is geëvalueerd op drie datasets: OmniDrive, DriveGPT4 en DriveGPT4-V2. De resultaten tonen een duidelijke superioriteit ten opzichte van baselines zoals DriveGPT4 (standaard tokenisatie) en xVal (geschaalde embeddings).

• Controle-signalen: DriveCode bereikte de laagste RMSE (Root Mean Square Error) voor snelheid en stuurhoek. Op de DriveGPT4-dataset was de RMSE voor snelheid 1.08 m/s (vs. 1.30 bij DriveGPT4) en voor stuurhoek 7.71 graden (vs. 8.98).
• Trajectvoorspelling: Op de OmniDrive-dataset verbeterde DriveCode de L2-fout voor trajecten van 3.08m naar 2.83m.
• Efficiëntie: Door het genereren van getallen in één stap in plaats van meerdere tokens, reduceerde DriveCode de latentie en de gemiddelde tijd per sample. Op de DriveGPT4-dataset was de inferentie-tijd lager dan bij baselines (3.18s vs. 3.38s voor tekst-baselines).
• Ablatie-studies: Experimenten bevestigden dat zowel de numerieke input (projector) als de numerieke output (head) essentieel zijn voor de prestaties. Alleen het toevoegen van een output-head (zonder input-projector) verbeterde de resultaten al, maar de volledige DriveCode-architectuur gaf de beste prestaties.

Significantie

DriveCode adresseert een fundamentele beperking in het toepassen van LLM's op veiligheidskritische systemen zoals autonoom rijden. Door getallen niet als tekst, maar als continue fysieke grootheden te behandelen, overbrugt het de kloof tussen taalredenering en fysieke controle.

• Veiligheid: Het vermindert de kans op numerieke fouten die tot onveilige manoeuvres kunnen leiden.
• Efficiëntie: Het versnelt de inferentie, wat cruciaal is voor real-time reactievermogen in dynamische rijomgevingen.
• Toekomstperspectief: Het paper suggereert dat deze aanpak de weg vrijmaakt voor robuustere end-to-end systemen die beter kunnen omgaan met de continuïteit van de fysieke wereld, en biedt een blauwdruk voor het integreren van numerieke modaliteiten in andere domeinen waar precisie essentieel is.