OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

Probleemstelling

Autonome rijstelsels vereisen multi-task learning met zeer verschillende outputformaten en decodeerbehoeften:

1. Perceptie en planning: Vereisen parallelle output (bijv. gelijktijdige detectie van objecten, voorspelling van banen en regressie van trajecten).
2. Taalgeneratie: Vereist autoregressieve sequentiële output (tekst).

Bestaande Vision-Language-Action (VLA) modellen voor rijden kampen met een fundamenteel architecturaal dilemma:

• Gefragmenteerde ontwerpen: Systemen gebruiken vaak gescheiden of cascaded decoders (één voor tekst, één voor structuur). Dit breekt de eenheid van het pretrained model, beperkt het hergebruik van de backbone en verhindert efficiënte informatieflow tussen taken.
• Architecturale afwijkingen: Het aanpassen van native Vision-Language Models (VLMs) voor 3D-rijtaken vereist vaak ingrijpende wijzigingen (zoals Bird's Eye View-modellen), wat het trainen met grote algemene datasets en schaalbaarheid bemoeilijkt.
• De uitdaging: Kan één enkel pretrained multimodaal model diverse E2E-rijtaken met verschillende outputformaten aan, terwijl het coherent tekstuele generatie behoudt en generaliseert naar generatieve modellering?

Methodologie: OneDrive

OneDrive is een unificerend raamwerk dat heterogene decodeergedragingen binnen één enkele Transformer-decoder reconcilieert, gebaseerd op een vooraf getraind VLM.

1. Unified Token Representatie
In plaats van specifieke decoders per taak, worden alle inputs in één gedeelde sequentie georganiseerd:

• Visuele tokens: Afgeleid van omgevingscamera's via een ViT.
• Gestructureerde query-tokens: Vaste sets van leerbare queries voor detectie (3D-bounding boxes), baanherkenning (lane estimation) en planning (toekomstige trajecten).
• Teksttokens: Voor autoregressieve tekstgeneratie.
  Deze tokens worden samengevoegd tot één sequentie: $Z = [X_{img}, Q_{det}, Q_{lane}, Q_{plan}, X_{text}]$.

2. Mixed Decoder Layers (De Kerninnovatie)
Het model behoudt de native causale zelf-attention van het pretrained LLM als gedeelde backbone, maar introduceert minimale, taakspecifieke aanpassingen in de lagere lagen:

• Gedeelde Causale Attention: Alle tokens (beeld, queries, tekst) worden verwerkt onder dezelfde causale masker. Omdat query-tokens na de beeldtokens komen, conditioneren ze natuurlijk op de visuele context via de originele attention-mechanisme, zonder extra cross-attention modules.
• Query Interactie (Parallelle Structuur): Om de beperkingen van autoregressieve attention voor parallelle perceptie te omzeilen, wordt een extra zelf-attention blok toegevoegd dat alleen werkt tussen de gestructureerde perceptie-queries (detectie en banen). Dit faciliteert bidirectionele interactie binnen de perceptie-taken.
• Taakspecifieke FFN's: De Feed-Forward Networks (FFN's) van het taalmodel worden vervangen door taakspecifieke FFN's voor gestructureerde queries (detectie, planning), terwijl de tekst-tokens de originele FFN's behouden. Dit zorgt voor stabiel gezamenlijk optimaliseren zonder de transferbaarheid van de attention-mechanismen te breken.

3. Multi-Stage Training Strategie
Om stabiliteit te garanderen bij het overdragen van pretrained weights naar heterogene taken:

1. Fase 1 (Perceptie-Taal Pretraining): Beeldencoder (ViT) gefixeerd; decoder getraind op perceptie en tekstgeneratie.
2. Fase 2 (Planning Adaptatie): Planning-tokens worden geïntroduceerd; alleen planning-modules en LoRA voor de LLM worden geoptimaliseerd.
3. Fase 3 (Gemeenschappelijke Finetuning): Alle modules (inclusief ViT) worden gezamenlijk gefinetuned op perceptie, planning en tekst.

Belangrijkste Bijdragen

1. Transferability van Attention: Het paper demonstreert dat de causale attention-modules van pretrained VLMs uitstekend overdraagbaar zijn naar visuele en gestructureerde query-relaties, terwijl de FFN's (geoptimaliseerd voor tekst) minder goed transfereren en vaak vervangen moeten worden.
2. Unificatie in één Decoder: OneDrive is het eerste framework dat autoregressieve tekstgeneratie en parallelle perceptie/planning succesvol combineert in één enkele Transformer-decoder, zonder gefragmenteerde architecturen.
3. Efficiëntie: Door de native attention-mechanismen te behouden en geen aangepaste masks of zware cascades te gebruiken, wordt de inferentie-architectuur aanzienlijk versneld.

Resultaten

OneDrive behaalde state-of-the-art resultaten op twee belangrijke benchmarks:

• nuScenes (Open-loop evaluatie):

  • L2 Fout: 0.28 m (laagste onder actie-gebaseerde planners).
  • Colisierate: 0.18% (laagste).
  • Presteerde beter dan sterke concurrenten zoals SOLVE-E2E en ColaVLA.

• NAVSIM (Closed-loop evaluatie):

  • PDMS Score: 86.8 (State-of-the-art).
  • Verbeterde stabiliteit en interactiebewustzijn ten opzichte van eerdere VLA-modellen.

• Inferentie Snelheid:

  • Door het vermijden van het volledig doorsturen van de LLM voor elke stap en het gebruik van standaard Transformer-versnelling (FlashAttention), werd de latentie met ongeveer 40% verlaagd (van 264 ms naar 156 ms op NAVSIM).

Betekenis en Impact

OneDrive lost een fundamenteel architecturaal probleem op in het veld van end-to-end autonoom rijden. Het bewijst dat het niet nodig is om de krachtige, vooraf getrainde attention-mechanismen van grote multimodale modellen te verlaten of te fragmenteren om complexe rijtaken uit te voeren.

• Schaalbaarheid: Het maakt het mogelijk om enorme algemene datasets te gebruiken voor joint training, wat de schaalbaarheid van rijmodellen ten goede komt.
• Efficiëntie: De unificatie leidt tot lagere latentie en minder rekenkracht, wat cruciaal is voor real-time toepassingen.
• Veiligheid en Prestaties: De resultaten tonen aan dat een unificerend model niet alleen tekstuele uitleg kan genereren, maar ook veiligere en nauwkeurigere rijbeslissingen neemt dan gespecialiseerde of gefragmenteerde systemen.

Kortom, OneDrive markeert een verschuiving naar een "single-decoder" paradigma dat de kloof tussen taalredenering en fysieke actie in autonoom rijden overbrugt.