Technische Samenvatting: DrivoR – Driving on Registers

Probleemstelling

End-to-end (E2E) autonoom rijden streeft ernaar om ruwe sensordata direct te mappen naar rijbeslissingen, wat de kosten voor labeling verlaagt en tussenliggende modulaire annotaties vermijdt. Trajectvoorstelmethoden (trajectory-proposal methods) hebben sterke prestaties laten zien door meerdere kandidaatpaden te genereren en de beste te selecteren, maar zij kampen met een aanzienlijke computationele bottleneck. Huidige state-of-the-art benaderingen vertrouwen vaak op zware backbones (bijv. grote Vision Transformers of CNN's) die duizenden tokens per frame produceren. Het verwerken van deze tokens voor honderden trajectkandidaten creëert een computationele last die slecht schaalt met resolutie en aantal sensoren. Bovendien vertrouwen bestaande oplossingen vaak op uniforme feature pooling, wat alle camera-inputs als even informatief behandelt en strikte resolutievereisten afdwingt, wat potentieel kritische planningscontext wegwerpt.

Methodologie: DrivoR Architectuur

De auteurs stellen DrivoR voor, een eenvoudige, efficiënte, pure-transformer architectuur ontworpen voor E2E-planning. Het systeem vermijdt complexe tussenliggende representaties (zoals Bird's Eye View projecties) en grote vooraf berekende traject-dictionaries. In plaats daarvan maakt het gebruik van een driestaps transformer-pipeline:

1. Perceptie Encoder met Camera-bewuste Registers

De kerninnovatie ligt in de perceptie encoder, die uniforme pooling vervangt door camera-bewuste register tokens.

• Mechanisme: Voor elke van de $N$ input-camera's introduceert het model een vaste set van $R$ leerbare register tokens. Deze worden samengevoegd met standaard patch tokens en gevoed aan een gepre-trainde Vision Transformer (ViT) backbone (specifiek DINOv2 ViT-S).
• Compressie: De ViT comprimeert de hoogdimensionale visuele features naar deze $R$ registers per camera. De output is een compacte set van $N \times R$ "scene tokens".
• Voordeel: Deze aanpak reduceert de sequentielengte voor downstream-verwerking drastisch (van duizenden tokens naar enkele tientallen) terwijl de planningsrelevante context behouden blijft. De registers zijn camera-specifiek, waardoor het model onderscheid kan maken tussen voor-, zij- en achteruitzicht.
• Training: De backbone wordt gefinetuned met behulp van Low-Rank Adaptation (LoRA) om de visie-naar-register compressie efficiënt te leren, waarbij het aantal parameters laag wordt gehouden.

2. Traject Decoder

De traject decoder genereert kandidaatpaden met behulp van een standaard transformer decoder architectuur.

• Input: Het neemt een set leerbare traject-queries, aangevuld met ego-state informatie (positie, snelheid, acceleratie, commando's).
• Attention: Queries letten op de gecomprimeerde "scene tokens" via cross-attention.
• Output: De decoder produceert een set kandidaat-trajecten, elk gerepresenteerd als een sequentie van $(x, y, \theta)$ poses in het lokale frame van de ego-agent.
• Loss: De training maakt gebruik van een Winner-Takes-All (WTA) of minimum-over-$N$ (MoN) loss, waarbij alleen het dichtstbijzijnde voorspelde traject bij de grondwaarheid wordt gesuperviseerd, wat diversiteit in de voorstelset stimuleert.

3. Scoring Decoder (Ontkoppeld)

Een aparte scoring module evalueert de kwaliteit van de gegenereerde trajecten.

• Ontkoppeling (Disentanglement): Cruciaal is dat de gedecodeerde trajecten opnieuw worden ingebed in een nieuwe feature space en worden losgekoppeld van de gradiëntgrafiek voordat ze de scoring decoder ingaan. Dit voorkomt dat het trajectgeneratieproces tijdens de training wordt beïnvloed door de directe kwaliteit van de scorer, wat een scheiding afdwingt tussen generatie en evaluatie.
• Sub-scores: In plaats van een enkele scalaire score, voorspelt het model zes interpreteerbare sub-scores die overeenkomen met de componenten van het Predictive Driver Model Score (PDMS) (bijv. veiligheid, comfort, efficiëntie, voortgang).
• Gedragsconditionering: Tijdens inferentie kunnen deze sub-scores verschillend worden gewogen (via een set $\lambda$ gewichten) om het rijgedrag te moduleren (bijv. prioriteit geven aan veiligheid boven voortgang) zonder het model opnieuw te trainen.

Belangrijkste Bijdragen

1. Simpele Transformer Architectuur: Een pure-transformer E2E planner die geen behoefte heeft aan tussenliggende BEV-representaties of grote traject-vocabulaire.
2. Register-gebaseerde Token Compressie: Het eerste werk dat ViT register tokens specif으로 hergebruikt voor het comprimeren van visuele features in E2E-planning. Dit bereikt een compacte scène-representatie die kritieke context behoudt terwijl de computationele last met ordes van grootte wordt verminderd vergeleken met volledige feature maps.
3. Ontkoppelde Scoring: Een modulair ontwerp dat trajectgeneratie scheidt van scoring, wat het leren van interpreteerbare sub-scores mogelijk maakt en gedragsgeconditioneerde rij-policies tijdens inferentie toestaat.

Experimentele Resultaten

DrivoR werd geëvalueerd op drie belangrijke benchmarks: NAVSIM-v1, NAVSIM-v2, en de fotorealistische closed-loop HUGSIM.

• NAVSIM-v1: DrivoR presteert beter dan alle bestaande camera-only methoden, met een PDMS van 93,7 (gebruikmakend van trainval data) en 94,0 met extra synthetische data, waarmee het menselijk niveau (94,8) nadert. Het presteert significant beter dan sterke baselines zoals RAP en UniAD.
• NAVSIM-v2: Op de uitdagende navhard-two-stage split bereikt DrivoR een nieuwe state-of-the-art EPDMS van 54,6, waarmee het modellen zoals GTRS en ZTRS overtreft. Opvallend genoeg bereikt het dit met een veel kleinere backbone (ViT-S) en minder parameters (~40M) vergeleken met concurrenten.
• HUGSIM: In een zero-shot evaluatie op de closed-loop HUGSIM benchmark behaalde DrivoR (getraind enkel op NAVSIM-v1) de hoogste Road Completion (49,8%) en HD-Score (35,7) onder de gerapporteerde baselines, wat een sterke generalisatie naar fotorealistische 3D-omgevingen demonstreert.
• Efficiëntie: De register-gebaseerde compressie levert een 3x verbetering in throughput (110ms vs. 400ms per forward pass op een A100 GPU) en een 3x reductie in GFLOPS en piekgeheugengebruik vergeleken met een ViT-L baseline, wat real-time implementatie meer haalbaar maakt.

Betekenis en Claims

Het paper stelt dat een pure-transformer architectuur, wanneer gecombineerd met gerichte token-compressie via registers, voldoende is voor nauwkeurige, efficiënte en adaptieve end-to-end rijsturing. De auteurs benadrukken dat:

• Uniforme pooling suboptimaal is; camera-bewuste registers stellen het model in staat om te leren welke views het meest informatief zijn (bijv. voorwaartse camera's voor planning, achterwaartse camera's voor specifieke veiligheidscontroles).
• Het ontkoppelen van scoring en generatie de prestaties verbetert en interpreteerbare sub-scores mogelijk maakt en geconditioneerd rijgedrag toestaat tijdens inferentie.
• Hoge prestaties geen massieve traject-dictionaries of complexe tussenliggende 3D-representaties vereisen; een simpele, goed gestructureerde transformer-pipeline kan complexere systemen evenaren of zelfs overtreffen terwijl deze aanzienlijk efficiënter is.

Het werk suggereert een verschuiving naar lichtgewicht, register-gebaseerde compressiestrategieën voor real-time autonome rijsystemen, waarbij wordt aangetoond dat "minder meer is" wanneer de compressie geleerd en contextbewust is.