PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

PRIX is een efficiënt, end-to-end systeem voor autonoom rijden dat uitsluitend camera-beelden gebruikt en via een nieuwe Context-aware Recalibration Transformer (CaRT) veilige trajecten plant, waardoor het de prestaties van grotere multimodale modellen bereikt met minder rekencapaciteit en zonder LiDAR.

De kern

🚗 PRIX: De slimme, goedkope chauffeur die alleen met zijn ogen kijkt

Stel je voor dat je een zelfrijdende auto wilt bouwen. De meeste dure, geavanceerde auto's op de markt doen alsof ze een superkrachtige bril dragen. Ze gebruiken niet alleen camera's, maar ook dure LiDAR-sensoren (die als een laserflits alles in 3D scannen) en zware computers om een perfecte kaart van de wereld te tekenen. Dit werkt goed, maar het is duur, zwaar en past niet in een gewone auto.

PRIX (Plan from Raw pIXels) is een nieuwe uitvinding van onderzoekers die zegt: "Wacht even, waarom hebben we die dure laserbril en die zware kaart nodig? Een mens kijkt ook alleen met zijn ogen en kan prima rijden."

Hier is hoe PRIX werkt, vergeleken met de rest:

1. De "Oog" die alles begrijpt (De CaRT-module)

De meeste camera-auto's kijken naar de beelden en proberen ze eerst om te zetten in een platte, bovenaanzicht-kaart (zoals een Google Maps-kaart die je van bovenaf ziet). Dit is rekenkundig erg zwaar, alsof je elke foto eerst moet tekenen voordat je kunt rijden.

PRIX doet dit anders. Het heeft een speciaal brein-deel genaamd CaRT (Context-aware Recalibration Transformer).

• De Analogie: Stel je voor dat je door een raam kijkt. Een gewone camera ziet alleen "een boom" en "een auto". PRIX kijkt en denkt direct: "Ah, die boom staat dicht bij de weg, en die auto remt, dus ik moet voorzichtig zijn."
• CaRT is als een slimme filter die de beelden van de camera direct "leest" en begrijpt zonder ze eerst om te zetten in een kaart. Het combineert kleine details (zoals een stoeprand) met grote context (zoals een drukke kruising) in één oogopslag. Hierdoor hoeft de computer niet te rekenen aan een 3D-kaart; het begrijpt de situatie direct uit de pixels.

2. De "Dromer" die de route pland (Diffusion Planner)

Zodra PRIX de situatie begrijpt, moet het beslissen waarheen te sturen. Veel oude systemen kiezen uit een vooraf gemaakte lijst met mogelijke routes (alsof je alleen mag rijden op paden die al op de kaart staan).

PRIX gebruikt een Diffusie-planner.

• De Analogie: Stel je voor dat je een schets maakt van een route. Eerst is het een wazige vlek (ruis). PRIX "ontdoet" deze wazigheid stap voor stap, alsof je een schilderij schraapt om er een duidelijk beeld onder te krijgen.
• In plaats van te raden, "droomt" PRIX een veilige route en verfijnt deze steeds meer totdat hij perfect is. Dit is veel flexibeler dan het volgen van een starre lijst.

3. Waarom is dit zo cool? (Snelheid en Grootte)

De grootste kracht van PRIX is dat het klein en snel is.

• De Vergelijking: Andere top-modellen zijn als een zware vrachtwagen vol met dure sensoren en zware computers (vaak meer dan 100 miljoen "neuralen" of parameters). Ze rijden goed, maar zijn traag en duur.
• PRIX is als een sportieve, lichte racefiets. Hij heeft veel minder gewicht (slechts 37 miljoen parameters) en is veel sneller.
• Het Resultaat: PRIX is net zo veilig als die zware vrachtwagens, maar hij rijdt sneller (57 keer per seconde een beslissing, terwijl anderen er 3 of 25 keer per seconde doen). Dit betekent dat je deze technologie straks in elke gewone auto kunt stoppen, zonder dat je een dure laser-sensor nodig hebt.

4. De "Oefeningen" (Aanvullende taken)

Om PRIX slim te maken, hebben de onderzoekers hem niet alleen laten oefenen op "rijden". Ze gaven hem ook extra huiswerk:

• Oefening 1: "Herken andere auto's en voetgangers." (Dit zorgt dat hij alert is).
• Oefening 2: "Begrijp de wegmarkeringen en het asfalt." (Dit zorgt dat hij niet over de stoeprand rijdt).
• Door deze extra taken te leren, wordt het "brein" van de auto veel slimmer in het begrijpen van de wereld, waardoor het rijden vanzelf beter gaat.

🏁 Conclusie: De toekomst is camera-only

Kortom, PRIX bewijst dat je geen dure lasersensoren nodig hebt om veilig te rijden. Door slimme software te gebruiken die direct leert van de beelden van gewone camera's, kunnen we zelfrijdende auto's maken die:

1. Veilig zijn (net zo goed als de duurdere modellen).
2. Snel zijn (rekenen in een flits).
3. Goedkoop zijn (passen in elke auto, niet alleen in luxemodellen).

Het is alsof we eindelijk een auto hebben die niet afhankelijk is van dure gadgets, maar gewoon heel goed kan kijken en denken, net als een mens.

Technische samenvatting

Probleemstelling

Hoewel end-to-end modellen voor autonoom rijden veelbelovende resultaten laten zien, worden hun praktische implementatie vaak belemmerd door drie belangrijke factoren:

1. Grote modelgrootte: Bestaande state-of-the-art (SOTA) modellen (zoals UniAD en VAD) bevatten vaak meer dan 100 miljoen parameters, wat leidt tot hoge rekenkosten.
2. Afhankelijkheid van dure sensoren: Veel topmodellen vereisen LiDAR-sensoren naast camera's, wat de schaalbaarheid beperkt voor massamarktvoertuigen die vaak alleen met camera's zijn uitgerust.
3. Rekenintensieve representaties: De meeste benaderingen vertrouwen op Bird's-Eye View (BEV) features. Het omzetten van camera-data naar BEV (bijv. via LSS-achtige modellen) is computatief zwaar en beperkt de inferentiesnelheid.

De auteurs stellen dat de visuele feature-extractor de belangrijkste determinant is voor de prestaties, maar ook de grootste bron van rekenkosten. Er is een behoefte aan een efficiënt, camera-only systeem dat robuuste planning mogelijk maakt zonder expliciete 3D-geometrie of LiDAR.

Methodologie: PRIX

De auteurs introduceren PRIX (Plan from Raw pIXels), een nieuw end-to-end architectuur dat uitsluitend camera-data gebruikt en geen BEV-representatie of LiDAR vereist. De kerncomponenten zijn:

1. Visuele Feature Extractor met CaRT:

   • Het model gebruikt een hiërarchische ResNet-backbone om multi-scale features te extraheren.
   • Een nieuw module, de Context-aware Recalibration Transformer (CaRT), wordt geïntroduceerd. Deze module verbetert multi-level visuele features door globale semantische context te integreren met lokale ruimtelijke details.
   • In plaats van aparte Self-Attention (SA) lagen per feature-niveau, deelt CaRT de gewichten van de SA-lagen over alle schalen. Dit verhoogt de generalisatie en verlaagt het aantal parameters.
   • De output bestaat uit "Global Features" (semantisch rijk) en "Local Features" (ruimtelijk gedetailleerd).

2. Planning zonder Geometrische BEV:

   • PRIX vermijdt expliciete camera-intrinsica of extrinsica. In plaats daarvan leert het netwerk een "Planner Grid" die semantisch is uitgelijnd met het voertuigframe via supervisie.
   • De visuele features worden omgezet in een "Token Memory" en een "Planner Grid" via een leerbaar "Fold-and-Project" proces.

3. Generatieve Planning Head:

   • Voor de trajectvoorspelling wordt een conditionele denoising diffusion-head gebruikt (geïnspireerd door DiffusionDrive).
   • Het model genereert veilige trajecten door ruis te verwijderen uit een set van "anchors" (voorgedefinieerde trajecten gebaseerd op K-Means clustering van ground-truth data).
   • Het systeem gebruikt slechts 2 diffusiestappen voor inferentie, wat zeer snel is.

4. Trainingsdoelen en Auxiliaire Taken:

   • Het model wordt getraind met een multi-task learning aanpak. Naast de primaire planning loss ($L_{plan}$), worden auxiliaire taken gebruikt om de feature-extractor te dwingen een rijke wereldrepresentatie te leren:
     • Object Detectie: Lokalisatie van andere weggebruikers (voertuigen, voetgangers).
     • Semantische Consistentie: Pixel-gebaseerde segmentatie van het rijbare gebied en rijbanen.
   • Deze taken zorgen voor een robuustere interne representatie die essentieel is voor veilige planning.

Belangrijkste Bijdragen

• PRIX Architectuur: Een efficiënte, camera-only end-to-end planner die SOTA-prestaties levert zonder LiDAR of BEV.
• CaRT Module: Een innovatieve transformer-module die multi-level features verrijkt met globale context, wat leidt tot betere planning bij lagere rekenkosten.
• Efficiëntie vs. Prestatie: Het model is aanzienlijk kleiner (37M parameters) en sneller dan bestaande camera-only en multimodale SOTA-modellen, terwijl het prestaties behaalt die vaak beter zijn.
• Uitgebreide Ablatie Studies: De auteurs tonen aan dat het delen van attention-gewichten over schalen en het gebruik van alleen anchors (zonder eindpunten als extra conditionering) de beste balans biedt.

Resultaten

PRIX werd getest op drie belangrijke datasets: NavSim-v1, NavSim-v2 en nuScenes.

• NavSim-v1:

  • PRIX behaalt een PDMS-score van 87.8, wat hoger is dan de meeste multimodale planners (zoals GoalFlow en Transfuser) en alle andere camera-only methoden.
  • Het is significant sneller: 57 FPS op een RTX 3090, vergeleken met 25 FPS voor VADv2 en slechts 3 FPS voor UniAD.
  • Het model is kleiner (37M parameters) dan concurrenten zoals VAD (100M+) en UniAD (125M+).

• NavSim-v2:

  • PRIX behaalt de hoogste EPDMS-score (84.2) onder camera-only methoden, zelfs beter dan HydraMDP++ en DriveSuprim.

• nuScenes:

  • PRIX behaalt de laagste gemiddelde L2-fout (0.57m) over een horizon van 1s tot 3s, beter dan DiffusionDrive (0.65m) en SparseDrive (0.61m).
  • Het heeft de laagste botsingsratio (0.07%), met 0.00% botsingen op 1 seconde horizon.
  • Het is de snelste camera-only methode met 11.2 FPS.

• Kwalitatieve Resultaten:

  • Het model toont vermogen om veilige linksafslagen te maken en grotere afstanden te houden dan de ground-truth in drukke situaties. Het presteert ook goed in slechte weersomstandigheden (regen, sneeuw).

Betekenis en Conclusie

PRIX bewijst dat hoogwaardig end-to-end autonoom rijden haalbaar is met uitsluitend camera-data, zonder de noodzaak van dure LiDAR-sensoren of rekenintensieve BEV-representaties. Door de focus te leggen op een rijke visuele feature-extractor (via CaRT) en een efficiënte generatieve planner, slaagt het model erin om een betere balans te vinden tussen prestaties, veiligheid en rekenefficiëntie dan bestaande SOTA-methoden.

Dit werk opent de deur voor schaalbare, kosteneffectieve autonome systemen die geschikt zijn voor massamarktvoertuigen. De auteurs maken de code open-source beschikbaar, wat bijdraagt aan de reproduceerbaarheid en verdere ontwikkeling in het veld.