ProDrive: Proactive Planning for Autonomous Driving via Ego-Environment Co-Evolution

1. Probleemstelling

Huidige end-to-end planners voor autonoom rijden zijn overwegend reactief. Ze genereren trajecten uitsluitend op basis van huidige sensorobservaties (afbeeldingen, LiDAR, staat), zonder expliciet te modelleren hoe de omgeving zal evolueren als reactie op de acties van het eigen voertuig.

• Beperkingen: Deze kortzichtige aanpak faalt in het anticiperen op toekomstige dynamiek in de scène, wat leidt tot suboptimale beslissingen, veiligheidskritieke fouten en het onvermogen om complexe interacties tussen meerdere agenten effectief te hanteren.
• Gat in bestaand onderzoek: Hoewel "wereldmodellen" bestaan om toekomstige staten te voorspellen, worden ze vaak gebruikt als hulpmiddelen (bijvoorbeeld voor datageneratie, simulatie of naverwerking) in plaats van dat ze nauwkeurig geïntegreerd zijn in het besluitvormingsproces van de planner. Bijgevolg ontvangt de planner geen directe gradiëntfeedback vanuit toekomstvoorspellingen om zijn interne besluitvormingslogica te vormen.

2. Methodologie: ProDrive Framework

ProDrive stelt een proactief planningsframework voor dat Co-evolutie van Eigen Voertuig en Omgeving bereikt. Het traint een query-gecentreerde trajectplanner en een Bird's-Eye-View (BEV) wereldmodel gezamenlijk op een end-to-end manier.

Kernarchitectuur

Het systeem bestaat uit twee nauw gekoppelde modules:

A. Eigen Voertuig Module (Query-gecentreerde Planner)

• Input: Multi-view afbeeldingen, LiDAR en de staat van het eigen voertuig.
• Mechanisme: Gebaseerd op een BEVFormer-architectuur, gebruikt het leerbare eigen voertuig-query's om diverse kandidaat-trajecten te genereren.
• Iteratieve verfijning: De eigen voertuig-tokens ondergaan $L$ stadia van verfijning. In elke fase:
  1. Decodering: Een MLP decodeert tokens naar trajectwaypoints.
  2. Verfijning: Deformabele cross-attention update de eigen voertuig-tokens door aandacht te schenken aan beeldfeatures op de specifieke ruimtelijke locaties van de voorgestelde waypoints.
• Output: Een set van $K$ kandidaat-trajecten en verfijnde eigen voertuig-tokens ($Q^{(L)}$) die planningsbewuste semantiek coderen.

B. Omgevingsmodule (BEV Wereldmodel)

• Input: Huidige BEV-staat, staat van het eigen voertuig en Eigen Voertuig Tokens (ingevoerd vanuit de planner).
• Mechanisme: Een recurrent Transformer-gebaseerd model dat de toekomstige evolutie van de BEV-scène voorspelt over $N$ iteraties.
• Kerninnovatie: In tegenstelling tot standaard wereldmodellen die conditioneren op ruwe coördinaten of generieke latente features, injecteert ProDrive de verfijnde eigen voertuig-tokens direct in het wereldmodel. Dit zorgt ervoor dat de toekomstvoorspelling niet alleen afhangt van waar de auto naartoe gaat, maar ook waarom de planner die beweging koos (planningsbewuste context).
• Output: Voorspelde toekomstige BEV-staten en beloningsscores voor elk kandidaat-traject, gebaseerd op veiligheid, comfort en efficiëntie.

C. Koppeling Eigen Voertuig-Omgeving (Het "Co-evolutie" Mechanisme)

• Bidirectionele Stroom:
  1. Voorwaarts: De planner levert eigen voertuig-tokens om de toekomstvoorspelling van het wereldmodel te sturen.
  2. Achterwaarts: Het wereldmodel evalueert alle kandidaten parallel en propageert toekomstbewuste gradiënten terug naar de planner.
• Resultaat: De planner wordt niet langer uitsluitend geoptimaliseerd op basis van huidige observaties, maar wordt expliciet gevormd door de verwachte toekomstige evolutie van de scène.

Trainingsdoelen

Het systeem wordt end-to-end getraind met een multi-task verliesfunctie:

1. Trajectverlies: Regressieverlies voor nauwkeurige padgeneratie en regularisatie voor diversiteit.
2. Beloningsverlies: Superviseert het wereldmodel om imitatiebeloningen (nabijheid tot expert) en simulatiebeloningen (botsingsvermijding, berijdbaar gebied, voortgang) te voorspellen.
3. Alignementverlies: Zorgt voor afstemming tussen de interne scoring van de planner en de voorspelde beloningen van het wereldmodel.
4. Semantisch verlies: Zorgt ervoor dat het wereldmodel toekomstige BEV-semantische kaarten nauwkeurig voorspelt (bijvoorbeeld bezetting door andere agenten).

3. Belangrijkste Bijdragen

1. Proactief Planningsframework: Introductie van ProDrive, het eerste framework dat een trajectplanner en een wereldmodel nauw koppelt via co-evolutie van eigen voertuig en omgeving, en zo voorbijgaat aan reactieve, observatiegedreven planning.
2. Injectie van Planningsbewuste Eigen Voertuig Tokens: Een nieuw mechanisme waarbij de verfijnde beslissingstokens van de planner in het wereldmodel worden geïnjecteerd. Dit behoudt de interne beslissingsemantiek van de planner, waardoor het wereldmodel "wat-als"-redenering kan uitvoeren, geconditioneerd op specifieke planningsintenties.
3. End-to-End Gradiëntfeedback: Etablering van een bidirectionele gradiëntstroom waarbij toekomstscènevoorspellingen de optimalisatie van de planner direct vormen, waardoor het systeem proactief gedrag kan leren dat interacties anticiperen.
4. State-of-the-Art Prestaties: Aangetoond significant verbeteringen in veiligheid en plannings-efficiëntie op de uitdagende NAVSIM-benchmark.

4. Experimentele Resultaten

De methode werd geëvalueerd op NAVSIM v1, een benchmark ontworpen voor uitdagende, interactieve rijscenario's.

• Primaire Metriek: Predictive Driver Model Score (PDMS), die veiligheid (Geen Eigen Schuld Botsing, Time-to-Collision), naleving van regels (Berijdbaar Gebied Naleving) en efficiëntie/comfort samenvoegt.
• Prestaties: ProDrive behaalde een PDMS van 86,6, wat beter is dan alle sterke baselines (inclusief reactieve end-to-end modellen zoals UniAD, VADv2 en proactieve baselines zoals LAW en FSDrive).
  • Veiligheid: 98,0% Geen Eigen Schuld Botsing (NC), 93,7% Time-to-Collision (TTC).
  • Efficiëntie: 80,7% Eigen Voertuig Voortgang (EP).
• Ablatiestudies:
  • Zonder Wereldmodel: PDMS daalde naar 83,5, wat bewijst dat expliciete toekomstmodellering cruciaal is voor veiligheid.
  • Zonder Injectie van Eigen Voertuig Tokens: PDMS daalde naar 85,5, wat bevestigt dat het injecteren van planningssemantiek het vermogen van het wereldmodel verbetert om relevante toekomstige staten te voorspellen.
  • Zonder Proactieve Gradiënt: PDMS daalde naar 85,8, wat valideert dat de achterwaartse stroom van toekomstbewuste gradiënten essentieel is voor het vormgeven van de planner.

5. Betekenis

ProDrive vertegenwoordigt een paradigmaswitch in onderzoek naar autonoom rijden:

• Van Reactief naar Proactief: Het demonstreert dat autonome agenten kunnen leren toekomstige interacties te anticiperen in plaats van slechts te reageren op het heden.
• Gefuseerde Architectuur: Het overbrugt de kloof tussen trajectvoorspelling (vaak behandeld als aparte module) en planning, waardoor een geïntegreerd systeem ontstaat waar toekomstredenering een eerstegraads trainingsignaal is.
• Veiligheid en Efficiëntie: Door expliciet de co-evolutie van het eigen voertuig en de omgeving te modelleren, produceert ProDrive vooruitziende, veiligere en efficiëntere rijgedrag, met name in complexe, multi-agent scenario's waar eenvoudige reactieve regels falen.

Dit werk suggereert een toekomstrichting waarin systemen voor autonoom rijden worden geleid door geleerde voorspellingen van de toekomstige evolutie van de scène, waardoor een niveau van "vooruitziendheid" mogelijk wordt dat vergelijkbaar is met ervaren menselijke bestuurders.