💻 computer science

$AutoDrive\text{-}P^3$ : Unified Chain of Perception-Prediction-Planning Thought via Reinforcement Fine-Tuning

Dit paper introduceert AutoDrive-P³, een framework dat waarneming, voorspelling en planning integreert via gestructureerd redeneren en hiërarchisch reinforcement learning om de prestaties en interpretatie van autonoom rijden te verbeteren.

Oorspronkelijke auteurs: Yuqi Ye, Zijian Zhang, Junhong Lin, Shangkun Sun, Changhao Peng, Wei Gao

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuqi Ye, Zijian Zhang, Junhong Lin, Shangkun Sun, Changhao Peng, Wei Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto bouwt. In het verleden bouwden we deze auto alsof het een fabrieksband was met drie aparte afdelingen: één die kijkt (perceptie), één die voorspelt wat anderen gaan doen (predictie), en één die het stuur bedient (planning). Het probleem? Als de 'kijker' een foutje maakt, krijgt de 'voorspeller' slechte informatie, en maakt de 'stuurman' een rampzalige beslissing. De fouten stapelen zich op, net als een dominoreeks die uit de hand loopt.

Recentere auto's proberen alles in één brein te doen, maar die breinen zijn vaak te klein om de complexe wereld te begrijpen, vooral in rare of zeldzame situaties (de "long-tail" scenario's).

De auteurs van dit paper (AutoDrive-P 3) hebben een nieuwe aanpak bedacht die een Vision-Language Model (VLM) gebruikt. Dit is een soort super-intelligente AI die zowel beelden als taal begrijpt, net als een mens. Maar ze hebben gezien dat bestaande VLM's twee grote fouten maken:

Ze springen direct naar het sturen zonder eerst na te denken (geen "Chain of Thought").
Ze denken wel na, maar doen het in losse stukjes, alsof de drie afdelingen niet met elkaar praten.

Hier is hoe AutoDrive-P 3 dit oplost, vertaald naar een simpel verhaal:

1. De "Gedachtenstroom" (Chain of Thought)

Stel je voor dat je als mens in het verkeer zit. Je ziet niet alleen een auto, je denkt: "Oh, daar is een vrachtwagen. Die staat stil. Als ik nu doorrijd, kan ik erlangs, maar ik moet wel oppassen dat hij niet plotseling optrekt."

De meeste AI's doen dit niet; ze gooien direct een route op het scherm. AutoDrive-P 3 dwingt de AI om hardop te denken (in tekst) voordat hij handelt. Het proces ziet er zo uit:

Perceptie (Kijken): "Ik zie een vrachtwagen rechts en een fietser links."
Predictie (Voorspellen): "De vrachtwagen blijft staan, maar de fietser komt dichterbij."
Planning (Handelen): "Omdat de fietser dichterbij komt, ga ik even iets harder naar rechts, maar niet te ver, want dan raak ik de stoeprand."

Dit noemen ze P3-CoT (Perception-Prediction-Planning Chain of Thought). Het is alsof je de auto een dagboek laat bijhouden van zijn gedachten, zodat je precies ziet waarom hij iets doet.

2. De "Gediplomeerde Trainer" (P3-GRPO)

Hoe leer je een AI om zo te denken? Je kunt niet zomaar zeggen "goed zo" of "fout". Je hebt een slimme trainer nodig.

De auteurs gebruiken een methode genaamd GRPO (een soort versterkende leertechniek). Stel je voor dat je een groep van 8 identieke auto's (een "groep") laat rijden op dezelfde route.

Auto A rijdt veilig maar traag.
Auto B rijdt snel maar raakt bijna een boom.
Auto C rijdt perfect.

De trainer kijkt naar de groep. Hij zegt niet alleen "Auto C, goed zo", maar hij vergelijkt alle auto's met elkaar.

Als Auto A de vrachtwagen goed zag (Perceptie) en daarom veilig reed, krijgt hij een punt.
Als Auto B de vrachtwagen miste (slechte Perceptie) en daardoor bijna crashte, krijgt hij een straf, zelfs als hij technisch gezien snel was.

Dit is het revolutionaire deel: De trainer straft de auto niet alleen voor een crash, maar ook voor een slechte observatie of een verkeerde voorspelling. Hierdoor leren de drie delen (kijken, voorspellen, sturen) samen te werken. Ze worden een team, geen losse afdelingen.

3. Twee Manieren van Denken (Dual Thinking Modes)

De auto is zo slim dat hij twee modi heeft, afhankelijk van de situatie:

De "Snelle Denker" (Fast Thinking): In een drukke stad waar alles snel gaat, denkt de auto kort na. Hij ziet de vrachtwagen, zegt "stilstaan", en rijdt direct. Geen lange gedachtegang, gewoon actie. Dit is voor snelheid.
De "Diepe Denker" (Detailed Thinking): In een complex scenario (bijvoorbeeld een onduidelijk kruispunt met regen en een fietser die twijfelt), schakelt de auto over op de "diepe modus". Hij schrijft een heel gedetailleerd verslag van wat hij ziet, wat hij denkt dat er gaat gebeuren, en waarom hij die specifieke route kiest. Dit is voor veiligheid en uitlegbaarheid.

Waarom is dit belangrijk?

Vroeger waren zelfrijdende auto's als een blindeman die op een stok leunt: als de stok (de sensor) een fout maakt, valt de man.
AutoDrive-P 3 is als een piloot met een cockpit. Hij kijkt naar de instrumenten (perceptie), luistert naar de radar (predictie), en neemt dan pas een beslissing (planning). Als de radar piept, weet de piloot waarom hij moet reageren.

Het resultaat?
De tests tonen aan dat deze auto veel minder vaak crasht (40% minder botsingen in tests) en veel soepeler rijdt dan de huidige topmodellen. Hij is niet alleen slimmer, maar ook betrouwbaarder, omdat hij zijn fouten in de vroege stadia (het kijken en voorspellen) corrigeert voordat hij het stuur aanraakt.

Kortom: Ze hebben de zelfrijdende auto niet alleen slimmer gemaakt, maar hem ook leerzaam gemaakt, zodat hij net als een mens eerst nadenkt voordat hij handelt.

Titel: AutoDrive-P 3: Een Unificatie van Perceptie, Voorspelling en Planning via Versterkende Fijntuning

1. Het Probleem

Autonome rijsystemen worden steeds vaker aangedreven door Vision-Language Models (VLM's) vanwege hun vermogen om lange-staartscenario's (ongewone situaties) te hanteren. Echter, bestaande VLM-benaderingen lijden aan twee fundamentele beperkingen:

Gebrek aan Chain-of-Thought (CoT) redenering: Sommige VLM's genereren direct een rijtraject zonder tussenstappen. Dit omzeilt cruciale fasen zoals perceptie (wat zie ik?) en voorspelling (wat gaan anderen doen?), wat leidt tot een grote domeinkloof en zwakkere besluitvorming.
Fragmentatie en gebrek aan synergie: Andere VLM's kunnen wel antwoorden geven op vragen over perceptie, voorspelling en planning, maar behandelen deze taken als losse modules. Er is geen echte samenwerking (synergie) tussen deze modules; de planning module maakt geen optimaal gebruik van de perceptie- en voorspellingssignalen, wat de algehele prestaties ondermijnt.
Beperkte supervisie: Bestaande methoden gebruiken vaak versterkingsleer (zoals GRPO) die alleen de planning (bijv. L2-afstand of botsingsratio) optimaliseert, zonder de perceptie- en voorspellingsmodules direct te belonen. Dit resulteert in oppervlakkige verbeteringen en gebrek aan interpreteerbaarheid.

2. Methodologie

De auteurs stellen AutoDrive-P 3 voor, een nieuw framework dat Perceptie, Voorspelling en Planning naadloos integreert via gestructureerd redeneren. De aanpak bestaat uit drie kerncomponenten:

A. De P 3-CoT Dataset
Om coherent redeneren mogelijk te maken, hebben de auteurs een nieuwe dataset ontwikkeld genaamd P 3-CoT.

Structuur: In plaats van losse vraag-antwoordparen, bevat de dataset een eenheidsvormige "Chain-of-Thought" (CoT) die drie fasen verbindt:
1. Perceptie: Identificatie en lokalisatie van sleutelobjecten (bijv. auto's, voetgangers) die invloed hebben op de rijbeslissing.
2. Voorspelling: Analyse van het toekomstige gedrag van deze sleutelobjecten op basis van de perceptie.
3. Planning: Generatie van het rijtraject voor het eigen voertuig, gebaseerd op de uitkomsten van de eerste twee fasen.
Data: De dataset bevat frames van nuScenes en NAVSIM, aangevuld met gedetailleerde annotaties en gegenereerde redeneertraces met behulp van Qwen2.5-VL-72B.

B. Supervised Fine-Tuning (SFT) voor Cold-Start
Voordat versterkingsleer wordt toegepast, ondergaat het basis-VLM (Qwen2.5-VL-3B) een fase van Supervised Fine-Tuning met de P 3-CoT dataset.

Het doel is om het model te leren de specifieke outputstructuur te volgen: <think_perception>...<answer_perception>...<think_prediction>... enzovoort.
Dit zorgt ervoor dat het model de domeinkennis van autonoom rijden verwerft en een gestructureerde basis legt voor de daaropvolgende versterkingsfase.

C. P 3-GRPO Algorithm
Na de SFT-fase wordt een hiërarchisch versterkingsleer-algoritme toegepast, gebaseerd op Group Relative Policy Optimization (GRPO).

Gestructureerde Beloning: Het algoritme gebruikt een gecombineerde beloningsfunctie die alle drie de modules tegelijkertijd optimaliseert:
- $R_{perc}$ : Beloning voor nauwkeurige objectdetectie (IoU, precisie, recall).
- $R_{pred}$ : Beloning voor correcte voorspelling van objectgedrag, gewogen op basis van de perceptiekwaliteit.
- $R_{plan}$ : Beloning voor de kwaliteit van het geplande traject (L2-afstand, botsingsratio, en PDMS/EPDMS voor NAVSIM).
Synergie: Door de modules gezamenlijk te belonen, wordt gegarandeerd dat verbeteringen in de planning gebaseerd zijn op betrouwbare perceptie en voorspelling. Dit creëert een "coherent reasoning" keten.
Dubbele Denkmodi: Om een balans te vinden tussen prestaties en inferentiesnelheid, introduceert het systeem twee modi:
- Detailed Thinking: Volledige redenering voor alle modules (hoogste prestatie).
- Fast Thinking: Alleen de definitieve antwoorden zonder de gedetailleerde redeneertraces (snellere inferentie).

3. Belangrijkste Resultaten

De auteurs hebben AutoDrive-P 3 uitgebreid getest op zowel open-loop (nuScenes) als closed-loop (NAVSIMv1/v2) benchmarks.

State-of-the-Art Prestaties: AutoDrive-P 3 behaalt de beste resultaten op meerdere benchmarks.
- Op nuScenes wordt een botsingsratio van slechts 0.06% bereikt (gemiddeld over 1s, 2s, 3s), wat een verbetering is van ongeveer 40% ten opzichte van de beste bestaande methoden.
- Op NAVSIMv1 en NAVSIMv2 behaalt het model de hoogste scores op de PDMS en EPDMS metrieken (respectievelijk 90.6 en 89.9), zelfs met een visueel alleen input en een relatief klein model (3B parameters) vergeleken met grotere concurrenten.
Efficiëntie: De "Fast Thinking" modus behaalt bijna real-time prestaties (1 Hz) op een H100 GPU, terwijl de "Detailed Thinking" modus de hoogste veiligheid garandeert.
Ablatie-studies: Experimenten tonen aan dat de combinatie van SFT en P 3-GRPO cruciaal is. Alleen SFT of alleen GRPO voor planning levert minder goede resultaten op; de hiërarchische supervisie over alle drie de modules is essentieel voor de superieure prestaties.

4. Significantie en Bijdragen

De paper levert drie belangrijke bijdragen aan het veld van autonoom rijden:

Unificatie van taken: AutoDrive-P 3 is het eerste framework dat Perceptie, Voorspelling en Planning expliciet koppelt via een gestructureerde Chain-of-Thought in een end-to-end VLM-architectuur. Dit lost het probleem van gebrek aan synergie op.
P 3-GRPO Algoritme: De introductie van een hiërarchisch versterkingsleer-algoritme dat alle cognitieve lagen (waarnemen, voorspellen, plannen) simultaan optimaliseert, zorgt voor robuustere en veiligere rijbeslissingen.
Interpreteerbaarheid en Veiligheid: Door het genereren van stap-voor-stap redeneringen (CoT) wordt het "black box"-probleem van VLM's aangepakt. Het systeem kan uitleggen waarom een bepaalde route is gekozen, wat essentieel is voor vertrouwen en veiligheid in kritieke situaties.

Conclusie:
AutoDrive-P 3 demonstreert dat het integreren van menselijke denkprocessen (perceptie -> voorspelling -> planning) via versterkende fijntuning leidt tot superieure prestaties in complexe rijscenario's. Het biedt een nieuwe richting voor end-to-end autonome rijsystemen die niet alleen effectief, maar ook interpreteerbaar en veilig zijn.