💻 computer science

Driving Intents Amplify Planning-Oriented Reinforcement Learning

Het artikel introduceert DIAL, een tweestapsframework dat intentie-geconditioneerde flow matching combineert met multi-intent preferentie-RL om mode-collapse in continu-actie rijbeleid te overwinnen, waardoor deze prestaties kunnen behalen die zowel eerdere state-of-the-art-modellen als door mensen gereden demonstraties overtreffen.

Oorspronkelijke auteurs: Hengtong Lu, Victor Shea-Jay Huang, Chengmin Yang, Pengfei Jing, Jifeng Dai, Yan Xie, Benjin Zhu

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hengtong Lu, Victor Shea-Jay Huang, Chengmin Yang, Pengfei Jing, Jifeng Dai, Yan Xie, Benjin Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto leert door haar een video te tonen van een menselijke bestuurder die een drukke straat navigeert. Het probleem met deze aanpak, zoals het paper uitlegt, is dat de video slechts één manier toont waarop de mens heeft gekozen om te rijden. Misschien remden ze vroeg, misschien wisselden ze van rijstrook, of misschien versnelden ze lichtjes. Maar de video toont niet de andere geldige opties die op dat moment ook mogelijk waren.

Als je een computer traint om simpelweg die ene video te kopiëren, raakt hij "vast" in een spoor. Hij leert alleen precies te doen wat hij zag, en mist alle andere veilige en slimme manieren om de situatie te hanteren. De auteurs noemen dit "mode collapse". Het is als een student die één specifiek antwoord op een wiskundeprobleem uit het hoofd leert, maar faalt wanneer de cijfers iets veranderen, omdat ze nooit de onderliggende logica of de andere mogelijke oplossingen hebben geleerd.

Hier is hoe de nieuwe methode uit het paper, genaamd DIAL, dit oplost met twee slimme stappen:

Het Probleem: De "Eenrichtingsverkeersmentaliteit"

Bij de oude manier van trainen (Supervised Fine-Tuning of SFT) kijkt de AI naar een scène en probeert het pad te raden. Omdat het slechts één pad heeft gezien in de trainingsdata, groeperen al zijn gissingen zich strak rond die ene lijn.

De Analogie: Stel je voor dat je een chef vraagt om een gerecht te bereiden nadat je hem één specifiek recept hebt getoond. Als je vraagt om "100 variaties", geeft de chef je gewoon 100 lichtjes verschillende versies van dat zelfde gerecht. Hij denkt er nooit aan om een volledig ander smaakprofiel te proberen (zoals overschakelen van pasta naar soep), omdat hem nooit is verteld dat die opties bestonden.
Het Resultaat: Zelfs als je de "beste" van 128 gissingen kiest, is geen van hen eigenlijk beter dan de originele video van de menselijke bestuurder. De AI zit gevangen.

De Oplossing: DIAL (Driving-Intent-Amplified Learning)

De auteurs introduceren een trainingsproces in twee fasen om deze valstrik te doorbreken.

Fase 1: Het "Menu van Intenties"

In plaats van de AI alleen te vragen "Welk pad moet ik nemen?", vragen ze haar eerst om een Rijintentie te kiezen uit een menu van 8 specifieke opties: Cruisen, Links van Rijstrook Wisselen, Rechts van Rijstrook Wisselen, Links Afslaan, Rechts Afslaan, U-bocht, Versnellen, of Vertragen.

De Analogie: Denk hierbij aan het geven van een menu met distincte stijlen aan de chef voordat hij begint met koken. "Vandaag maken we een pittige stir-fry," of "Vandaag maken we een romige soep."
Hoe het werkt: De AI wordt getraind om een pad te genereren op basis van die specifieke intentie. Als de intentie "Links Afslaan" is, genereert hij een pad dat links afslaat. Als het "Versnellen" is, genereert hij een snel pad.
De Magie: Door de AI te dwingen te denken in deze distincte categorieën, stopt hij met zich te groeperen rond één enkele lijn. Hij leert om verschillende "bekkens" van gedrag te verkennen. Plotseling, wanneer je om 128 variaties vraagt, krijg je 128 verschillende soorten rijmanoeuvres, niet gewoon 128 kopieën van dezelfde.
Het Resultaat: Alleen al door dit te doen, wordt de beste gok van de AI beter dan de originele video van de menselijke bestuurder, simpelweg omdat hij eindelijk opties heeft verkend die de menselijke video niet liet zien.

Fase 2: De "Smaaktest" (Versterkend Leren)

Nu de AI een divers menu van opties heeft, moeten ze hem leren welke er eigenlijk de beste is voor de situatie. Ze gebruiken een systeem genaamd Multi-Intent GRPO.

De Analogie: Stel je voor dat een foodcriticus (de "Beoordelaar") alle 16 gerechten proeft die de chef heeft gemaakt (2 van elk van de 8 stijlen). De criticus kiest niet degene die het meest lijkt op het originele recept; hij kiest degene die het lekkerst smaakt.
De Valstrik Vermeden: Als de chef alleen 16 versies van "Pittige Stir-fry" had gemaakt, kan de criticus niet vertellen of "Pittige Stir-fry" eigenlijk beter is dan "Romige Soep". De vergelijking is onrechtvaardig.
De Oplossing: DIAL dwingt de chef om 2 van elke stijl (Links Afslaan, Rechts Afslaan, Versnellen, enz.) te maken voor elke enkele scène. De criticus vergelijkt ze vervolgens allemaal. Dit leert de AI: "Oh, in deze specifieke file werd de 'Vertragen'-stijl het hoogst beoordeeld, niet de 'Versnellen'-stijl."
Het Resultaat: De AI leert de juiste intentie te kiezen voor de situatie, in plaats van gewoon een pad te kopiëren. Hij behoudt de diversiteit die hij in Fase 1 heeft geleerd, in plaats van terug te vallen in één enkel gewoonte.

De Eindstand

Het paper testte dit op een real-world rijdataset (Waymo).

Oude Methoden: Zelfs met 128 gissingen was het beste wat ze konden doen iets slechter dan de originele video van de menselijke bestuurder.
DIAL: Door het gebruik van het "Intentie-menu" en de "Eerlijke Smaaktest", scoorde de beste gok van de AI hoger dan de video van de menselijke bestuurder. Hij behaalde een score van 9,14 (op een schaal waar de mens 8,13 was), wat bewijst dat de AI betere manieren om te rijden vond dan de mens die oorspronkelijk werd opgenomen.

Samenvatting

Het paper betoogt dat de bottleneck bij het leren van zelfrijdende auto's niet alleen gaat over het slimmer maken van de AI in het kopiëren; het gaat erom ervoor te zorgen dat de AI niet vastloopt in de gedachte dat er maar één manier is om te rijden. Door de AI expliciet te leren denken in verschillende "modi" (intenties) en hem vervolgens te belonen voor het kiezen van de beste modus, hebben ze een prestatieniveau ontsloten dat eerdere methoden niet konden bereiken.

Technische Samenvatting: Driving Intents Amplify Planning-Oriented Reinforcement Learning (DIAL)

1. Probleemstelling

Het artikel identificeert mode collapse als de primaire bottleneck voor het toepassen van voorkeurgebaseerde Reinforcement Learning (RL) op continu-actieve rijbeleidstrategieën die zijn getraind op enkele gedemonstreerde trajecten per scène.

De Beperking van Single-Demonstration SFT: Wanneer beleidstrategieën worden getraind via Supervised Fine-Tuning (SFT) op een enkele gelogde traject, clusteren de resulterende steekproefverdelingen zich strak rond die specifieke manoeuvre. Zelfs met expressieve actiehoofden (bijv. flow-matching of diffusion), faalt het beleid om semantisch verschillende alternatieven weer te geven (bijv. eerder versus later remmen, van rijbaan wisselen versus in de rijbaan blijven).
Het Falen van Preference RL: Voorkeurgebaseerde evaluatie (bijv. Best-of- $N$ ) is afhankelijk van het feit dat het beleid diverse kandidaten genereert om de hoogst beoordeelde te selecteren. Als de steekproefverdeling echter is ingestort rond een enkele mode, kan "oracle selection" geen hoogwaardige trajecten herstellen die nooit zijn bemonsterd. Bijgevolg plateaut de Best-of- $N$ -prestatie onder de kwaliteit van de originele menselijke demonstratie, ongeacht het steekproefbudget ( $N$ ).
Het Kerninzicht: De bottleneck is niet het beleid-update-mechanisme zelf, maar de steekproefverdeling. Standaard Group Relative Policy Optimization (GRPO) faalt omdat rollouts getrokken uit een enkele intentie (of ruiszaden) de groep opnieuw laten instorten, waardoor oninformatieve groepsrelatieve voordelen worden opgeleverd (lage voorkeurcontrasten).

2. Methodologie: DIAL Framework

De auteurs stellen DIAL (Driving-Intent-Amplified Learning) voor, een tweestapsframework dat is ontworpen om eerst de steekproefverdeling uit te breiden en vervolgens die uitbreiding te behouden tijdens voorkeur-RL.

Stap 1: Intent-Conditioned Classifier-Free Guidance (CFG)

Doel: De single-demonstration mode collapse doorbreken door de steekproefverdeling uit te breiden langs semantisch verschillende manoeuvre-modes.
Mechanisme:
- Het flow-matching actiehoofd is geconditioneerd op een discrete intentielabel $c$ .
- De intentieset bestaat uit acht afgeleide categorieën: cruise, lane-change (L/R), turn (L/R), U-turn, accelerate, decelerate.
- Classifier-Free Guidance (CFG): Tijdens het trainen worden intentielabels met een waarschijnlijkheid $p_{drop}$ willekeurig verwijderd (vervangen door een voorwaardelijke placeholder). Dit leert het model om zowel conditionele (intentie-specifieke) als onvoorwaardelijke actieverdelingen te genereren.
- Inferentie: Een lichtgewicht prefix-classificatie voorspelt de intentie vanuit de visuele context. De generator decodeert vervolgens het traject met behulp van de voorspelde intentie, waarbij conditionele en onvoorwaardelijke snelheidsvoorspellingen worden gecombineerd.
Resultaat: Deze stap stelt het beleid in staat om diverse trajecten te genereren (bijv. een linksafslag versus in de rijbaan blijven) voor dezelfde scène, in plaats van alleen coördinaatniveau-perturbaties van een enkel pad. Alleen intentie-geconditioneerde steekproeven verhoogt het Best-of- $N$ -plafond aanzienlijk.

Stap 2: Multi-Intent Group Relative Policy Optimization (GRPO)

Doel: De uitgebreide diversiteit behouden tijdens RL-finetuning en het beleid optimaliseren naar menselijke voorkeuren.
Mechanisme:
- Intent-Balanced Rollouts: Voor elke scène steekproeft het systeem $S$ trajecten voor elk van de $C=8$ intenties, waardoor een groep van $K = C \times S$ voorstellen ontstaat (bijv. $K=16$ met $S=2$ ).
- Group Relative Advantage: De Reward Feedback Score (RFS) wordt berekend voor alle $K$ trajecten. Voordelen worden genormaliseerd over de gehele gepoolde groep. Omdat de groep alle intentieklassen beslaat, ontvangt de RL-update een zinvol voorkeursignaal over verschillende manoeuvre-modes, waardoor wordt voorkomen dat de groep opnieuw instort rond een enkele voorkeursmode.
- Reward-Hacking Awareness: De trainingsbeloning past de standaard RFS aan om overfitting te voorkomen:
  - Vervangt het harde maximum over rater-trajecten door een label-softmax aggregatie.
  - Verdicht de score-ankers van $\{3s, 5s\}$ naar $\{1s, 2s, 3s, 4s, 5s\}$ om onwaarschijnlijke tussenliggende beweging te bestraffen.
Beleid Update: Gebruikt een afgeknipt GRPO-doel met een referentiebeleidstraf (KL-divergentie) tegen het SFT-checkpoint van Stap 1.

3. Belangrijkste Bijdragen

Identificatie van Mode Collapse: Het artikel stelt vast dat voor continu-actieve beleidstrategieën het plafond van voorkeur-RL wordt beperkt door de steekproefverdeling. Competitieve SFT-baselines verzadigen onder de menselijke demonstratie (Best-of-128 RFS < 8.13) omdat ze geen verschillende manoeuvre-modes kunnen bemonsteren.
Intent-Conditioned CFG: Demonstreert dat het conditioneren van het actiehoofd op discrete intenties het steekproefplafond doorbreekt. Intentie-geconditioneerde steekproeven bereiken een Best-of-128 RFS van 9.14, wat voor het eerst zowel de vorige beste planner (RAP, 8.5) als de menselijke demonstratie (8.13) overtreft.
DIAL Framework: Introduceert een tweestapspipeline die intent-CFG-uitbreiding combineert met multi-intent GRPO. Dit behoudt de diversiteit die in Stap 1 is vastgesteld, en verbetert de RFS voor gehouden-out single-trajecten van 7.681 naar 8.211.
Empirische Validatie van Diversiteit: Toont aan dat single-intent varianten (zelfs met optimale intentie-selectie) niet kunnen tippen aan de prestaties van DIAL en uiteindelijk degraderen, wat bewijst dat het beslaan van de volledige intentieset binnen de voorkeursgroep noodzakelijk is voor stabiele RL.

4. Experimentele Resultaten

Geëvalueerd op het WOD-E2E-dataset met behulp van de RFS-benchmark (Waymo Open Dataset End-to-End):

Basisprestaties: Vier competitieve SFT-baselines (WAM-Flow, Curious-VLA, AutoVLA, ReCogDrive) toonden minimale winst door RL op de gehouden-out split (bijv. ReCogDrive +0.315, WAM-Flow +0.087). Hun Best-of- $N$ -prestaties bleven onder de menselijke demonstratie.
DIAL Prestaties:
- Houden-out RFS: Verbeterd van 7.696 (SFT init) naar 8.211 (+0.515), de hoogste winst onder alle RL-getrainde systemen.
- Full-Split RFS: Verbeterd van 7.369 naar 8.631.
- Best-of-128: Intentie-geconditioneerde steekproeven bereikten 9.14, wat de menselijke demonstratie (8.13) en de vorige state-of-the-art planner RAP (8.5) overtreft.
Ablatiebevindingen:
- Multi-Intent versus Single-Intent: Single-intent GRPO-varianten (met $K=16$ ruiszaden voor één intentie) piekten lager (max 7.992) en degradeerden tegen het einde van de training.
- Steekproeven per Intentie ( $S$ ): $S=2$ (totaal $K=16$ ) werd geïdentificeerd als het "sweet spot" voor piekprestaties.
- Reward Shaping: Het gebruik van softmax-aggregatie en dichte ankers voorkwam reward hacking en verbeterde de stabiliteit.

5. Betekenis en Claims

Het artikel stelt dat de fundamentele uitdaging in voorkeur-gealigneerde continu-actieve rijbeheersing niet alleen ligt in hoe het beleid wordt bijgewerkt, maar hoe de te optimaliseren steekproefverdeling wordt uitgebreid en behouden.

Paradigmaverschuiving: Het werk betoogt dat voorkeur-RL ineffectief is als het beleid geen semantisch verschillende alternatieven kan genereren. De "bottleneck" is het voorstelmechanisme, niet de optimalisator.
Praktische Impact: Door rijintenties expliciet te modelleren en deze diversiteit te behouden via multi-intent GRPO, slaagt DIAL erin mode collapse te ontvluchten, waardoor het beleid de kwaliteit van menselijke demonstraties kan bereiken en overtreffen in een Best-of- $N$ -setting, en de prestaties van single-traject implementatie aanzienlijk verbetert.
Bescheidenheid: De auteurs erkennen beperkingen, met name dat de acht intenties zijn afgeleid van handgecodeerde geometrische regels (wat mogelijk lange-staartgedragingen mist) en dat de RL-trainingsdata (438 sequenties) klein is in verhouding tot de volledige Waymo-split.

Kortom, DIAL demonstreert dat intentie-variante voorstellen een voorwaarde zijn voor succesvolle voorkeuroptimalisatie in end-to-end rijden, waardoor beleidstrategieën de volledige ruimte van toelaatbare manoeuvres kunnen verkennen in plaats van in te storten tot een enkele geometrische imitatie.