💻 computer science

CLOVER: Closed-Loop Value Estimation \& Ranking for End-to-End Autonomous Driving Planning

CLOVER is een gesloten-lus framework voor waarde-estimatie en rangschikking dat het mismatch tussen training en evaluatie in end-to-end autonoom rijden aanpakt door gebruik te maken van een generator-scorer-architectuur met pseudo-experttrajecten en conservatieve zelfdistillatie om state-of-the-art prestaties te behalen op de NAVSIM-benchmark.

Oorspronkelijke auteurs: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert autorijden. Lang was de standaardmethode om deze robot te leren door hem één enkele video te tonen van een mens die perfect rijdt, met de opdracht: "Kopieer dit exact."

Het probleem? Soms kopieert de robot de mens te letterlijk. Als de mens een kleine fout maakte of een vreemde beweging, kopieert de robot die fout misschien, zelfs als die gevaarlijk is. Omgekeerd zou de robot soms een beter manier kunnen vinden om te rijden (bijvoorbeeld door een iets andere rijbaan te kiezen om een langzame vrachtwagen te vermijden), maar omdat dat pad niet in de enige video zat die hem werd getoond, dacht hij er nooit aan om het te proberen.

Dit is het "trainen versus testen"-mismatch dat het paper beschrijft. De robot wordt getraind om één pad na te bootsen, maar wordt getest op een complexe checklist van regels voor veiligheid, comfort en voortgang.

Maak kennis met CLOVER: De Robotrijinstructeur

De auteurs stellen een nieuw systeem voor dat CLOVER heet (Closed-Loop Value Estimation & Ranking). Denk aan CLOVER niet als één enkele student, maar als een rijopleiding met twee distincte rollen: een Generator (de student-rijder) en een Scorer (de strenge rijinstructeur).

Zo werkt het, met eenvoudige analogieën:

1. De Oude Methode versus De CLOVER Methode

De Oude Methode: De student-rijder mag alleen de ene route oefenen die de instructeur gisteren reed. Als de instructeur een scherpe bocht nam, moet de student die scherpe bocht nemen, zelfs als er een rechte, veiligere route bestond.
De CLOVER Methode: De student-rijder wordt aangemoedigd om voor elke situatie 64 verschillende mogelijke routes te genereren. Misschien is één snel, één superveilig, één zeer soepel en één wat riskant.

2. Het Twee-Fase Trainingsproces

Fase 1: Het Bouwen van een "Veiligheidsnet" van Ideeën
In plaats van slechts één pad te kopiëren, creëert het systeem een bibliotheek van "Pseudo-Experts."

De Analogie: Stel je voor dat de instructeur niet slechts één video toont. In plaats daarvan genereert hij een reeks "wat-als"-scenario's: "Wat als we 5 mph langzamer reden?" "Wat als we 2 voet naar links bleven?" "Wat als we vroeg remden?"
Het systeem filtert deze scenario's met behulp van een streng reglement (de evaluator). Het behoudt die welke veilig en legaal zijn, zelfs als ze niet exact het pad zijn dat de mens nam.
De student-rijder (Generator) wordt vervolgens getraind om al deze verschillende "veilige" mogelijkheden te bestrijken, niet alleen het ene originele pad. Dit zorgt ervoor dat de robot een breed menu aan goede opties heeft om uit te kiezen.

Fase 2: De "Gesloten-Lus" Coaching
Nu de student een breed menu aan opties heeft, moet hij leren hoe hij de beste moet kiezen.

De Analogie: De student genereert 64 routes. De strenge instructeur (de Scorer) bekijkt ze en geeft cijfers op basis van het realistische reglement (veiligheid, comfort, snelheid).
De Twist: De instructeur is niet perfect. Soms geeft hij een iets verkeerd cijfer. Daarom gebruikt CLOVER een "Leraar" (een bevroren versie van het systeem) om de student te begeleiden. De leraar zegt: "Jacht niet blind op het hoogste cijfer; kijk naar de top 10 beste routes en die welke het beste balanseren tussen veiligheid en snelheid."
De student verfijnt vervolgens zijn rijgedrag om deze "top-tier" voorbeelden te matchen, zonder zijn vermogen om diverse opties te genereren te verliezen. Het is alsof een coach zegt: "Je wordt beter in het vinden van goede routes, laten we nu je selectievaardigheden polijsten zonder je stijf te maken."

3. Waarom Dit Werkt (De "Magische" Voorwaarde)

Het paper stelt een slimme vraag: Wat als de instructeur (Scorer) fouten maakt?
De auteurs bewijzen wiskundig dat zolang de instructeur statistisch beter is dan raden, het systeem zal verbeteren. Dat betekent dat hij meestal de "goede" routes van de "slechte" kan onderscheiden. Het heeft geen perfecte instructeur nodig; het heeft er alleen één nodig die goed genoeg is om de student de juiste richting te wijzen.

De Resultaten

Toen ze CLOVER testten op de NAVSIM-rijbenchmarks (die als de "eindexamens" voor zelfrijdende auto's fungeren):

Haalde het een score van 94,5 (op 100), waarmee het alle eerdere methoden versloeg.
Het was bijzonder goed in het hanteren van moeilijke, lastige rijscenario's (NavHard), en boekte de beste resultaten die ooit zijn gerapporteerd.
Cruciaal: het werd niet alleen beter in het kiezen van de ene beste route; het werd eigenlijk beter in het genereren van een bredere variëteit aan routes van hoge kwaliteit in de eerste plaats.

Samenvatting

CLOVER is als het upgraden van een rijstudent van "Kopieer de exacte bewegingen van de instructeur" naar "Genereer veel veilige mogelijkheden, gebruik vervolgens een slimme coach om je te helpen de absolute beste te kiezen." Het lost het probleem op van robots die te stijf zijn door hen te leren veel goede opties te verkennen en deze vervolgens zorgvuldig te rangschikken, wat leidt tot veiliger en meer mensachtig autonoom rijden.

Technische Samenvatting: CLOVER

Probleemstelling

End-to-end planners voor autonoom rijden worden doorgaans getraind via imitatielearning op een enkele gelogde menselijke traject. Echter, ze worden geëvalueerd met regelgebaseerde planningsmetrieken (bijv. NAVSIM PDMS/EPDMS) die veiligheid, haalbaarheid, voortgang en comfort beoordelen. Dit creëert een fundamenteel trainings-evaluatie mismatch:

Trajecten die dicht bij het gelogde pad liggen, kunnen toch veiligheidsregels schenden of onveilige interacties veroorzaken.
Alternatieve trajecten die afwijken van de demonstratie kunnen geldig zijn en een hoge score behalen, maar worden tijdens de training nooit gezien.

Deze mismatch is bijzonder beperkend voor voorstel-selectie planners, die meerdere kandidaat-trajecten genereren en de beste selecteren. Hun prestaties worden beperkt door twee gekoppelde factoren: het vermogen van de generator om hoogwaardige alternatieven te dekken (dekking) en het vermogen van de scorer om deze correct te rangschikken (rangschikkingskwaliteit). Supervisie op basis van een enkel traject laat de kandidaatset vaak instorten rond één gerealiseerd gedrag, waardoor het multi-modale karakter van rijden niet wordt vastgelegd (bijv. snelheid behouden versus remmen versus van rijbaan veranderen).

Methodologie: CLOVER Framework

CLOVER (Closed-LOop Value Estimation and Ranking) is een framework ontworpen om de lus te sluiten tussen voorstelgeneratie en trajectrangschikking. Het maakt gebruik van een lichtgewicht generator-scorer architectuur en werkt in twee distincte trainingsfasen.

Architectuur

Generator: Produceert $K$ kandidaat-toekomstige ego-trajecten ( $\tau_i$ ) op basis van multi-view camera beelden en de ego-toestand.
Scorer: Een module op trajectniveau die sub-scores voor planningsmetrieken (botsing, berijdbaar gebied, voortgang, comfort, etc.) voorspelt voor elke kandidaat.
Inferentie: Kandidaten worden gerangschikt op basis van de samengestelde voorspelde score (met behulp van de officiële PDMS regel $\Gamma_{PDMS}$ ), en het best gerangschikte traject wordt geselecteerd. De regelgebaseerde evaluator is niet vereist bij implementatie.

Fase 1: Evaluator-gefilterde Voorsteldekking

Om het gebrek aan diversiteit in imitatie op basis van een enkel traject aan te pakken, construeert CLOVER een pseudo-expert set $\mathcal{E}(o)$ voor elke scène tijdens de training.

Generatie: In plaats van het gelogde traject te verstoren, worden kandidaten gegenereerd vanuit interpreteerbare actie-families (bijv. variërende laterale offsets, acceleratieprofielen, stop-go-gedrag, grensgevallen) met gebruikmaking van bevoorrechte metriek-cache-informatie (route middenlijnen, toekomstige obstakelbezetting) die alleen tijdens training beschikbaar is.
Filtering: Kandidaten worden vooraf gefilterd op berijdbaar gebied en bezetting, gescoord door de ware regelgebaseerde evaluator, en geselecteerd via een dekking-bewuste strategie om diverse sub-score patronen en scorebereiken te waarborgen.
Trainingsdoel: De generator wordt getraind om deze pseudo-experts te dekken terwijl het gelogde traject als prior wordt behouden. De scorer wordt vooraf getraind om de ware evaluator sub-scores te voorspellen.
- Verlies: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$ , waarbij $L_{pe}$ de dekking van de pseudo-expert set stimuleert.

Fase 2: Conservatieve Closed-Loop Self-Distillation

Deze fase verfijnt de uitgebreide voorstelverdeling met behulp van een conservatieve, alternerende procedure om de instabiliteit van het direct maximaliseren van een imperfecte geleerde beloning te vermijden.

Scorer Fase: De scorer wordt aangepast aan de ware evaluator sub-scores op de huidige set gegenereerde voorstellen.
Generator Fase: Een bevroren "leraar" (de huidige generator) produceert voorstellen. De scorer evalueert deze om twee doelsets te selecteren:
- Top-k Set: Geselecteerd op basis van de samengestelde voorspelde score.
- Vector-Pareto Set: Bestaande uit niet-gedomineerde voorstellen in de sub-score ruimte (waarbij de trade-offs tussen veiligheid-voortgang-comfort behouden blijven).
- De student-generator wordt getraind om deze doelen te dekken met behulp van een stabiliteitsregularisatieterm die afwijking van de verdeling van de leraar ontmoedigt.
- Verlies: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$ .

Theoretische Rechtvaardiging

Het artikel analyseert wanneer een imperfecte scorer de generator betrouwbaar kan verbeteren. Het postuleert een voorwaarde voor verrijking van geselecteerde sets: als de doelen die door de scorer worden geselecteerd (Top-k of Pareto) statistisch verrijkt zijn met ware hoogwaardige trajecten in vergelijking met de huidige voorstelverdeling, dan verhoogt conservatieve set-niveau distillatie de waarschijnlijkheidsmassa op trajecten met een hoge score. De auteurs tonen aan dat CLOVER deze voorwaarde empirisch voldoet, aangezien door de scorer geselecteerde doelen significant hogere ware scores hebben dan het gemiddelde voorstel-pool.

Belangrijkste Bijdragen

CLOVER Framework: Een closed-loop waarde-schatting en rangschikkingsframework dat voorstelgeneratie en trajectscoring koppelt om de trainings-evaluatie mismatch aan te pakken.
Evaluator-gefilterde Pseudo-Expert Supervisie: Een methode om imitatie op basis van een enkel traject uit te breiden naar set-niveau multi-modale training, waarbij diverse, hoogwaardige kandidaatsets worden geconstrueerd met behulp van bevoorrechte informatie tijdens de training.
Conservatieve Closed-Loop Self-Distillation: Een alternerende trainingsstrategie die de scorer aanpast aan ware sub-scores en de generator verfijnt met behulp van door de leraar geselecteerde Top-k en Vector-Pareto doelen met stabiliteitsregularisatie, waardoor de valkuilen van onbeperkte beloningsmaximalisatie worden vermeden.
Theoretische en Empirische Analyse: Een demonstratie dat imperfecte scorers effectief verfijning kunnen sturen als de geselecteerde doelen statistisch verrijkt zijn onder de ware evaluator, gevalideerd door empirische data die significante verrijkingssprongen in door scorer geselecteerde sets aantoont.

Experimentele Resultaten

CLOVER werd geëvalueerd op NAVSIM v1, NAVSIM v2 (EPDMS), NavHard en nuScenes open-loop benchmarks.

NAVSIM v1: Behaalde 94.5 PDMS, presterend beter dan de sterke baseline DrivoR (93.7) en eindigend als eerste of tweede op alle sub-scores.
NAVSIM v2 (navtest): Behaalde 90.4 EPDMS (bijgewerkte officiële implementatie) en 87.2 EPDMS (originele code), gelijkend aan of overtreffend de sterkst gerapporteerde resultaten.
NavHard: Behaalde 48.3 EPDMS op de uitdagende navhard-two-stage split, gelijkend aan het sterkst gerapporteerde resultaat.
nuScenes Open-Loop: Behaalde de laagste L2 verplaatsingsfout (0.31m onder ST-P3 protocol) en beste/gelijk beste botsingsratio (0.10%) onder vergeleken methoden.
Ablatie & Analyse:
- Fase 1 breidde de voorstelruimte aanzienlijk uit (Oracle@64 steeg van 0.9933 naar 0.9976) maar introduceerde een staart met lage scores.
- Fase 2 verfijnde deze verdeling, waardoor de geselecteerde PDMS verbeterde naar 0.9448 terwijl hoge diversiteit behouden bleef (Pairwise ADE van 5.20 versus baseline 1.80).
- De winsten werden toegeschreven aan een sterkere kandidaatverdeling in plaats van alleen het selecteren van een betere top-1 traject.

Betekenis en Claims

Het artikel beweert dat CLOVER een nieuwe state-of-the-art prestatie vestigt op belangrijke benchmarks voor planningsystemen in autonoom rijden. De betekenis hiervan ligt in:

Oplossen van de Mismatch: Het expliciet gebruiken van feedback van de evaluator om een waarde-schatter op trajectniveau te trainen en de kandidaatverdeling te verfijnen, in plaats van uitsluitend te vertrouwen op imitatie op basis van een enkel traject.
Betrouwbare Verfijning: Het aantonen dat een imperfecte geleerde scorer kan dienen als nuttige mediator voor voorstelverfijning, mits de geselecteerde doelen statistisch verrijkt zijn onder de ware evaluator en updates conservatief blijven.
Voorstel-gerichte Verbetering: Het tonen dat verbeteringen in uiteindelijke planningsmetrieken voortkomen uit het verbeteren van zowel de kwaliteit als de diversiteit van de volledige kandidaatset, en niet alleen van de uiteindelijke selectie.

De auteurs merken op dat hoewel CLOVER lijkt op actor-critic versterkende leer, het onderscheidend is omdat het volledig offline werkt op gelogde scènes met een regelgebaseerde evaluator, zonder online omgevinginteractie of trial-and-error exploratie. Voor toekomstig werk wordt voorgesteld om geschiedenis-bewuste of sequentie-niveau scorers te integreren om temporele consistentie voor metrieken zoals Extended Comfort (EC) beter te modelleren.