💻 computer science

Beyond Scalar Rewards: Distributional Reinforcement Learning with Preordered Objectives for Safe and Reliable Autonomous Driving

Deze paper introduceert een nieuw framework voor veilig autonoom rijden dat preorders op doelen en een nieuwe 'Quantile Dominance'-metode gebruikt binnen distributionele versterkende leer om conflicterende doelstellingen te hanteren zonder ze tot een enkele scalar te reduceren, wat resulteert in robuustere en veiligere besturingsbeleid.

Oorspronkelijke auteurs: Ahmed Abouelazm, Jonas Michel, Daniel Bogdoll, Philip Schörner, J. Marius Zöllner

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Abouelazm, Jonas Michel, Daniel Bogdoll, Philip Schörner, J. Marius Zöllner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto bestuurt. Deze auto moet op hetzelfde moment veel dingen doen: veilig blijven, snel op zijn bestemming komen, comfortabel voor de passagiers rijden en niet van de weg afrijden.

In de wereld van kunstmatige intelligentie (AI) is dit een enorme uitdaging. De "hersenen" van de auto (het algoritme) moeten beslissen wat het beste is. Maar wat als veiligheid en snelheid met elkaar in conflict komen? Moet de auto hard rijden om op tijd te zijn, of langzaam om veilig te zijn?

Dit artikel beschrijft een slimme nieuwe manier om deze beslissingen te nemen, zonder dat de auto gevaarlijk gedrag gaat vertonen.

Het oude probleem: De "Grote Pot"

Vroeger (en vaak nog steeds) maakten onderzoekers een grote "pot" van alle beloningen. Ze zeiden: "Veiligheid telt 10 punten, snelheid 5 punten, comfort 2 punten." De computer telt alles bij elkaar op en kiest de actie met het hoogste totaal.

Het probleem: Dit werkt als een slechte chef die zegt: "Als je 100 mensen redt, mag je 1000 mensen kwijtraken, want het totaal is hoger." In de praktijk betekent dit dat de auto soms gevaarlijk rijdt omdat de "snelheidspunten" net iets zwaarder wegen dan een klein veiligheidsrisico. De computer ziet alleen het totaal, niet de volgorde van belangrijkheid.

De nieuwe oplossing: Een hiërarchie van prioriteiten

De auteurs van dit paper zeggen: "Nee, we moeten niet alles in één pot gooien." In plaats daarvan introduceren ze een strakke volgorde van belangrijkheid, zoals een ladder:

Veiligheid (Bovenste trede: nooit overslaan)
Risicobeperking (Bijna-ongevallen vermijden)
Rijden op de weg (Niet van de weg afrijden)
Voortgang (Snelheid en route)
Comfort (Zachte remmingen, onderaan de ladder)

De auto mag alleen naar de volgende trede kijken als hij de bovenste trede veilig heeft gehaald.

Hoe werkt het technisch? (Met een analogie)

Stel je voor dat de auto een chef-kok is die een gerecht moet bereiden.

De ingrediënten: De verschillende doelen (veiligheid, snelheid, etc.) zijn de ingrediënten.
De oude methode: De kok mengt alles in een blender. Als het gerecht te zout is (veiligheid), maar heel lekker (snelheid), eet hij het toch op.
De nieuwe methode (Pr-MOMDP): De kok heeft een strikte receptvolgorde.
1. Eerst checkt hij: "Is het eten giftig?" (Veiligheid). Zo ja -> Gooi het weg.
2. Pas als het niet giftig is, kijkt hij: "Is het te heet?" (Risico).
3. Pas daarna kijkt hij naar de smaak (Snelheid).

De auto gebruikt een slimme techniek genaamd Quantile Dominance. In plaats van te kijken naar één gemiddeld getal, kijkt de auto naar de kansverdeling.

Vergelijking: Stel je voor dat je twee routes kiest. Route A is gemiddeld snel, maar heeft een kleine kans op een ongeluk. Route B is iets trager, maar 100% veilig.
De oude AI zou Route A kunnen kiezen omdat het gemiddelde sneller is.
De nieuwe AI kijkt naar de "verdeling" en zegt: "Route B is dominant omdat de kans op een ongeluk bij Route A te groot is, ongeacht hoe snel het is."

Wat is het resultaat?

De onderzoekers hebben hun nieuwe systeem getest in een virtuele stad (Carla). Ze lieten de auto rijden in druk verkeer.

Minder ongelukken: De auto botste veel minder vaak.
Minder van de weg: De auto bleef vaker op de weg.
Betrouwbarder: De auto deed het niet alleen gemiddeld beter, maar was ook consistenter. Hij maakte minder "domme" fouten.

De kernboodschap

Dit paper toont aan dat we zelfrijdende auto's niet moeten leren door alles in één grote som te gooien. We moeten hen een morele en logische hiërarchie geven.

Het is alsof we een kind leren fietsen:

Eerst: Kijk uit voor auto's (Veiligheid).
Dan: Blijf op de stoep (Risico).
Pas daarna: Fiets snel (Snelheid).

Als je het kind eerst laat fietsen op snelheid, valt het misschien. Door de volgorde (de "preorder") in het leerproces van de AI te bouwen, zorgen we dat de auto altijd eerst veilig is, en pas daarna slim en snel. Dit maakt de weg veiliger voor iedereen.

1. Probleemstelling

Autonoom rijden (AD) vereist het balanceren van meerdere, vaak conflicterende doelen, zoals veiligheid, efficiency en comfort. In traditionele Reinforcement Learning (RL) worden deze doelen meestal samengevoegd tot één scalair beloningssignaal door middel van gewogen sommatie. Deze aanpak heeft ernstige beperkingen:

Verlies van prioriteit: De relatieve prioriteit tussen doelen (bijv. veiligheid is belangrijker dan comfort) gaat verloren, wat kan leiden tot beleid dat veilige beperkingen schendt ten gunste van efficiency.
Moeilijke tuning: Het vinden van de juiste gewichten voor de sommatie is contextafhankelijk en lastig te optimaliseren.
Beperkte MORL: Bestaande Multi-Objective RL (MORL) methoden gebruiken vaak vectoriële beloningen, maar aggregeren deze toch weer naar een scalar voor besluitvorming, waardoor de hiërarchie niet effectief wordt gebruikt.

De kernvraag is hoe RL-agenten kunnen worden ontworpen die semantisch meerdere doelen kunnen representeren en hun relatieve prioriteiten direct in het leerproces kunnen afdwingen, zonder deze te reduceren tot één getal.

2. Methodologie

Het paper introduceert een nieuw raamwerk dat Preordered Multi-Objective MDPs (Pr-MOMDP) combineert met Distributional Reinforcement Learning.

A. Preordered Multi-Objective MDP (Pr-MOMDP)

De auteurs breiden het standaard MOMDP uit met een preorde-relatie ( $\succeq$ ) over de beloningscomponenten. In plaats van een strikte lexicografische orde of een ongestructureerde vector, stelt deze preorde een hiërarchie van doelen vast (bijv. Veiligheid > Risico > Baanbehoud > Vooruitgang > Comfort).

Dit stelt de agent in staat om te redeneren over acties op basis van een hiërarchie van doelen in plaats van een enkel scalair signaal.
De relatie is flexibel en kan zowel totale ordening als partiële ordening (waarbij sommige doelen niet direct met elkaar vergelijkbaar zijn) ondersteunen.

B. Quantile Dominance (QD)

Om deze structuur bruikbaar te maken binnen een distributionele RL-omgeving, introduceren de auteurs Quantile Dominance (QD).

In plaats van de retourverdeling (return distribution) te reduceren tot een enkel statistiek (zoals het gemiddelde of CVaR), vergelijkt QD de volledige verdelingen van acties.
Het berekent een "ideale" verdeling (de maximale retour per quantiel over alle acties) en meet de afstand (Wasserstein-1) van elke actie tot dit ideaal.
Acties worden vervolgens vergeleken op basis van hun dominantie ten opzichte van elkaar binnen de verdeling, met een tolerantieparameter ( $\epsilon$ ) om ruis in de schattingen te mitigeren.

C. Optimal Subsets en Pr-IQN Algorithm

Op basis van QD en de preorde wordt een algoritme ontwikkeld om optimale subsets van acties te extraheren.

Algoritme: Het algoritme traverseert de preorde (topologische sortering). Voor elk doel wordt een subset van niet-gedomineerde acties bepaald. Acties die een hoger prioriteit doel schenden, worden verwijderd voordat lager prioriteit doelen worden geëvalueerd.
Pr-IQN (Preordered Implicit Quantile Network): De auteurs implementeren dit in een multi-head architectuur gebaseerd op IQN.
- Training: De Temporal Difference (TD) targets worden beperkt tot de optimale subset van acties voor het betreffende doel. Dit voorkomt dat de agent acties leert die een hoge beloning geven voor een lager prioriteit doel, maar een hoger prioriteit doel schenden.
- Inference: De agent kiest een actie uniform uit de optimale subset die hoort bij de laagste prioriteit (leaf) in de hiërarchie.

3. Belangrijkste Bijdragen

Pr-MOMDP Formuleren: Een uitbreiding van MOMDPs met preorde-relaties die het mogelijk maken om hiërarchische prioriteiten direct in de MDP-formulering te integreren.
Quantile Dominance (QD): Een nieuwe, distributionele metriek voor het vergelijken van acties die de volledige retourverdeling gebruikt zonder deze te reduceren tot een scalar, waardoor robuustheid tegen ruis wordt gegarandeerd.
Preorder-Informed Learning: Een algoritme dat optimale subsets van acties extrahert en deze integreert in zowel de actie-selectie als de trainingsupdates (via Pr-IQN), zodat hogere prioriteiten het beleid consistent sturen.
Empirische Validatie: Uitgebreide experimenten in CARLA die aantonen dat deze aanpak superieur is aan bestaande baselines.

4. Resultaten

De methode is getest in stedelijke verkeersscenario's (kruispunten) in CARLA en vergeleken met IQN, Ensemble-IQN en een gemiddelde aggregatie variant (MA-IQN).

Veiligheid en Succes: Pr-IQN met QD toonde een significant verbeterd succespercentage (SR) en een drastische reductie in botsingen en off-road gebeurtenissen.
- Bij verkeersdichtheden van 0.5, 0.75 en 1.0 verbeterde de succesrate met 7,7% tot 20,3% ten opzichte van standaard IQN.
- T.o.v. Ensemble-IQN waren de verbeteringen 11,0% tot 14,7%.
Doelgerichtheid: De agent behaalde tot 61% minder veiligheidsviolaties, 41% minder risicoblootstelling en 37% betere baanbehoudsbeloningen.
Statistische Robuustheid: Metingen via de RLiable-library (Interquartile Mean en Optimality Gap) tonen aan dat Pr-IQN statistisch robuuster en stabieler is dan de baselines. De kans dat Pr-IQN beter presteert dan de baselines ligt significant boven 0.5.
Ablatie Studies: Het tonen aan dat het reduceren van verdelingen tot scalar (zoals CVaR) of het negeren van de preorde tijdens training leidt tot slechtere prestaties. De combinatie van QD, volledige preorde en training binnen de hiërarchie is essentieel.

5. Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen de theoretische noodzaak van hiërarchische beloningen in veiligheidskritische systemen en de praktische implementatie in moderne RL-algoritmen.

Veiligheidsgarantie: Door de preorde direct in het leerproces te integreren, wordt voorkomen dat de agent "veiligheid verkoopt" voor efficiency of comfort, een veelvoorkomend probleem bij gewogen sommatie.
Schaalbaarheid: De multi-head architectuur en de efficiënte subset-selectie maken het systeem schaalbaar voor complexe scenario's.
Toekomstperspectief: Het raamwerk biedt een fundament voor explainable AI in autonoom rijden en kan worden uitgebreid met externe componenten (zoals Car2X) voor nog complexere preordes.

Kortom, het paper bewijst dat het behouden van de structuur van beloningen (in plaats van ze te reduceren tot één getal) leidt tot veiliger, betrouwbaarder en effectiever autonoom rijgedrag.