Technische Samenvatting: DecisionPerceiver voor hoogwaardige besluitvorming in autonoom rijden

Probleemstelling

Betrouwbare leergestuurde hoogwaardige besluitvorming voor autonoom rijden (specifiek rijstrookwisselingen en snelheidscontrole) staat voor twee primaire uitdagingen:

1. Variabele invoerdimensies: Realistische verkeersscènes bevatten een dynamisch variërend aantal omringende agenten, wat neurale beleidsregels vereist die met inputs van niet-vaste grootte kunnen omgaan zonder gevoeligheid voor de volgorde van de input (permutatiesensitiviteit).
2. Interactiemodellering versus schaalbaarheid: Bestaande benaderingen worstelen met het balanceren van expliciete verkeersinteractiemodellering met computationele efficiëntie.
   • DeepSets en varianten gaan om met variabele inputs via gedeelde encoders en permutatie-invariante aggregatie (bijv. pooling), maar lijden aan "feature collapse", waarbij expliciete details van interacties tussen agenten verloren gaan die cruciaal zijn voor onderhandelingsintensieve scenario's zoals kruispunten.
   • Attention-gebaseerde methoden (bijv. Transformers) leggen effectief globale afhankelijkheden en interacties vast, maar brengen een kwadratische computationele en geheugencomplexiteit met zich mee ten opzichte van de inputgrootte, wat real-time implementatie beperkt. Daarnaast bieden ze beperkte controle over de granulariteit van de feature-representatie.

Methodologie

Het paper stelt DecisionPerceiver voor, een interactie-bewuste, attention-gebaseerde architectuur die ontworpen is om dynamische agent-features te projecteren in een latent ruimte van vaste grootte. Het systeem wordt getraind met behulp van een Reinforcement Learning (RL) framework.

1. Architectuur: DecisionPerceiver

Geïnspireerd door Perceiver IO, ontkoppelt het netwerk de computationele kosten van de inputgrootte:

• Input Encoding: Dynamische agent-toestanden worden gecodeerd via een Multi-Layer Perceptron (MLP) en Layer Normalization om Keys ($K$) en Values ($V$) te genereren. De toestand van het ego-voertuig wordt behandeld als een statische input.
• Latent Bottleneck: In plaats van direct naar alle agenten te attentionen, projecteert het netwerk deze features in een latente ruimte van vaste grootte ($z \in \mathbb{R}^{N \times D}$) met behulp van een set latente token queries ($Q$).
• Attention Mechanisme: Multi-head attention wordt berekend tussen de latente queries en de gecodeerde agent-features. Dit stelt het model in staat om de granulariteit van de features te reguleren via het aantal latente queries ($N$), terwijl de complexiteit wordt begrensd tot de latente dimensie in plaats van het aantal agenten.
• Fusie en Output: De resulterende interactie-bewuste latente representatie wordt gefuseerd met de ego-toestand via een extra MLP. Afzonderlijke netwerkkoppen regresseren vervolgens de waardefunctie ($V_\theta$) en het beleid ($\pi_\theta$).
• Geen Pooling: In tegenstelling tot DeepSets worden er geen permutatie-invariante inkollaps-operators (zoals pooling) gebruikt, waardoor het vermogen behouden blijft om interacties tussen agenten te leren.

2. Trainingsframework

• Algoritme: Het beleid wordt geoptimaliseerd met behulp van Proximal Policy Optimization (PPO) binnen een Actor-Critic framework.
• Doelstelling: De verliesfunctie combineert een clipped surrogate objective voor het beleid, een squared-error loss voor de waardefunctie en een entropie-regularisatieterm om exploratie te stimuleren.
• Omgeving: Training en evaluatie worden uitgevoerd in de highway-env simulator over drie scenario's: Highway (inhaalmanoeuvres), Intersection (ongebeschermde bochten linksaf) en Roundabout ( invoegen/verlaten).

3. Verfijnde discrete actieset

Om de last op laag-niveau laterale en longitudinale controllers te verminderen, wordt de standaard discrete actieset uitgebreid met een fijnere discretisatie:

• Standaardacties (bijv. "links afslaan") worden opgesplitst in tussenliggende niveaus (bijv. "half links afslaan", "volledig links afslaan").
• Dit resulteert in een uitgebreide actieruimte ($A_{new}$) van negen discrete meta-acties.
• Deze verfijning heeft tot doel de trajecttracking te verbeteren door tussenliggende referenties te bieden, de controle-inspanning te verminderen en een compacter zoekveld te creëren met verminderde gradiëntvariantie.

Belangrijkste Bijdragen

1. DecisionPerceiver Architectuur: Een nieuwe gedragsplanning-architectuur die dynamische inputs naar een compacte latente ruimte mapt. Dit maakt schaalbare interactiemodellering mogelijk terwijl de kwadratische complexiteitsgroei van standaard attention-mechanismen wordt vermeden.
2. Fijnere Actie-discretisatie: De introductie van een uitgebreide discrete actieset met tussenliggende laterale en snelheidsreferenties. Dit verbetert de prestaties van de laag-niveau controle en de stabiliteit van de planner-inferentie zonder de real-time capaciteiten op te offeren.

Experimentele Resultaten

De voorgestelde methode is getest tegen state-of-the-art baselines: DeepSet, LFFDS (een DeepSet variant) en Ego-attention.

Prestatie-metrieken

• Highway Scenario: DecisionPerceiver behaalde de hoogste gemiddelde snelheid (29,25 m/s), waarmee het DeepSet met ~6,2% en LFFDS met ~4,2% versloeg. Het demonstreerde snelle convergentie en bereikte een stabiele prestatie bij $1 \times 10^5$ stappen, terwijl Ego-attention $5 \times 10^5$ stappen nodig had.
• Intersection Scenario: DecisionPerceiver behaalde de hoogste gemiddelde snelheid (8,243 m/s), een relatieve winst van 15,4% ten opzichte van de op één na beste baseline (LFFDS). Hoewel Ego-attention een iets hogere beloning en een lager voortijdig beëindigingspercentage behaalde, behield DecisionPerceiver een agressiever hoog-snelheidbeleid.
• Roundabout Scenario: DecisionPerceiver behaalde een snelheid van 9,951 m/s. Hoewel de snelheid iets lager was dan die van DeepSet en LFFDS (respectievelijk met ~5% en ~1%), registreerde het een significant lager voortijdig beëindigingspercentage (bijna nul vergeleken met ~5% voor anderen) en een hogere beloningsscore, wat wijst op een veiliger beleid.

Ablatie-studies

• Actie-discretisatie: In het Highway-scenario leidde de fijnere discretisatie tot een gestage toename van de cumulatieve beloning en hogere gemiddelde snelheden vergeleken met de oorspronkelijke actieset, toegeschreven aan verminderde reactietijden en de kans op botsingen in de laag-niveau controller.
• Schaalbaarheid: Het model behield een stabiele en concurrerende prestatie naarmate het aantal observeerbare voertuigen toenam van 5 naar 20. Hoewel de gemiddelde snelheid met 15–30% afnam door de hogere verkeersdichtheid en het risico op botsingen, leed de architectuur niet onder catastrofale degradatie, wat de schaalbaarheid naar dichter verkeer aantoont.

Betekenis en Claims

Het paper claimt dat DecisionPerceiver een gebalanceerde oplossing biedt voor hoogwaardige gedragsplanning door:

• Schaalbare Interactiemodellering Mogelijk te Maken: Door interacties te projecteren in een latente ruimte van vaste grootte, legt het model complexe verkeersafhankelijkheden vast zonder de computationele beperkingen van volledige attention-mechanismen.
• Controle-efficiëntie te Verbeteren: De fijnere actie-discretisatie overbrugt de kloof tussen hoogwaardige planning en laag-niveau uitvoering, waardoor de controle-inspanning wordt verminderd en de trajecttracking wordt verbeterend.
• Robuustheid te Demonstreren: De methode presteert consistent beter dan of gelijk aan state-of-the-art set-gebaseerde en attention-gebaseerde baselines onder diverse operationele condities, met name in scenario's die intensieve onderhandeling vereisen (kruispunten) en bij hoge snelheden (snelwegen).

De auteurs concluderen dat de aanpak een superieure prestatie oplevert in complexe verkeersomgevingen, met verbeterde schaalbaarheid en representatie-flexibiliteit vergeleken met bestaande methoden.