Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

Technische Samenvatting: Beloningsgeconditioneerde Aandacht in Autonoom Rijden

Probleemstelling
Hoewel Reinforcement Learning (RL) expertprestaties heeft bereikt in simulaties voor autonoom rijden (AD), blijven de interne mechanismen die deze beleidsregels aansturen opaak. Er bestaat een kritische kloof in het begrip van hoe de beloningsfunctie — het primaire signaal dat RL-agenten stuurt — de interne aandachtspatronen van de agent vormgeeft. Hoewel de geldigheid van aandachtsgewichten als post-hoc verklaringen voor modelbeslissingen wordt betwist, stelt dit artikel een afwijkende vraag: bepaalt het ontwerp van de beloning op een voorspelbare wijze waar de encoder op let? Het begrijpen van deze relatie is essentieel voor het verifiëren dat beloningsfuncties agenten leren om de juiste aspecten van de rijscène te monitoren en voor het bevorderen van principiële beloningsengineering in veiligheidskritische systemen.

Methodologie
De studie maakt gebruik van het V-Max framework, waarbij drie Soft Actor-Critic (SAC) agenten worden ingezet die getraind zijn op de Waymo Open Motion Dataset (WOMD). Alle drie de agenten delen een identieke Perceiver-gebaseerde Latent-Query (LQ) encoder architectuur, die 280 input-tokens (die het ego-voertuig, andere agenten, weggeometrie, verkeerslichten en GPS-waypoints vertegenwoordigen) verwerkt naar een compacte latente representatie via cross-attention.

Het kernontwerp van het experiment isoleert het effect van beloningsontwerp door drie agenten te vergelijken die getraind zijn op dezelfde data met identieke initialisatie-seeds, maar met verschillende beloningsconfiguraties:

1. Basic: Bestraft alleen veiligheidschendingen (botsing, van de weg afwijken, rood licht).
2. Minimal: Voegt navigatie-incentives toe (route-naleving en voorwaartse progressie).
3. Complete: Voegt continue nabijheidsstraffen toe op basis van Time-to-Collision (TTC), snelheidslimieten en comfort.

Belangrijke Methodologische Innovatie: Binnen-episode Correlatie
Een centrale methodologische bijdrage is de verwerping van "naïeve pooling" (het aggregeren van alle tijdstappen over alle episodes) voor het analyseren van de aandacht-risico-relatie. De auteurs tonen aan dat pooling de dynamiek binnen een episode verzwakt met heterogeniteit tussen episodes (bijv. stedelijke versus suburbane risicoprofielen), wat leidt tot een significante onderschatting van de aandacht-risico-koppeling.

In plaats daarvan hanteert de studie een binnen-episode Spearman rangcorrelatie ($\rho_i$) tussen botsingsrisico ($R$) en de door de agent gerichte aandacht voor elk scenario afzonderlijk. Deze correlaties worden geaggregeerd over scenario's met behulp van de Fisher z-transformatie. Deze aanpak behandelt de variantie die inherent is aan heterogene RL-episodes correct en onthult robuuste statistische signalen die gepoolde metrieken maskeren.

Belangrijkste Resultaten
De analyse, uitgevoerd over 50 real-world scenario's (3.676 tijdstappen voor het complete model), levert drie primaire bevindingen op:

1. Validatie van Binnen-episode Analyse:
   Voor het complete-beloningsmodel is de binnen-episode correlatie tussen botsingsrisico en aandacht voor "Andere Agenten" robuust positief ($\bar{\rho} = +0,291$, 95% CI $[+0,125, +0,442]$). In de 16 meest risico-reactieve scenario's versterkt deze correlatie aanzienlijk ($\bar{\rho} = +0,522$), waarbij agenten hun aandacht voor dynamische dreigingen met 77% vergroten onder dreiging. In contrast hiermee levert naïeve pooling een correlatie van slechts $+0,088$ op, een 3,3× onderschatting.

2. Beloningsinhoud Vormt Aandachtsbaselines:
   De specifieke componenten van de beloningsfunctie dicteren direct de allocatie van aandachtsbronnen. Agenten getraind met navigatiebeloningen (Minimal en Complete) alloceren aanzienlijk meer aandacht aan GPS-pad tokens dan agenten getraind met basisveiligheidsstraffen.

   • Minimal vs. Complete: Het Minimal-model verdeelt 33,5% van de aandacht naar GPS-paden, vergeleken met 16,4% voor het Complete-model (een 2,0× verschil).
   • Basic vs. Minimal: Het bereik varieert van 7,1% (Basic) tot 33,5% (Minimal), een 4,7× verschil.
     Dit bevestigt dat de inhoud van de beloning bepaalt welke scèneverlementen de encoder prioriteert.

3. Continue Veiligheidsbeloningen Creëren een Vigilantie-prior:
   De inclusie van continue TTC-gebaseerde nabijheidsstraffen in het Complete-model vestigt een "geleerd vigilantie-prior". Zelfs tijdens botsingsvrije fasen behoudt het Complete-model een verhoogde "rustende" surveillance van andere agenten vergeleken met het Minimal-model.

   • In 16 van de 26 kwalificerende scenario's behoudt het Complete-model een gemiddelde van +151% meer rustende agent-surveillance dan het Minimal-model.
   • Deze verhoogde baseline is aanwezig vanaf het eerste tijdstap, wat suggereert dat de agent een staat van constante paraatheid leert in plaats van alleen te reageren wanneer het risico piekt.

4. Kwalitatieve Omkering van Strategie:
   In verschillende scenario's vertonen de Complete en Minimal modellen een tegenovergestelde richting van de aandacht-risico correlatie. Dit demonstreert dat beloningsontwerp de aandachtstrategie van een agent kwalitatief kan omkeren, en niet enkel de magnitude van de respons kan moduleren.

Betekenis en Claims
Het artikel claimt dat aandachtanalyse dient als een praktisch diagnostisch instrument voor het verifiëren dat een beloningsfunctie de beoogde representationele gedragingen produceert in veiligheidskritische RL-systemen. Door vast te stellen dat beloningsontwerp direct de interne aandachtspatronen vormgeeft, beargumenteren de auteurs dat:

• Praktici aandachtmetrieken kunnen gebruiken om te verifiëren of een agent de juiste scèneverlementen monitort.
• De "binnen-episode correlatie met Fisher z-transformatie" de geschikte statistische standaard is voor aandachtsanalyse in heterogene RL-omgevingen, aangezien geaggregeerde metrieken kritieke gedragheterogeniteit verbergen.
• Beloningsengineering rekening moet houden met hoe beloningscomponenten niet alleen de beleidsacties, maar ook de fundamentele representationele focus van de agent veranderen.

De studie concludeert dat hoewel aandachtsgewichten niet altijd verklaren waarom een beslissing werd genomen, ze wel betrouwbaar onthullen waar de agent op getraind is om te letten, wat hen een essentieel onderdeel maakt van de validatie van beloningsontwerp.