Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

Riepilogo Tecnico: Attenzione Condizionata dalla Ricompensa nella Guida Autonoma

Enunciato del Probleamento
Sebbene l'Apprendimento per Rinforzo (RL) abbia raggiunto prestazioni di livello esperto nelle simulazioni di guida autonoma (AD), i meccanismi interni che guidano queste policy rimangono opachi. Esiste un divario critico nella comprensione di come la funzione di ricompensa — il segnale primario che guida gli agenti RL — plasmi i pattern di attenzione interna dell'agente. Sebbene la validità dei pesi dell'attenzione come spiegazioni post-hoc delle decisioni del modello sia oggetto di dibattito, questo articolo pone una questione distinta: la progettazione della ricompensa determina in modo prevedibile cosa l'encoder deve osservare? Comprendere questa relazione è essenziale per verificare che le funzioni di ricompensa insegnino agli agenti a monitorare gli aspetti corretti della scena di guida e per avanzare una progettazione delle ricompense basata su principi in sistemi critici per la sicurezza.

Metodologia
Lo studio utilizza il framework V-Max, impiegando tre agenti Soft Actor-Critic (SAC) addestrati sul Waymo Open Motion Dataset (WOMD). Tutti e tre gli agenti condividono un'architettura di encoder Perceiver-based Latent-Query (LQ) identica, che elabora 280 token di input (rappresentanti il veicolo ego, altri agenti, geometria stradale, semafori e waypoint GPS) in una rappresentazione latente compatta tramite cross-attention.

Il nucleo del design sperimentale isola l'effetto della progettazione della ricompensa confrontando tre agenti addestrati sugli stessi dati con gli stessi seed di inizializzazione ma con configurazioni di ricompensa differenti:

1. Basic (Base): Penalizza solo le violazioni della sicurezza (collisioni, fuori strada, semaforo rosso).
2. Minimal (Minima): Aggiunge incentivi alla navigazione (aderenza al percorso e progresso in avanti).
3. Complete (Completa): Aggiunge penalità di prossimità continue basate sul Tempo di Collisione (TTC), limiti di velocità e comfort.

Innovazione Metodologica Chiave: Correlazione Intra-episodio
Un contributo metodologico centrale è il rifiuto del "pooling ingenuo" (aggregazione di tutti i timestep attraverso tutti gli episodi) per l'analisi della relazione tra attenzione e rischio. Gli autori dimostrano che il pooling confonde la dinamica intra-episodio con l'eterogeneità tra gli episodi (ad esempio, profili di rischio urbano vs suburbano), portando a una significativa sottostima del legame tra attenzione e rischio.

Invece, lo studio impiega la correlazione di rango di Spearman intra-episodio ($\rho_i$) tra il rischio di collisione ($R$) e l'attenzione diretta all'agente per ogni singolo scenario. Queste correlazioni sono aggregate tra gli scenari utilizzando la trasformata z di Fisher. Questo approccio gestisce correttamente la varianza inerente agli episodi RL eterogenei e rivela segnali statistici robusti che le metriche aggregate nascondono.

Risultati Chiave
L'analisi, condotta su 50 scenari reali (3.676 timestep per il modello completo), produce tre risultati primari:

1. Validazione dell'Analisi Intra-episodio:
   Per il modello a ricompensa completa, la correlazione intra-episodio tra il rischio di collisione e l'attenzione verso gli "Altri Agenti" è robustamente positiva ($\bar{\rho} = +0,291$, 95% CI $[+0,125, +0,442]$). Nei 16 scenari più reattivi al rischio, questa correlazione si rafforza significativamente ($\bar{\rho} = +0,522$), con gli agenti che aumentano l'attenzione verso le minacce dinamiche del 77% sotto minaccia. Al contrario, il pooling ingenuo produce una correlazione di soli $+0,088$, una sottostima di 3,3 volte.

2. Il Contenuto della Ricompensa Plasma i Baseline di Attenzione:
   Le specifiche componenti della funzione di ricompensa dettano direttamente l'allocazione delle risorse di attenzione. Gli agenti addestrati con ricompense di navigazione (Minimal e Complete) allocano significativamente più attenzione ai token del percorso GPS rispetto a quelli addestrati con sole penalità di sicurezza di base.

   • Minimal vs. Complete: Il modello Minimal alloca il 33,5% dell'attenzione ai percorsi GPS, rispetto al 16,4% del modello Complete (una differenza di 2,0 volte).
   • Basic vs. Minimal: L'intervallo spazia dal 7,1% (Basic) al 33,5% (Minimal), una differenza di 4,7 volte.
     Ciò conferma che il contenuto della ricompensa determina quali elementi della scena l'encoder privilegia.

3. Le Ricompense di Sicurezza Continua Creano un Prior di Vigilanza:
   L'inclusione di penalità di prossimità continue basate sul TTC nel modello Complete stabilisce un "prior di vigilanza appreso". Anche durante le fasi prive di collisioni, il modello Complete mantiene una sorveglianza "a riposo" elevata verso gli altri agenti rispetto al modello Minimal.

   • In 16 degli 26 scenari qualificanti, il modello Complete mantiene una media di +151% di sorveglianza degli agenti a riposo rispetto al modello Minimal.
   • Questo baseline elevato è presente fin dal primo timestep, suggerendo che l'agente apprenda uno stato di costante prontezza piuttosto che reagire solo quando il rischio aumenta.

4. Inversione Qualitativa della Strategia:
   In diversi scenari, i modelli Complete e Minimal mostrano direzioni opposte della correlazione attenzione-rischio. Ciò dimostistra che la progettazione della ricompensa può invertire qualitativamente la strategia attentiva di un agente, non solo modulare l'ampiezza della sua risposta.

Significatività e Rivendicazioni
L'articolo sostiene che l'analisi dell'attenzione funge da strumento diagnostico pratico per verificare che una funzione di ricompensa produca il comportamento rappresentazionale desiderato nei sistemi RL critici per la sicurezza. Stabilendo che la progettazione della ricompensa plasma direttamente i pattern di attenzione interna, gli autori argomentano che:

• I professionisti possono utilizzare le metriche dell'attenzione per verificare se un agente sta monitorando gli elementi della scena corretti.
• La "correlazione intra-episodio con trasformata z di Fisher" è lo standard statistico appropriato per l'analisi dell'attenzione in ambienti RL eterogenei, poiché le metriche aggregate nascondono l'eterogeneità comportamentale critica.
• La progettazione delle ricompense deve tenere conto di come le componenti della ricompensa alterino non solo le azioni della policy, ma il focus rappresentazionale fondamentale dell'agente.

Lo studio conclude che, sebbene i pesi dell'attenzione possano non sempre spiegare perché sia stata presa una decisione, essi rivelano in modo affidabile cosa l'agente è stato addestrato a osservare, rendendoli una componente vitale della validazione della progettazione della ricompensa.