Sintesi Tecnica: Colmare il divario tra osservazione locale e simulazione globale nella modellazione del traffico a ciclo chiuso (CRAFT)

1. Formulazione del problema

Il documento affronta un fondamentale disallineamento tra contesto locale e globale nei simulatori di traffico autoregressivi. La maggior parte dei simulatori allo stato dell'arte viene addestrata su log di guida ego-centrici su larga scala (es. Waymo, nuPlan) sotto un paradigma di apprendimento per imitazione. In questi log, il veicolo ego possiede ricche osservazioni locali, ma gli agenti circostanti sono solo parzialmente osservati a causa dei limiti dei sensori, delle occlusioni e dei confini di percezione.

Di conseguenza, i simulatori apprendono mappature contesto-azione incomplete. Una manovra valida in un log (es. un veicolo che frena) può essere registrata senza il contesto a valle che la giustifica (es. un ostacolo occluso). Quando tali modelli vengono implementati in ambienti a ciclo chiuso globalmente osservabili, riproducono queste azioni anche quando il vero contesto causale è assente. Ciò porta a comportamenti irrealistici durante i rollout a lungo termine, inclusi arresti anomali, interazioni insicure e violazioni delle regole del traffico, che degradano la razionalità comportamentale della simulazione.

Le soluzioni esistenti spesso si affidano al riaddestramento del simulatore base tramite fine-tuning supervisionato o apprendimento per rinforzo, che possono soffrire di feedback sparsi, difficoltà di assegnazione del credito e alti costi computazionali. Gli autori propongono una strategia di allineamento al tempo di test che corregge questi bias senza riaddestrare il generatore base.

2. Metodologia: CRAFT

Gli autori propongono CRAFT (Contextual pReference Alignment Framework for Traffic Simulation), un framework che separa la generazione dei comportamenti dalla loro valutazione. Si compone di tre fasi principali:

A. Simulazione "What-If" raggruppata a contesto completo

Inveve di fare affidamento esclusivamente su log statici, CRAFT utilizza il simulatore base ($\pi_\theta$) congelato come un "sandbox globalmente osservabile".

• Processo: Partendo da stati iniziali registrati, il simulatore base genera $N$ diversificati rollout stocastici (scenari "what-if") utilizzando diversi seed casuali.
• Risultato: Questi rollout evolvono in futuri diversificati dove tutti gli agenti interagiscono sotto il pieno contesto della mappa. Questo processo espone i fallimenti indotti dal simulatore che sono nascosti nei log originali ma emergono durante la generazione a ciclo chiuso.
• Annotazione: Un valutatore automatizzato basato su regole assegna etichette binarie (0 per anomalo, 1 per ragionevole) a ogni token agente-tempo basandosi su prior del driving allineati con l'uomo (sicurezza, conformità alle regole, fattibilità cinematica). Ciò crea un dataset di preferenza raggruppato ($D_{pref}$) contenente futuri alternativi per la stessa scena iniziale.

B. Addestramento del Valutatore di Preferenza Contestuale (CPE)

Un leggero Valutatore di Preferenza Contestuale ($\pi_\phi$) viene addestrato su $D_{pref}$ per predire la razionalità dei token di movimento sotto il contesto completo della scena.

• Architettura: Il CPE riutilizza l'encoder di scena congelato del simulatore base e impiega un decoder convoluzionale temporale per produrre una matrice densa di punteggi di preferenza ($R \in [0, 1]^{N_a \times T_f}$).
• Funzioni di perdita: L'obiettivo di addestramento combina tre componenti:
  1. Supervisione assoluta a livello di token ($L_{bce}$): Binary Cross-Entropy pesata rispetto alla verità di base binaria auto-etichettata.
  2. Preferenza intra-traiettoria ($L_{intra}$): Una perdita di ranking a margine che incoraggia il modello a distinguere tra segmenti di comportamento normale e successivi segmenti di fallimento all'interno di un singolo rollout.
  3. Preferenza inter-rollout ($L_{inter}$): Un obiettivo Bradley-Terry che confronta futuri alternativi generati dalla stessa scena iniziale, insegnando al valutatore a preferire traiettorie globalmente coerenti rispetto a quelle localmente plausibili ma inconsistenti.

C. Allineamento delle preferenze al tempo di test

Durante l'inferenza, il CPE agisce come un modulo di guida plug-in che ricalibra la distribuzione di decodifica del simulatore base congelato.

• Ricerca Lookahead: Ad ogni step $t$, il simulatore base propone $K$ token di azione candidati.
• Approssimazione marginale indipendente: Per evitare la complessità intrattabile di $K^{N_a}$ nella valutazione di tutte le combinazioni di azioni congiunte, CRAFT campiona $K$ scenari di azione congiunta paralleli. Valuta il punteggio di preferenza di ogni azione candidata rispetto a uno sfondo di traffico plausibile campionato (approssimando l'aspettativa congiunta).
• Ricalibrazione (Reweighting): Le probabilità di decodifica originali sono calibrate utilizzando i punteggi di preferenza ($R$) tramite una softmax con una scala di guida $\beta$:
  $$P_{post} \propto P_{prior} \cdot \exp(\beta \cdot R)$$
  Questo orienta la decodifica autoregressiva verso comportamenti coerenti con l'intera scena del traffico prima dell'esecuzione.

3. Contributi chiave

1. Identificazione del disallineamento: Il documento identifica e analizza esplicitamente il degrado del comportamento a ciclo chiuso causato dall'addestramento su log ego-centrici con contesto incompleto, dimostrando come l'apprendimento per imitazione porti ad associazioni contesto-azione spurie.
2. Valutatore disaccoppiato (CPE): Un nuovo valutatore addestrato su rollout "what-if" auto-generati e radicati in prior allineati con l'uomo. Impara a distinguere comportamenti globalmente coerenti da quelli localmente plausibili ma contestualmente inconsistenti senza modificare i pesi del simulatore base.
3. Allineamento al tempo di test plug-in: Una strategia per implementare il CPE come modulo leggero di inferenza che guida la decodifica autoregressiva. Questo approccio migliora la razionalità comportamentale di diversi simulatori base (dimostrato su CAT-K e SMART) senza l'instabilità o il costo del riaddestramento.

4. Risultati sperimentali

Il framework è stato valutato sul Waymo Open Motion Dataset (WOMD) utilizzando il benchmark WOSAC e ulteriori metriche di razionalità comportamentale.

• Sicurezza e Conformità: CRAFT ha ridotto significativamente i comportamenti anomali rispetto ai baseline (inclusi Top-K sampling, Auto-labelers e modelli con fine-tuning RL).
  • Collisioni: Ridotte del 31,2%.
  • Violazioni del traffico: Ridotte del 33,2%.
  • Fuori strada (Offroad): Ridotto del 16,6% (a livello di scena).
• Razionalità Comportamentale: CRAFT ha ottenuto la minima Distanza di Jensen-Shannon (JSD) per le distribuzioni di velocità, velocità angolare e distanza dal veicolo più vicino, indicando un migliore allineamento con le distribuzioni di guida del mondo reale.
• Trade-off di Realismo: Il documento nota un leggero degrado nella metrica di "Realismo" di WOSAC (che misura la somiglianza uno-a-uno con i log). Gli autori sostengono che questo sia un trade-off necessario: il punteggio di alto realismo del modello base spesso riflette un match stretto con log locali incompleti, mentre CRAFT dà priorità alla razionalità comportamentale globale, correggendo comportamenti che sono statisticamente probabili nei log ma irrazionali nel contesto completo.
• Efficienza: CRAFT aggiunge un overhead di runtime moderato (76ms per step) rispetto al Top-K sampling (2ms), ma è significativamente più veloce degli auto-labeler basati su regole (~491ms) pur fornendo prestazioni superiori.

5. Significato e affermazioni

Il documento afferma che CRAF offre una via leggera e complementare per migliorare la simulazione del traffico a ciclo chiuso.

• Passaggio da passivo ad attivo: Sposta il paradigma dall'imitazione passiva dei log all'allineamento attivo con il contesto globale della scena.
• Scoperta dei fallimenti: Utilizzando il simulatore stesso per generare casi di fallimento (rollout "what-if"), il metodo crea un segnale auto-supervisionato per correggere proprio i bias introdotti dal simulatore.
• Generalizzabilità: La natura plug-in del CPE consente di migliorare la razionalità comportamentale di diversi simulatori base senza riaddestrarli, rendendolo applicabile a esistenti modelli del mondo e simulatori dove il riaddestramento è costoso o instabile.
• Limitazioni: Gli autori riconoscono con modestia che il metodo è limitato dalla qualità del set di candidati proposto dal simulatore base. Se l'azione ottimale non è inclusa nel set di candidati Top-K (a causa di un prior troppo debole del modello base), il CPE non può recuperarla, può solo ri-classificare le scelte subottimali disponibili.

In sintesi, CRAFT colma il divario tra l'osservazione locale e i requisiti della simulazione globale, dimostrando che l'allineamento delle preferenze al tempo di test può migliorare significativamente la sicurezza e la razionalità delle simulazioni di guida autonoma senza compromettere la struttura del modello generativo sottostante.