Riepilogo Tecnico: BeyondSight: Permanenza dell'Oggetto per la Guida Autonoma End-to-End

1. Definizione del Problema

I sistemi di guida autonoma operano in ambienti parzialmente osservabili in cui gli attori (veicoli, pedoni) vengono frequentemente completamente occlusi da infrastrutture o altri veicoli. L'analisi del dataset nuScenes rivela che circa il 30% degli attori è completamente inosservabile in un dato istante temporale, inclusi quelli in stretta prossimità del veicolo ego.

Gli attuali sistemi di guida autonoma end-to-end (E2E-AD) accoppiano tipicamente l'esistenza dell'attore all'osservazione istantanea. Quando un attore diventa completamente inosservabile, la sua rappresentazione nel modello spesso decade o scompare del tutto. La rimozione di agenti "invisibili" dalla rappresentazione della scena costringe i moduli di predizione e pianificazione a ragionare solo sugli agenti attualmente visibili. Di conseguenza, questi sistemi esibiscono un comportamento reattivo o fragile in scenari ad alta occlusione (ad es. incroci), fallendo nel mantenere traiettorie sicure per agenti che sono temporaneamente nascosti ma ancora presenti. Inoltre, i benchmark standard di percezione equivalgono implicitamente l'osservabilità all'esistenza, filtrando gli attori inosservabili sia dalla supervisione che dalla valutazione, impedendo così ai modelli di apprendere rappresentazioni persistenti attraverso le lacune di osservabilità.

2. Metodologia: BeyondSight

Gli autori propongono BeyondSight, un framework E2E-AD consapevole della permanenza che scinde esplicitamente l'esistenza dell'attore dall'osservabilità istantanea. Il sistema mantiene ipotesi persistenti degli attori nel tempo, consentendo a percezione, predizione e pianificazione congiunte di ragionare sugli attori anche quando sono temporaneamente inosservabili.

Architettura Core

BeyondSight si basa sull'architettura SparseDrive, che utilizza query sparse per rappresentare attori dinamici ed elementi della mappa. L'innovazione chiave è una pipeline di inferenza a tre stadi ispirata al filtraggio bayesiano, progettata per propagare e aggiornare le ipotesi degli attori:

1. Temporal Prior Decoder (Decoder del Prior Temporale): Questo modulo propaga le query degli attori dal frame precedente ($q_{t-1}$) al timestep corrente ($t$) per generare un set di ipotesi condizionate dal moto ($q_t^{\text{prior}}$). Fondamentalmente, questa fase opera esclusivamente sulle embedding delle query tramite self-attention e un leggero MLP, senza accedere alle feature dell'immagine corrente. Ciò consente al modello di mantenere le ipotesi per gli attori anche quando non è disponibile alcuna evidenza visiva.
2. Observation Decoder (Decoder dell'Osservazione): Questa fase combina il prior temporale con le nuove query di oggetti inizializzate e le feature BEV correnti ($F_t$) per produrre ipotesi condizionate dall'osservazione ($q_t^{\text{obs}}$). Questa componente è supervisionata solo utilizzando gli attori della ground truth osservabili.
3. Posterior Fusion Decoder (Decoder di Fusione Posteriore): Questo modulo riconcilia il prior propagato e le ipotesi condizionate dall'osservazione. Seleziona la proposta con la maggiore confidenza di classificazione per ogni attore e la raffina per produrre la rappresentazione finale della scena ($q_t^{\text{post}}$). Questa rappresentazione fusa contiene sia attori osservabili che inosservabili, fornendo un contesto più ricco per la pianificazione successiva.

Ottimizzazione e Supervisione

L'addestramento segue un protocollo in due stadi (pre-addestramento della percezione seguito da addestramento congiunto end-to-end). Per imporre la permanenza dell'oggetto, gli autori introducono la Supervisione Consapevole della Permanenza (Permanence-Aware Supervision):

• Ground Truth Estesa: Le perdite di rilevamento e di moto sono calcolate sull'intero set di attori ($G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$), inclusi quelli attualmente inosservabili.
• Classificazione dell'Osservabilità: Il decoder posteriore predice uno stato di osservabilità ($\hat{o}_t^i$) per ogni query, supervisionato tramite cross-entropy binaria. Questo insegna esplicitamente al modello a distinguere tra un attore che è occluso e uno che è assente.
• Funzione di Perdita: L'obiettivo totale include le perdite standard di rilevamento, mappa, moto e pianificazione, aumentate da una perdita di rilevamento modificata ($\mathcal{L}_{\text{det}}'$) che supervisiona gli attori inosservabili e una perdita di classificazione dell'osservabilità ($\mathcal{L}_{\text{obs}}$).

3. Contributi Chiave

Il documento introduce tre contributi primari:

1. Formalizzazione della Permanenza dell'Oggetto: Gli autori definiscono la permanenza dell'oggetto per l'E2E-AD come un vincolo a livello di rappresentazione che richiede che gli attori precedentemente osservati rimangano rappresentati nel set di ipotesi del modello anche quando sono temporaneamente inosservabili.
2. Benchmark nuScenes-Permanence: Un'estensione del dataset nuScenes che fornisce protocolli di supervisione e valutazione per gli attori inosservabili. Ciò comporta la ricostruzione degli stati di traiettoria mancanti utilizzando prior di moto fisicamente fondati per gli intervalli in cui il supporto sensoriale è assente, espandendo il set di annotazioni di circa il 30%.
3. Framework BeyondSight: Un'estensione della permanenza alla struttura E2E-AD a query sparse che mantiene ipotesi persistenti attraverso la propagazione temporale e la fusione consapevole dell'osservabilità, consentendo il ragionamento sotto occlusione prolungata.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul set di validazione nuScenes e sul proposto benchmark nuScenes-Permanence.

Prestazioni Standard

Sui metrica standard di nuScenes, BeyondSight mantiene prestazioni competitive migliorando al contempo la pianificazione a valle:

• Pianificazione: L'errore di pianificazione open-loop ($L2_{\text{avg}}$) è migliorato da 0.61 (SparseDrive) a 0.54, e il tasso di collisioni è diminuito dallo 0.08% allo 0.07%.
• Percezione: Le prestazioni di rilevamento (mAP) sono aumentate da 0.415 a 0.427, e le prestazioni di tracking (AMOTA) sono migliorate da 0.372 a 0.401.
• Falsi Positivi: Il modello non ha introdotto ulteriori falsi positivi sotto il protocollo di valutazione ufficiale, dimostrando che il mantenimento di ipotesi persistenti non degrada le prestazioni dei benchmark standard.

Prestazioni della Permanenza dell'Oggetto (nuScenes-Permanence)

Le metriche proposte condizionate dall'osservabilità rivelano guadagni significativi nel ragionamento sugli attori occlusi:

• Rilevamento Inosservabile: Il modello ha ottenuto un mAP$_{\text{unobs}}$ di 0.249, un miglioramento drammatico rispetto al baseline SparseDrive, che ha segnato 0 (poiché scarta gli attori inosservabili).
• Comprensione Olistica: La metrica aggregata mAP$_{\text{all}}$ è migliorata da 0.389 a 0.413.
• Pianificazione sotto Occlusione: In un sottoinsieme ad alta occlusione dove le traiettorie future degli attori nascosti si avvicinavano al veicolo ego, BeyondSight ha ridotto l'errore di pianificazione da 0.64 a 0.56 e i tassi di collisione da 0.163 a 0.08.

Studi di Ablazione

Gli esperimenti di ablazione hanno confermato che:

• La sola propagazione temporale (senza supervisione consapevole della permanenza) non abilita il rilevamento di attori completamente inosservabili (mAP$_{\text{unobs}}$ rimane 0).
• La combinazione di propagazione temporale, fusione posteriore e supervisione sugli attori inosservabili è necessaria per ottenere i guadagni riportati.
• Il Posterior Fusion Decoder è critico per riconciliare le ipotesi propagate con le osservazioni correnti.

5. Significato e Limitazioni

Il documento sostiene che la permanenza dell'oggetto è un principio di modellazione critico per una guida autonoma end-to-end robusta. Decoupling l'esistenza dell'attore dall'osservabilità istantanea, BeyondSight consente ai sistemi di ragionare sull'intero ambiente dinamico, portando a una pianificazione più sicura in scenari ad alta occlusione. L'introduzione di nuScenes-Permanence fornisce il primo protocolo sistematico per addestrare e valutare questa capacità.

Limitazioni:

• Ipotesi Obsolete (Stale Hypotheses): Le ipotesi persistenti possono diventare imprecise ("obsolete") durante occlusioni molto lunghe se gli attori deviano significativamente dal prior temporale appreso, potenzialmente portando a un drift di localizzazione.
• Assunzioni sul Moto: Le annotazioni di nuScenes-Permanence assumono un moto approssimativamente continuo. Il benchmark potrebbe non catturare manovre nascoste improvvise (ad es. arresti improvvisi, curve strette o cambi di intenzione) che non possono essere affidabilmente inferite dalle osservazioni circostanti.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrebbe esplorare la memoria consapevole dell'incertezza, annotazioni basate su simulazione con etichette privilegiate e dataset multi-osservatore per la valutazione diretta dell'occlusione.