Riepilogo Tecnico: REAP – Parcheggio Autonomo End-to-End con Apprendimento per Rinforzo e Simulatore Gaussian Splatting

1. Enunciato del Problema

Il parcheggio autonomo rimane una sfida significativa, in particolare in scenari estremi come i posti auto meccanici e gli spazi ciechi. Gli approcci tradizionali multi-stadio (percezione $\to$ pianificazione $\to$ controllo) soffrono di accumulo di errori e spesso falliscono quando le mappe preesistenti non sono disponibili o la percezione in tempo reale è imprecisa. Sebbene i metodi end-to-end offrano un'ottimizzazione congiunta, affrontano ostacoli distinti:

• Apprendimento per Imitazione: Richiede enormi quantità di dati esperti di alta qualità, costosi da produrre e che spesso portano a un "comportamento medio", dove il modello non riesce a eseguire manovre diverse o complesse in modo efficace.
• Apprendimento per Rinforzo (RL): Sebbene scalabile, il RL standard soffre di un'esplorazione inefficiente e del divario "Sim2Real". I modelli addestrati in simulatori spesso falliscono quando vengono distribuiti nel mondo reale a causa di discrepanze nella fedeltà visiva e nella dinamica fisica.
• Limitazioni della Simulazione: I simulatori ad alta fedeltà esistenti (ad esempio, quelli che utilizzano NeRF o asset CAD tradizionali) spesso mancano del realismo visivo o dell'accuratezza fisica richiesti per i robot su ruote, oppure si basano su una modellazione manuale non scalabile.

2. Metodologia

Gli autori propongono REAP (Reinforcement learning End-to-end Autonomous Parking), un sistema basato sulla visione che prevede le azioni del veicolo direttamente dalle immagini delle telecamere a 360 gradi. Il framework integra tre componenti principali:

A. Rete End-to-End con Attività Ausiliarie BEV

Il sistema utilizza una rappresentazione unificata Bird's-Eye View (BEV). Le immagini a 360 gradi vengono trasformate in caratteristiche BEV e una slot di parcheggio target è rappresentata come una mappa di calore BEV.

• Architettura: La rete include un attore (pianificatore) e un critico.
• Attività Ausiliarie: Per migliorare la rappresentazione delle caratteristiche, la rete viene addestrata congiuntamente con tre compiti di percezione ausiliari:
  1. Occupazione (OCC): Prevede l'occupazione geometrica per evitare ostacoli.
  2. Rilevamento Slot Parcheggio (PSD): Identifica le slot disponibili.
  3. Previsione Target: Combina il PSD con il target selezionato dall'utente per garantire una localizzazione stabile della slot.
• Modellazione: Le slot di parcheggio sono modellate utilizzando distribuzioni Gaussiane 2D per mantenere la separabilità tra gli spazi adiacenti, e funzioni di gating asimmetriche distinguono le direzioni di parcheggio accessibili.

B. Strategia di Apprendimento per Rinforzo Ibrido Asimmetrico

Per affrontare l'inefficienza del RL puro e la dipendenza dai dati dell'apprendimento per imitazione, REAP impiega una strategia ibrida dinamica:

• Clonazione del Comportamento (BC): Durante l'esplorazione, il sistema interroga un pianificatore basato su regole (curve di Reed-Shepp) per generare azioni esperte. Queste vengono utilizzate per distillare le capacità nella rete dell'attore tramite clonazione del comportamento, fornendo una guida immediata e corrispondente allo stato senza dataset pre-raccolti.
• Addestramento Asimmetrico: L'attore apprende da immagini grezze a 360 gradi (simulando i vincoli del mondo reale), mentre il critico viene addestrato con informazioni "privilegiate" disponibili solo in simulazione (mappe BEV prive di artefatti). Questo stabilizza la stima del valore e riduce i costi computazionali.
• Soft Actor-Critic (SAC): L'algoritmo utilizza SAC per massimizzare sia il valore dell'azione che l'entropia della politica, incoraggiando l'esplorazione.
• Replay Buffers: Vengono utilizzati due buffer: un buffer principale per tutte le esperienze e un buffer di "esperienze di successo" specificamente per i successi senza collisioni, migliorando l'utilizzo dei campioni positivi rari in scenari difficili.

C. Design della Ricompensa e Meccanismi di Sicurezza

La funzione di ricompensa ($R_{total}$) combina ricompense sparse e dense:

• Ricompense Sparse: Includono successo, timeout, attraversamento dei confini e una nuova Ricompensa di Ancoraggio Parcheggio. La ricompensa di ancoraggio viene concessa quando il veicolo raggiunge uno stato in cui un pianificatore basato su regole può generare una traiettoria fattibile, accelerando la convergenza in compiti a lungo orizzonte.
• Ricompense Dense e Sicurezza:
  • Ricompensa Predittiva di Collisione ($R_{PC}$): Penalizza le azioni in base al rapporto tra la lunghezza della collisione e la lunghezza totale della traiettoria, permettendo all'agente di distinguere tra collisioni potenziali gravi e lievi prima che accadano.
  • Ricompensa di Collisione Soft ($R_{SC}$): Utilizza un Truncated Signed Distance Field (TSDF) per penalizzare le azioni che portano il veicolo troppo vicino agli ostacoli, incoraggiando un margine di sicurezza anche se non si verifica una collisione dura.

D. Simulatore Real2Sim2Real basato su 3D Gaussian Splatting (3DGS)

Per colmare il divario Sim2Real, gli autori hanno costruito un simulatore in ciclo chiuso:

• Real2Sim: Le scene del mondo reale vengono catturate utilizzando LiDAR e telecamere portatili. Lo 3D Gaussian Splatting (3DGS) viene utilizzato per ricostruire l'ambiente, fornendo un rendering fotorealistico e una geometria accurata nella scala senza modellazione CAD manuale.
• Sim2Real: Il simulatore incorpora la randomizzazione del dominio (illuminazione, intrinseche/estrinseche della telecamera) e una mappa di elevazione 2.5D con un modello del veicolo a doppio strato. Ciò consente una simulazione accurata di pendenze, dossi e dei vincoli specifici di sgombro dei posti auto meccanici (dove il veicolo deve passare sopra barriere basse).

3. Contributi Chiave

1. Algoritmo REAP: Un algoritmo di parcheggio end-to-end basato sulla visione che migliora significativamente le prestazioni in scenari estremi. Combina la clonazione del comportamento per un'inizializzazione efficiente con il RL asimmetrico per un apprendimento della politica robusto.
2. Simulatore basato su 3DGS: Una pipeline Real2Sim2Real che utilizza lo 3D Gaussian Splatting per creare simulazioni visive e fisiche ad alta fedeltà. Ciò consente il trasferimento diretto dei modelli addestrati in simulazione a veicoli reali, riducendo efficacemente il divario di dominio.
3. Penalità Predittiva di Collisione Soft: Un nuovo meccanismo di sicurezza che combina la valutazione predittiva delle collisioni e le penalità soft del campo di distanza per ridurre i tassi di collisione e incoraggiare margini di sicurezza.
4. Distribuzione nel Mondo Reale: Distribuzione riuscita su una piattaforma fisica di veicoli, che dimostra la fattibilità del parcheggio RL end-to-end in slot meccaniche estremamente strette (larghezza 2,1 m con ~10 cm di sgombro).

4. Risultati Sperimentali

Gli autori hanno valutato REAP in cinque scenari: quattro parcheggi standard (sotterranei e a livello del suolo) e una slot di parcheggio meccanica altamente vincolata.

• Metriche di Prestazione:
  • Slot Standard: REAP-SAC ha raggiunto un 83,5% di Tasso di Successo del Parcheggio (PSR) in simulazione e 65–85% nei test nel mondo reale.
  • Slot Meccaniche: Nello scenario più impegnativo (larghezza 2,1 m), REAP-SAC ha raggiunto un 70,0% di PSR in simulazione e 55,0% nei test nel mondo reale, con un tempo medio di parcheggio di 89 secondi.
• Confronti:
  • REAP ha superato i pianificatori basati su regole (che spesso fallivano in manovre complesse) e altri baseline RL/Apprendimento per Imitazione (PPO, SAC, HOPE, ParkingE2E) sia nel tasso di successo che nell'evitamento delle collisioni.
  • Studi di Ablazione: La rimozione del simulatore 3DGS (sostituendolo con simulatori basati su CAD o Mesh) ha portato a un calo drastico del PSR nel mondo reale (dal 70% allo 0% o al 45%), confermando il ruolo critico della fedeltà visiva. Anche la rimozione delle attività ausiliarie o della strategia di addestramento ibrida ha degradato significativamente le prestazioni.
• Divario Sim2Real: La stretta correlazione tra i risultati di simulazione e del mondo reale (ad esempio, 70% vs 55% nelle slot meccaniche) convalida l'efficacia della pipeline Real2Sim2Real.

5. Significato e Affermazioni

La carta afferma che REAP rappresenta un passo significativo in avanti nel parcheggio autonomo attraverso:

• Risoluzione di Scenari Estremi: È tra i primi approcci di apprendimento per rinforzo end-to-end a navigare e parcheggiare con successo in slot meccaniche estremamente strette, un compito in cui i metodi tradizionali spesso falliscono.
• Trasferimento Efficiente Real2Sim2Real: Sfruttando il 3DGS, gli autori dimostrano che una simulazione visiva ad alta fedeltà può essere ottenuta con costi minimi di raccolta dati (scansione portatile) e senza modellazione manuale, consentendo ai modelli addestrati in simulazione di generalizzare direttamente al mondo reale.
• Sicurezza ed Efficienza: L'integrazione di penalità predittive di collisione soft e dell'addestramento RL asimmetrico affronta le sfide di sicurezza ed efficienza dell'esplorazione intrinseche al RL basato sulla visione.

Limitazioni Riconosciute dagli Autori:

• Fluidità: Il fine-tuning migliora i tassi di successo ma può aumentare i cambi di marcia, riducendo leggermente la fluidità del movimento.
• Dipendenza dall'Addestramento: La pipeline attuale dipende ancora dalla supervisione del pianificatore basato su regole per la stabilità iniziale dell'addestramento e per la definizione della ricompensa di ancoraggio.
• Generalizzazione: La convalida è attualmente limitata ad ambienti strutturati; la generalizzazione ad ambienti esterni non visti o a ostacoli altamente dinamici richiede ulteriori studi.
• Computazione: La distribuzione di modelli end-to-end su dispositivi edge introduce un sovraccarico computazionale e il design di sicurezza attuale offre garanzie empiriche piuttosto che formali.