Riepilogo Tecnico: ARCANE-PedSynth

Enunciato del Problema

La previsione delle intenzioni di attraversamento dei pedoni nella guida autonoma è un compito di percezione critico per la sicurezza, in particolare negli ambienti urbani complessi. I dataset reali esistenti (ad esempio, JAAD, PIE) soffrono di uno squilibrio di classe severo, dove gli eventi di attraversamento costituiscono meno del 10% dei frame osservati, e mancano di una rappresentazione sufficiente di casi limite critici per la sicurezza come l'attraversamento irregolare, le corse improvvise o le pause a metà strada. Inoltre, l'annotazione manuale di attributi soggettivi come l'intenzione di attraversamento è costosa e incoerente. Sebbene la generazione di dati sintetici tramite simulatori come CARLA offra una via verso verità di campo illimitate e perfette a livello di pixel, il sistema AI nativo dei pedoni di CARLA è limitato dalla sua mesh di navigazione, che tratta le superfici stradali come ostacoli, risultando in un tasso di attraversamento di base di soli il 9%. Inoltre, le soluzioni sintetiche esistenti spesso mancano di sensori multi-modali, di annotazioni comportamentali dense oltre alle etichette binarie, o della capacità di controllare i tassi di attraversamento e simulare dinamicamente le interazioni multi-pedone.

Metodologia

Gli autori presentano ARCANE-PedSynth, un framework software open-source basato su CARLA, progettato per generare dataset sintetici multi-pedone con annotazioni comportamentali dense. Il sistema è orchestrato tramite Docker Compose, separando il server CARLA non modificato dai container personalizzati per la generazione e l'estrazione delle pose per evitare conflitti di dipendenze.

1. Architettura di Controllo Ibrida AI-Manuale

Per superare il limite del 9% di tasso di attraversamento, il framework impiega un sistema di controllo dei pedoni a doppia modalità:

• Modalità AI: I pedoni seguono i marciapiedi utilizzando i controller AI nativi di CARLA (go_to_location).
• Modalità Manuale: Il controller AI viene arrestato e i pedoni sono controllati direttamente tramite comandi WalkerControl per eseguire vettori di attraversamento, velocità e pause specifici.
• Ingegneria del Tasso di Attraversamento a Quattro Livelli: Una strategia configurabile eleva il tasso di attraversamento effettivo dal 9% al 40–75% attraverso:
  1. Assegnazione degli Attraversatori: Assegnazione del 90% dei pedoni generati come potenziali attraversatori.
  2. Assegnazione del Tipo Comportamentale: Distribuzione dei comportamenti (50% normali, 25% improvvisi, 25% attraversamento irregolare).
  3. Iniezione a Metà Strada: Generazione di "attraversatori irregolari a metà strada" direttamente nelle corsie di guida con offset laterali.
  4. Formazione di Gruppi: Sincronizzazione di 2–3 pedoni in gruppi con una probabilità del 40%.

2. Macchina a Stati Finiti Comportamentale (FSM)

Ogni pedone è guidato da una FSM a 12 stati (ad esempio, Camminata sul Marciapiede, Osservazione Attorno, Controllo del Traffico, Esitazione, Attraversamento Strada, Pause a Metà Attraversamento, Ritirata) governata da un modello di accettazione dello spazio basato sul Tempo di Collisione (TTC). Le decisioni di attraversare, fermarsi o ritirarsi si basano sulla vicinanza e sulla velocità dei veicoli circostanti.

• Archetipi di Personaggio: Cinque archetipi distinti (persona d'affari, persona informale, anziano, giovane, genitore con bambino) definiscono i parametri di base per velocità, durata dell'esitazione, livelli di attenzione e propensione intrinseca all'attraversamento, informati da studi osservazionali.
• Velocità Situazionale: I pedoni passano dinamicamente tra quattro profili di velocità (cauto, normale, frettoloso, distratto) per simulare la variabilità del mondo reale.

3. Sensori Multi-Modali e Annotazione

Il framework cattura dati sincronizzati da tre sensori montati su un veicolo ego in movimento:

• Fotocamera RGB: 1280×720, FOV 90°, 30 FPS.
• LiDAR: 64 canali, portata 100m, 20 Hz.
• DVS (Sensore di Visione Dinamica): Fotocamera a eventi che cattura cambiamenti di luminosità in microsecondi.

Pipeline di Annotazione:

• Porta di Visibilità: I pedoni sono annotati solo se entro 70m, nel FOV della fotocamera e sopra una dimensione minima del bounding box.
• Etichette: Include etichette binarie di attraversamento validate dalla corsia (C/NC), stati comportamentali, bounding box, distanza dall'ego e marcatori Tempo-All'Evento (TTE).
• Estrazione della Pose: Invece di utilizzare lo scheletro 3D interno di CARLA (che richiede una proiezione complessa), il framework applica AlphaPose e OpenPose ai frame RGB renderizzati per generare punti chiave 2D nel formato COCO-17. Questo approccio garantisce coerenza con le pipeline di elaborazione del mondo reale e raggiunge tassi di rilevamento quasi perfetti quando forniti con bounding box di verità di campo.

4. Riproducibilità

Il sistema è completamente riproducibile tramite parametrizzazione CLI e containerizzazione Docker. Supporta la generazione in batch su molteplici condizioni meteorologiche e città, con un robusto protocollo di pulizia a sei fasi per prevenire perdite di memoria durante esecuzioni di simulazione prolungate.

Contributi Chiave

1. Tassi di Attraversamento Controllabili: Il primo meccanismo open-source su CARLA per configurare tassi di attraversamento target fino al 75%, affrontando direttamente il problema dello squilibrio di classe nei dataset reali.
2. Modellazione Comportamentale Densa: Introduzione di una FSM a 12 stati con cinque archetipi di personaggio, che consente la simulazione di comportamenti sfumati (esitazione, ritirata, dinamiche di gruppo) assenti nei precedenti dataset sintetici.
3. Sincronizzazione Multi-Modale: Generazione di flussi sincronizzati RGB, LiDAR e DVS con annotazioni per ogni frame, facilitando la ricerca sulla fusione sensoriale.
4. Dataset PedSynth++: Il framework è stato utilizzato per generare PedSynth++, un dataset composto da 533 clip multi-pedone su 12 condizioni meteorologiche e 4 città CARLA, contenente oltre 177.000 frame annotati.

Risultati

Il documento dimostra l'efficacia del framework attraverso il modello PedGT (un'architettura graph-transformer):

• Prestazioni: Addestrato esclusivamente su dati sintetici PedSynth++ da Town01 e Town02, PedGT ha raggiunto un punteggio F1 di 89 sulla divisione di test Town05 tenuta da parte.
• Finestre Temporali: Una finestra di input di 16 frame ha prodotto prestazioni ottimali (F1=89), bilanciando contesto e diluizione del segnale.
• Qualità delle Annotazioni: L'uso di bounding box di verità di campo generati dal simulatore per l'estrazione della pose ha portato a tassi di rilevamento della pose significativamente più alti rispetto ai dataset reali (dove le giunture mancanti sono comuni), validando la coerenza interna delle annotazioni.
• Nessuna Normalizzazione Richiesta: Le annotazioni geometricamente coerenti hanno preservato le relazioni spaziali assolute (ad esempio, vicinanza ai bordi della strada), permettendo ai modelli di apprendere efficacemente senza una normalizzazione aggressiva dei dati.

Significato e Affermazioni

Gli autori affermano che ARCANE-PedSynth colma lacune critiche negli strumenti esistenti fornendo una pipeline riproducibile e open-source che combina tassi di attraversamento controllabili, traffico dinamico multi-pedone, sensori multi-modali e annotazioni comportamentali dense.

• Abilitazione della Ricerca: Il framework abilita direzioni di ricerca precedentemente difficili o impossibili, come l'addestramento su dataset bilanciati di eventi rari, lo studio della diversità comportamentale oltre le etichette binarie e la conduzione di esperimenti rigorosi di fusione sensoriale in condizioni meteorologiche variabili.
• Addestramento Avversariale: L'inclusione di stati di eventi rari (attraversamento improvviso, ritirata, pause a metà strada) genera casi limite essenziali per testare la robustezza dei veicoli autonomi.
• Limitazioni: Gli autori notano modestamente che, sebbene i dati siano generati sinteticamente e la FSM sia basata su regole, non cattura appieno la ricchezza della negoziazione sociale del mondo reale, della comunicazione basata sullo sguardo o delle norme dipendenti dalla cultura. Di conseguenza, mentre il framework dimostra una forte apprendibilità intra-dominio, la generalizzazione sim-to-real rimane una direzione di ricerca attiva che richiede tecniche di adattamento di dominio.

Il software è rilasciato sotto licenza MIT, sebbene i componenti di terze parti per l'estrazione della pose (OpenPose, SMPL/VPoser) abbiano restrizioni di licenza separate.