Riepilogo Tecnico: HiCrowd - Allineamento Gerarchico del Flusso della Folla per Ambienti Umani Densamente Popolati

Definizione del Problema

I robot mobili affrontano sfide significative nella navigazione in ambienti umani densi, principalmente a causa del Problema del Robot Congelato (Freezing Robot Problem - FRP). In questo scenario, un robot fatica a trovare movimenti sicuri in mezzo a complesse interazioni umane e rimane bloccato, incapace di raggiungere il proprio obiettivo. I tradizionali pianificatori reattivi (ad esempio, Social Force, ORCA) spesso non riescono a catturare le intricate interazioni uomo-uomo in contesti densi, portando al FRP. Al contrario, recenti approcci di Reinforcement Learning (RL), pur apprendendo comportamenti socialmente conformi, spesso faticano a mappare stati complessi della folla direttamente in azioni di controllo a basso livello garantendo al contempo la sicurezza. La sfida principale consiste nel bilanciare l'efficienza della navigazione, la sicurezza e la conformità sociale senza che il robot si blocchi o collida.

Metodologia: Framework HiCrowd

Gli autori propongono HiCrowd, un framework gerarchico che integra il Reinforcement Learning (RL) con il Model Predictive Control (MPC) per consentire una navigazione efficiente e sicura. L'ipotesi centrale è che in ambienti densi, i robot dovrebbero sfruttare il movimento umano come guida (allineandosi con flussi compatibili) piuttosto che trattare gli esseri umani esclusivamente come ostacoli dinamici da evitare.

1. Architettura Gerarchica

Il sistema separa il processo decisionale strategico a lungo termine dal controllo del movimento a breve termine:

• Alto Livello (Politica RL): L'agente RL agisce come un pianificatore strategico. Invece di produrre comandi di controllo diretti, predice un punto di inseguimento $(f_x, f_y)$ nel sistema di riferimento locale del robot. Questo punto guida il robot ad allinearsi con un gruppo di pedoni adeguato (flusso locale della folla).
• Basso Livello (Controllore MPC): Il modulo MPC prende il punto di inseguimento generato dall'RL come riferimento. Esso ottimizza una traiettoria a breve orizzonte per seguire questa guida, garantendo al contempo la fattibilità dinamica e la sicurezza (evitamento delle collisioni) rispetto agli umani nelle vicinanze.

2. Modulo di Reinforcement Learning

La politica RL è addestrata utilizzando l'algoritmo Soft Actor-Critic (SAC). Lo spazio delle osservazioni include lo stato del robot, l'obiettivo e gli stati (posizione, velocità) di $n$ umani nelle vicinanze entro un raggio di rilevamento.

• Funzione di Ricompensa: La ricompensa $r_t$ è una somma pesata di tre componenti:
  1. Raggiungimento dell'Obiettivo ($r_{goal}$): Ricompensa sparsa per il raggiungimento della destinazione.
  2. Prossimità all'Obiettivo ($r_{dist}$): Ricompensa densa che incoraggia il movimento verso l'obiettivo.
  3. Inseguimento della Folla ($r_{follow}$): Un termine di ricompensa innovativo che incoraggia l'allineamento con i flussi della folla.
     • Gli esseri umani sono raggruppati in gruppi utilizzando DBSCAN basandosi sulla prossimità spaziale e sulla somiglianza del movimento.
     • La ricompensa è calcolata in base al punteggio massimo tra tutti i gruppi, misurando la corrispondenza tra il movimento del robot e la velocità e la direzione media del gruppo.
     • Questo termine incentiva esplicitamente il robot a unirsi a flussi compatibili, accelerando l'apprendimento e migliorando le prestazioni.

3. Modulo di Model Predictive Control

L'MPC minimizza una funzione di costo $J = J_{follow} + J_{safe}$ su un orizzonte di pianificazione $H$:

• Costo di Inseguimento ($J_{follow}$): Minimizza la distanza tra la traiettoria predetta e il punto di inseguimento fornito dall'RL.
• Costo di Sicurezza ($J_{safe}$): Penalizza la prossimità agli esseri umani predetti tramite un Modello di Velocità Costante (CVM), utilizzando una funzione di costo esponenziale per imporre un raggio di sicurezza.

Contributi Chiave

1. Principio di Guida del Flusso della Folla: Il documento dimostra che sfruttare il movimento umano come guida, piuttosto che solo come ostacolo, fornisce un principio potente per una navigazione sicura ed efficiente.
2. Framework Gerarchico RL-MPC: Gli autori introducono un'architettura specifica in cui un agente RL di alto livello, addestrato con una ricompensa di inseguimento della folla, genera punti di inseguimento socialmente consapevoli, mentre un MPC a basso livello assicura un'esecuzione sicura.
3. Validazione nel Mondo Reale: Il metodo si dimostra efficace nelle implementazioni nel mondo reale senza riaddestramento, colmando il divario sim-to-real.

Risultati Sperimentali

Gli autori hanno valutato HiCrowd contro diversi baseline tra cui ORCA (reattivo), SARL (RL piatto), CrowdAttn (RL basato su attenzione) e un'ablazione solo MPC. Le valutazioni sono state condotte sul dataset ETH-UCY (registrazioni del mondo reale) e su un dataset Sintetico (più denso, con flussi opposti) sia in modalità offline (gli umani non reagiscono) che online (gli umani reagiscono tramite ORCA).

• Metriche di Prestazione: HiCrowd ha ottenuto il più alto Tasso di Successo (SR) (100% nelle impostazioni online ETH-UCY e Sintetiche) e il più basso Tempo di Navigazione (NT) e Lunghezza del Percorso (PL).
• Problema del Robot Congelato: HiCrowd ha ridotto significativamente la Frequenza di Congelamento (FF), raggiungendo un valore vicino allo zero nella maggior parte delle impostazioni, mentre i baseline si bloccavano frequentemente.
• Sicurezza: Sebbene HiCrowd non abbia sempre massimizzato la distanza minima dai pedoni rispetto ad alcuni baseline, ha mantenuto costantemente una distanza sociale superiore a 1,2 metri.
• Studio di Ablazione: Rimuovendo la ricompensa di inseguimento della folla ($\lambda_f = 0$), si è osservata una convergenza dell'apprendimento più lenta e prestazioni inferiori, confermando che premiare esplicitamente l'allineamento del flusso è critico.
• Implementazione nel Mondo Reale: Il robot è stato impiegato in un museo pubblico e all'Expo 2025 Osaka. Senza riaddestramento, ha navigato con successo in densi flussi di pedoni, fondendosi con i gruppi, navigando contro i flussi e attraversando i flussi senza collisioni o blocchi.

Significato e Rivendicazioni

Il documento sostiene che HiCrowd offre una soluzione robusta al problema del robot congelato spostando il paradigma da "evitare ostacoli" ad "allinearsi ai flussi". Gli autori argomentano che questo approccio gerarchico separa efficacementamente il ragionamento sociale a lungo termine dai vincoli di sicurezza a breve termine. I risultati suggeriscono che trattare gli esseri umani come guide dinamiche piuttosto che come barriere statiche permette ai robot di mantenere un progresso costante nelle folle dense. Il successo dell'implementazione nel mondo reale in ambienti non strutturati e affollati, senza riaddestramento, evidenzia il potenziale del metodo per applicazioni pratiche nella robotica incentrata sull'uomo.

Limitazioni note dagli autori:

• Il rapporto fisso tra le azioni di alto e basso livello può causare ritardi nelle reazioni in condizioni che cambiano rapidamente.
• L'attuale framework non modella esplicitamente la geometria spaziale dei gruppi, affidandosi principalmente alle caratteristiche del movimento.
• Gli ostacoli statici (ad esempio, pareti) non sono stati l'obiettivo primario della valutazione corrente.