Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

Sintesi Tecnica: L'importanza del gesto: Riconoscimento dei gesti dei pedoni per i veicoli autonomi attraverso la valutazione della posa dello scheletro

Problematica
Mentre i veicoli autonomi (AV) vengono implementati nei sistemi di trasporto intelligenti, rimane una lacuna critica nella loro capacità di interpretare la comunicazione non verbale tra pedoni e conducenti. Mentre le regole formali del traffico governano il diritto di precedenza, il traffico reale si affida spesso a segnali non verbali informali — specificamente i gesti — per negoziare le intenzioni e risolvere i blocchi. I conducenti umani percepiscono naturalmente questi segnali sociali, ma gli AV attualmente mancano della capacità percettiva di interpretarli, affidandosi invece a regole predefinite che possono non catturare l'incertezza del comportamento umano. Questa limitazione rischia di rendere gli AV eccessivamente cauti o incapaci di reagire in ambienti urbani complessi. Inoltre, la ricerca esistente manca di un dataset dedicato, basato su situazioni reali, specificamente progettato per il riconoscimento dei gesti dei pedoni, poiché gli attuali dataset sono spesso limitati ad ambienti simulati o a categorie di gesti specifiche.

Metodologia
Per affrontare queste lacune, gli autori propongono un framework di visione artificiale per il riconoscimento dei gesti dei pedoni utilizzando sequenze video del mondo reale dal dataset WIVW. La metodologia procede attraverso le seguenti fasi:

1. Curatela dei dati e tassonomia:

   • Gli autori hanno utilizzato il dataset WIVW, selezionando 180 video all'aperto, con visuale frontale e centrati sul pedone (escludendo VR indoor e prospettive in terza persona) per garantire la rilevanza nell'interazione pedone-AV.
   • È stata stabilita una tassonomia a quattro classi basata sulla revisione della letteratura: "Stop" (Fermarsi), "Go" (Andare), "Thank & Greet" (Ringraziare e Salutare) e "No Gesture" (Nessun Gesto). Questa aggregazione è stata progettata per migliorare la robustezza tra diverse regioni e culture.
   • I video sono stati preelaborati per isolare i fotogrammi positivi al gesto, rimuovendo le sequenze non essenziali.

2. Stima della posa e normalizzazione:

   • Il framework impiega il modello RTMPose-m (tramite MMPose) per estrarre i keypoint (punti chiave) dello scheletro 2D (17 punti seguendo l'annotazione COCO) dai fotogrammi del video.
   • È stato implementato un metodo di normalizzazione basato sul torso per mitigare le variazioni di scala e posizione. I keypoint sono stati normalizzati rispetto al punto medio dell'anca e scalati in base alla dimensione del torso (calcolata come la distanza euclidea media tra spalle e fianchi), garantendo che le caratteristiche rimangano invarianti rispetto alla distanza del pedone dalla telecamera.

3. Ingegneria delle caratteristiche (Feature Engineering):

   • Caratteristiche Statiche (71 caratteristiche): Derivate dai keypoint normalizzati per catturare la configurazione della posa nei singoli istanti temporali. Queste includono la posizione media dei keypoint, la posizione massima dei keypoint e la distanza media tra specifici keypoint (ad esempio, mano-mano, mano-spalla).
   • Caratteristiche Dinamiche (5 caratteristiche): Derivate per catturare l'evoluzione temporale e il movimento. Queste includono la velocità media e l'accelerazione delle mani destra e sinistra, nonché il rapporto di velocità tra le due mani.
   • Il set finale di caratteristiche comprende 76 caratteristiche (71 statiche + 5 dinamiche).

4. Classificazione e Analisi:

   • È stato selezionato un classificatore Random Forest per la sua spiegabilità e per le prestazioni dimostrate nel riconoscimento di attività basate sullo scheletro.
   • t-SNE (t-distributed Stochastic Neighbor Embedding) è stato utilizzato per visualizzare il raggruppamento (clustering) dei subset di caratteristiche (solo statiche, solo dinamiche e combinate) per valutare la separabilità delle classi.
   • L'importanza delle caratteristiche è stata valutata utilizzando i punteggi di importanza Gini per identificare i fattori discriminanti.

Risultati Chiave

• Accuratezza della Classificazione: Il set di caratteristiche combinato (statiche e dinamiche) ha raggiunto l'accuratezza più elevata dell'87,04%. Ciò ha rappresentato un miglioramento rispetto al modello solo statico (83,33%) e al modello solo dinamico (66,67%).
• Performance per Classe:
  • La classe "No Gesture" è stata classificata perfettamente.
  • La classe "Go" ha raggiunto l'88% di accuratezza nel modello statico.
  • La classe "Stop" ha mostrato il miglioramento più significativo con l'aggiunta delle caratteristiche dinamiche, passando dal 59% (solo statico) al 71% (combinato).
• Discriminatori delle Caratteristiche:
  • Analisi Statica: La posizione verticale media ($y$) della mano destra e la distanza mano-mano sono state le caratteristiche statiche più discriminanti.
  • Analisi Dinamica: La velocità della mano è stata il principale discriminatore. Nello specifico, la velocità della mano sinistra è stata identificata come la singola caratteristica più importante nel modello combinato. Gli autori attribuiscono ciò al fatto che i pedoni sul lato destro della strada utilizzano principalmente la mano sinistra per segnalare ai veicoli.
• Clustering: L'analisi t-SNE ha rivelato che, mentre "No Gesture" è facilmente distinguibile, "Stop" e "Thank & Greet" presentano una sovrapposizione nelle caratteristiche statiche a causa di posizioni delle mani simili. L'introduzione delle caratteristiche dinamiche ha aiutato a separare moderatamente queste classi, sebbene sia rimasta una certa ambiguità tra "Go" e "Thank & Greet", probabilmente a causa della somiglianza nella durata dei gesti.

Significatività e Contributi
Il documento sostiene di colmare il divario tra la ricerca sui gesti dei pedoni e l'analisi computazionale fornendo un framework che utilizza dati del mondo reale piuttosto che ambienti simulati. I suoi principali contributi sono:

1. Standardizzazione: La proposta di una tassonomia a quattro classi derivata dalla letteratura cross-culturale e dai dataset esistenti per standardizzare la categorizzazione dei gesti per le applicazioni AV.
2. Validazione del Framework: La dimostrazione che una combinazione di posa statica e dinamica del movimento è critica per un riconoscimento accurato dei gesti, raggiungendo un punteggio di accuratezza dell'87%.
3. Intuizione Comportamentale: L'identificazione del fatto che la posizione e la velocità di movimento della mano sono i fattori più discriminanti, offrendo approfondimenti specifici su come gli AV possano interpretare meglio l'intento del pedone.
4. Utilizzo del Dataset: L'adattamento efficace del dataset WIVW per il riconoscimento dei gesti dei pedoni, fornendo una base per la ricerca futura in contesti di traffico reale.

Gli autori concludono che, sebbene l'attuale framework migliori le capacità percettive, il lavoro futuro dovrebbe esplorare modelli di deep learning, modellazione delle sequenze temporali (ad esempio, LSTM) e caratteristiche nel dominio della frequenza per distinguere ulteriormente i movimenti periodici e risolvere i cluster sovrapposti.