Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

Technische Samenvatting: Gebaren Zaken: Herkenning van Voetgangersgebaren voor AV's via Skeletpositie-evaluatie

Probleemstelling
Naarmate autonome voertuigen (AV's) worden ingezet in intelligente transportsystemen, blijft er een kritieke kloof bestaan in hun vermogen om non-verbale communicatie tussen voetgangers en bestuurders te interpreteren. Hoewel formele verkeersregels de voorrangsregels beheersen, leunt het echte verkeer vaak op informele, non-verbale signalen—specifiek gebaren—om intenties te onderhandelen en impasses op te lossen. Menselijke bestuurders nemen deze sociale signalen van nature waar, maar AV's missen momenteel het perceptuele vermogen om deze te interpreteren, omdat ze vertrouwen op vooraf gedefinieerde regels die de onzekerheid van menselijk gedrag mogelijk niet kunnen vangen. Deze beperking brengt het risico met zich mee dat AV's overdreven voorzichtig of onresponsief worden in complexe stedelijke omgevingen. Bovendien ontbreekt het de huidige onderzoeken aan een specifieke, real-world dataset die is afgestemd op de herkenning van voetgangersgebaren, aangezien huidige datasets vaak beperkt zijn tot gesimuleerde omgevingen of specifieke gebaarcategorieën.

Methodologie
Om deze hiaten aan te pakken, stellen de auteurs een computer vision-framework voor voor de herkenning van voetgangersgebaren met behulp van real-world videosequenties uit de WIVW-dataset. De methodologie verloopt via de volgende fasen:

1. Data Curatie en Taxonomie:

   • De auteurs maakten gebruik van de WIVW-dataset en selecteerden 180 outdoor, frontaal georiënteerde, voetganger-gecentreerde video's (waarbij indoor VR en perspectieven vanuit de derde persoon werden uitgesloten) om relevantie voor de interactie tussen voetganger en AV te waarborgen.
   • Een taxonomie van vier klassen gebaren werd vastgesteld op basis van literatuuronderzoek: "Stop," "Go," "Thank & Greet," en "No Gesture." Deze aggregatie is ontworpen om de robuustheid over verschillende regio's en culturen te verbeteren.
   • Video's werden voorbewerkt om gebaar-positieve frames te isoleren en niet-essentiële sequenties te verwijderen.

2. Pose Estimatie en Normalisatie:

   • Het framework maakt gebruik van het RTMPose-m model (via MMPose) om 2D-skeletkenmerken (17 punten volgens de COCO-annotatie) te extraheren uit de videoframes.
   • Een torso-gebaseerde normalisatiemethode werd geïmplementeerd om variaties in schaal en positie te verzachten. Kenmerken werden genormaliseerd ten opzichte van het midden van de heup en geschaald door de torso-grootte (berekend als de gemiddelde Euclidische afstand tussen de schouders en de heupen), waardoor de kenmerken invariant blijven voor de afstand van de voetganger tot de camera.

3. Feature Engineering:

   • Statische Kenmerken (71 kenmerken): Afgeleid van de genormaliseerde sleutelpunten om de pose-configuratie op individuele tijdstippen vast te leggen. Dit omvat het gemiddelde sleutelpuntposities, maximale sleutelpuntposities en de gemiddelde afstanden tussen specifieke sleutelpunten (bijv. hand-tot-hand, hand-tot-schouder).
   • Dynamische Kenmerken (5 kenmerken): Afgeleid om de temporele evolutie en beweging vast te leggen. Dit omvat de gemiddelde snelheid en versnelling van de linker- en rechterhand, evenals de snelheidsratio tussen de twee handen.
   • De uiteindelijke set kenmerken bestaat uit 76 kenmerken (71 statisch + 5 dynamisch).

4. Classificatie en Analyse:

   • Een Random Forest classifier werd gekozen vanwege de verklaarbaarheid en bewezen prestaties bij skelet-gebaseerde activiteitsherkenning.
   • t-SNE (t-distributed Stochastic Neighbor Embedding) werd gebruikt om de clustering van de feature-subsets (alleen statisch, alleen dynamisch, en gecombineerd) te visualiseren om de klasse-scheidbaarheid te beoordelen.
   • Feature-belang werd geëvalueerd met behulp van Gini-belangrijkheidsscores om onderscheidende factoren te identificeren.

Belangrijkste Resultaten

• Classificatienauwkeurigheid: De gecombineerde feature-set (statisch en dynamisch) behaalde de hoogste classificatienauwkeurigheid van 87,04%. Dit vormde een verbetering ten opzichte van het model met alleen statische kenmerken (83,33%) en het model met alleen dynamische kenmerken (66,67%).
• Prestaties per Klasse:
  • De klasse "No Gesture" werd perfect geclassificeerd.
  • De "Go" klasse behaalde 88% nauwkeurigheid in het statische model.
  • De "Stop" klasse vertoonde de meest significante verbetering bij het toevoegen van dynamische kenmerken, stijgend van 59% (alleen statisch) naar 71% (gecombineerd).
• Feature Discriminatoren:
  • Statische Analyse: De gemiddelde verticale ($y$) positie van de rechterhand en de hand-tot-hand afstand waren de meest onderscheidende statische kenmerken.
  • Dynamische Analyse: Handversnelling was de primaire discriminator. Specifiek werd de snelheid van de linkerhand geïdentificeerd als het meest belangrijke kenmerk in het gecombineerde model. De auteurs schrijven dit toe aan het feit dat voetgangers aan de rechterkant van de weg voornamelijk hun linkerhand gebruiken om voertuigen te signaleren.
• Clustering: De t-SNE-analyse toonde aan dat, hoewel "No Gesture" gemakkelijk te onderscheiden is, "Stop" en "Thank & Greet" een overlap vertonen in statische kenmerken vanwege vergelijkbare handposities. De introductie van dynamische kenmerken hielp de klassen matig te scheiden, hoewel er enige ambiguïteit bleef bestaan tussen "Go" en "Thank & Greet", waarschijnlijk door vergelijkbare duur van de gebaren.

Betekenis en Bijdragen
Het artikel beweert de kloof tussen onderzoek naar voetgangersgebaren en computationele analyse te overbruggen door een framework te bieden dat gebruikmaakt van real-world data in plaats van gesimuleerde omgevingen. De belangrijkste bijdragen zijn:

1. Standaardisatie: Het voorstellen van een vier-klassen taxonomie afgeleid van cross-culturele literatuur en bestaande datasets om de categorisering van gebaren voor AV-toepassingen te standaardiseren.
2. Validatie van het Framework: Het aantonen dat een combinatie van statische pose en bewegingsdynamiek cruciaal is voor nauwkeurige gebarenherkenning, waarbij een nauwkeurigheid van 87% wordt bereikt.
3. Gedragsinzicht: Het identificeren dat handpositie en bewegingssnelheid de meest onderscheidende factoren zijn, wat specifieke inzichten biedt in hoe AV's de intentie van voetgangers beter kunnen interpreteren.
4. Datasetbenutting: Het succesvol aanpassen van de WIVW-dataset voor voetgangersgebarenherkenning, wat een baseline biedt voor toekomstig onderzoek in real-world verkeerscontexten.

De auteurs concluderen dat hoewel het huidige framework de perceptuele capaciteiten verbetert, toekomstig werk de exploratie van deep learning-modellen, temporele sequentiemodellering (bijv. LSTM) en kenmerken in het frequentiedomein moet onderzoeken om periodieke bewegingen verder te onderscheiden en overlappende clusters op te lossen.