Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

Resumen Técnico: El gesto importa: Reconocimiento de gestos de peatones para AV mediante la evaluación de la pose del esqueleto

Planteamiento del problema
A medida que los vehículos autónomos (AV) se despliegan en sistemas de transporte inteligentes, persiste una brecha crítica en su capacidad para interpretar la comunicación no verbal entre peatones y conductores. Mientras que las normas de tráfico formales rigen el derecho de paso, el tráfico en el mundo real depende a menudo de señales no verbales informales —específicamente gestos— para negociar intenciones y resolver bloqueos. Los conductores humanos perciben naturalmente estas señales sociales, pero los AV carecen actualmente de la capacidad perceptual para interpretarlas, dependiendo en su lugar de reglas predefinidas que pueden no capturar la incertidumbre del comportamiento humano. Esta limitación conlleva el riesgo de que los AV se vueldan excesivamente cautelosos o poco receptivos en entornos urbanos complejos. Además, la investigación existente carece de un conjunto de datos dedicado y del mundo real específicamente diseñado para el reconocimiento de gestos de peatones, ya que los conjuntos de datos actuales suelen estar limitados a entornos simulados o categorías de gestos específicas.

Metodología
Para abordar estas brechas, los autores proponen un marco de visión computacional para el reconocimiento de gestos de peatones utilizando secuencias de video del mundo real del conjunto de datos WIVW. La metodología procede a través de las siguientes etapas:

1. Curación de datos y taxonomía:

   • Los autores utilizaron el conjunto de datos WIVW, seleccionando 180 videos exteriores, con vista frontal y centrados en el peatón (excluyendo VR de interiores y perspectivas de terceros) para asegurar la relevancia en la interacción peatón-AV.
   • Se estableció una taxonomía de cuatro clases basada en la revisión de literatura: "Parar" (Stop), "Pasar" (Go), "Agradecer y Saludar" (Thank & Greet) y "Sin Gesto" (No Gesture). Esta agregación fue diseñada para mejorar la robustez a través de diferentes regiones y culturas.
   • Los videos fueron preprocesados para aislar los fotogramas positivos de gestos, eliminando secuencias no esenciales.

2. Estimación de la pose y normalización:

   • El marco emplea el modelo RTMPose-m (vía MMPose) para extraer puntos clave (keypoints) de esqueleto 2D (17 puntos siguiendo la anotación COCO) de los fotogramas de video.
   • Se implementó un método de normalización basado en el torso para mitigar las variaciones de escala y posición. Los puntos clave se normalizaron en relación con el punto medio de la cadera y se escalaron según el tamaño del torso (calculado como la distancia euclidiana promedio entre los hombros y las caderas), asegurando que las características permanezcan invariantes a la distancia del peatón respecto a la cámara.

3. Ingeniería de características (Feature Engineering):

   • Características estáticas (71 características): Derivadas de los puntos clave normalizados para capturar la configuración de la pose en instantes de tiempo individuales. Estas incluyen la posición media de los puntos clave, la posición máxima de los puntos clave y la distancia promedio entre puntos clave específicos (por ejemplo, mano-a-mano, mano-al-hombro).
   • Características dinámicas (5 características): Derivadas para capturar la evolución temporal y el movimiento. Estas incluyen la velocidad media y la aceleración de las manos izquierda y derecha, así como la relación de velocidad entre ambas manos.
   • El conjunto final de características comprende 76 características (71 estáticas + 5 dinámicas).

4. Clasificación y análisis:

   • Se seleccionó un clasificador de Bosque Aleatorio (Random Forest) por su explicabilidad y su rendimiento probado en el reconocimiento de actividades basadas en esqueletos.
   • Se utilizó t-SNE (t-distributed Stochastic Neighbor Embedding) para visualizar la agrupación de los subconjuntos de características (solo estáticas, solo dinámicas y combinadas) para evaluar la separabilidad de las clases.
   • La importancia de las características se evaluó mediante puntuaciones de importancia de Gini para identificar los factores discriminativos.

Resultos clave

• Precisión de clasificación: El conjunto de características combinadas (estáticas y dinámicas) logró la precisión de clasificación más alta de 87.04%. Esto representó una mejora sobre el modelo de solo estáticas (83.33%) y el modelo de solo dinámicas (66.67%).
• Desempeño por clase:
  • La clase "Sin Gesto" fue clasificada perfectamente.
  • La clase "Pasar" alcanzó un 88% de precisión en el modelo estático.
  • La clase "Parar" mostró la mejora más significativa al añadir características dinámicas, aumentando del 59% (solo estáticas) al 71% (combinadas).
• Discriminadores de características:
  • Análisis estático: La posición vertical media ($y$) de la mano derecha y la distancia mano-a-mano fueron las características estáticas más discriminativas.
  • Análisis dinámico: La velocidad de la mano fue el principal discriminador. Específicamente, la velocidad de la mano izquierda fue identificada como la característica más importante en el modelo combinado. Los autores atribuyen esto a que los peatones en el lado derecho de la carretera utilizan principalmente su mano izquierda para señalar a los vehículos.
• Agrupación (Clustering): El análisis t-SNE reveló que, si bien "Sin Gesto" es fácilmente distinguible, "Parar" y "Agradecer y Saludar" presentan un solapamiento en las características estáticas debido a posiciones de las manos similares. La introducción de características dinámicas ayudó a separar moderadamente estas clases, aunque persistió cierta ambigüedad entre "Pasar" y "Agradecer y Saludar", probablemente debido a la similitud en las duraciones de los gestos.

Significancia y contribuciones
El artículo afirma cerrar la brecha entre la investigación de gestos de peatones y el análisis computacional proporcionando un marco que utiliza datos del mundo real en lugar de entornos simulados. Sus principales contribuciones son:

1. Estandarización: La propuesta de una taxonomía de cuatro clases derivada de la literatura transcultural y conjuntos de datos existentes para estandarizar la categorización de gestos para aplicaciones de AV.
2. Validación del marco: Demostrar que la combinación de la pose estática y la dinámica del movimiento es crítica para un reconocimiento de gestos preciso, alcanzando una precisión del 87%.
3. Perspectiva conductual: Identificar que la posición de la mano y la velocidad de movimiento son los factores más discriminativos, ofreciendo información específica sobre cómo los AV pueden interpretar mejor la intención del peatón.
4. Utilización de datos: Adaptación exitosa del conjunto de datos WIVW para el reconocimiento de gestos de peatones, proporcionando una base para futuras investigaciones en contextos de tráfico real.

Los autores concluyen que, si bien el marco actual mejora las capacidades perceptivas, el trabajo futuro debería explorar modelos de aprendizaje profundo, el modelado de secuencias temporales (por ejemplo, LSTM) y características del dominio de la frecuencia para distinguir mejor los movimientos periódicos y resolver los grupos solapados.