Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

Resumo Técnico: A Importância dos Gestos: Reconhecimento de Gestos de Pedestres para Veículos Autônomos através da Avaliação de Pose Esquelética

Definição do Problema
À medida que os veículos autônomos (VAs) são implementados em sistemas de transporte inteligentes, uma lacuna crítica permanece em sua capacidade de interpretar a comunicação não verbal entre pedestres e motoristas. Embora as regras formais de trânsito governem a preferência de passagem, o tráfego no mundo real frequentemente depende de pistas não verbais informais — especificamente gestos — para negociar intenções e resolver impasses. Motoristas humanos percebem naturalmente esses sinais sociais, mas os VAs carecem atualmente da capacidade perceptiva para interpretá-los, baseando-se em vez disso em regras predefinidas que podem não capturar a incerteza do comportamento humano. Essa limitação corre o risco de tornar os VAs excessivamente cautelosos ou não responsivos em ambientes urbanos complexos. Além disso, a pesquisa existente carece de um conjunto de dados dedicado ao mundo real, especificamente adaptado para o reconhecimento de gestos de pedestres, com os conjuntos de dados atuais sendo frequentemente limitados a ambientes simulados ou categorias de gestos específicas.

Metodologia
Para abordar essas lacunas, os autores propõem um framework de visão computacional para o reconhecimento de gestos de pedestres usando sequências de vídeo do mundo real do conjunto de dados WIVW. A metodologia procede através das seguintes etapas:

1. Curadoria de Dados e Taxonomia:

   • Os autores utilizaram o conjunto de dados WIVW, selecionando 180 vídeos externos, de visão frontal e centrados no pedestre (excluindo VR indoor e perspectivas de terceira pessoa) para garantir a relevância para a interação pedestre-VA.
   • Uma taxonomia de quatro classes de gestos foi estabelecida com base em revisão de literatura: "Parar" (Stop), "Ir" (Go), "Agradecer e Cumprimentar" (Thank & Greet) e "Sem Gesto" (No Gesture). Esta agregação foi projetada para aumentar a robustez entre diferentes regiões e culturas.
   • Os vídeos foram pré-processados para isolar quadros positivos de gesto, removendo sequências não essenciais.

2. Estimativa de Pose e Normalização:

   • O framework emprega o modelo RT-MPose-m (via MMPose) para extrair pontos-chave (keypoints) esqueléticos 2D (17 pontos seguindo a anotação COCO) dos quadros de vídeo.
   • Um método de normalização baseada no torso foi implementado para mitigar variações de escala e posição. Os pontos-chave foram normalizados em relação ao ponto médio do quadril e escalonados pelo tamanho do torso (calculado como a distância euclidiana média entre ombros e quadris), garantindo que as características permaneçam invariantes à distância do pedestre em relação à câmera.

3. Engenharia de Atributos (Feature Engineering):

   • Atributos Estáticos (71 atributos): Derivados dos pontos-chave normalizados para capturar a configuração da pose em instantes individuais. Estes incluem posição média dos pontos-chave, posição máxima dos pontos-chave e distância média entre pontos-chave específicos (ex: mão-mão, mão-ombro).
   • Atributos Dinâmicos (5 atributos): Derivados para capturar a evolução temporal e o movimento. Estes incluem a velocidade média e a aceleração das mãos esquerda e direita, bem como a razão de velocidade entre as duas mãos.
   • O conjunto final de atributos compreende 76 atributos (71 estáticos + 5 dinâmicos).

4. Classificação e Análise:

   • Um classificador Random Forest foi selecionado por sua explicabilidade e desempenho comprovado no reconhecimento de atividades baseadas em esqueleto.
   • O t-SNE (t-distributed Stochastic Neighbor Embedding) foi utilizado para visualizar o agrupamento (clustering) dos subconjuntos de atributos (apenas estáticos, apenas dinâmicos e combinados) para avaliar a separabilidade das classes.
   • A importância dos atributos foi avaliada usando pontuações de importância de Gini para identificar fatores discriminativos.

Principais Resultados

• Acurácia de Classificação: O conjunto de atributos combinado (estático e dinâmico) alcançou a maior acurácia de classificação de 87,04%. Isso representou uma melhoria sobre o modelo apenas estático (83,33%) e o modelo apenas dinâmico (66,67%).
• Desempenho por Classe:
  • A classe "Sem Gesto" foi perfeitamente classificada.
  • A classe "Ir" alcançou 88% de acurácia no modelo estático.
  • A classe "Parar" mostrou a melhoria mais significativa quando os atributos dinâmicos foram adicionados, aumentando de 59% (apenas estático) para 71% (combinado).
• Discriminadores de Atributos:
  • Análise Estática: A posição vertical média ($y$) da mão direita e a distância mão-mão foram os atributos estáticos mais discriminativos.
  • Análise Dinâmica: A velocidade da mão foi o principal discriminador. Especificamente, a velocidade da mão esquerda foi identificada como o atributo individual mais importante no modelo combinado. Os autores atribuem isso ao fato de pedestres no lado direito da via utilizarem primariamente a mão esquerda para sinalizar aos veículos.
• Agrupamento (Clustering): A análise t-SNE revelou que, embora "Sem Gesto" seja facilmente distinguível, "Parar" e "Agradecer e Cumprimentar" exibem sobreposição nos atributos estáticos devido a posições de mãos semelhantes. A introdução de atributos dinâmicos ajudou a separar moderadamente essas classes, embora alguma ambiguidade tenha permanecido entre "Ir" e "Agradecer e Cumprimentar", provavelmente devido a durações de gesto semelhantes.

Significância e Contribuições
O artigo afirma preencher a lacuna entre a pesquisa de gestos de pedestres e a análise computacional ao fornecer um framework que utiliza dados do mundo real em vez de ambientes simulados. Suas principais contribuições são:

1. Padronização: A proposta de uma taxonomia de quatro classes derivada de literatura cross-cultural e conjuntos de dados existentes para padronizar a categorização de gestos para aplicações de VA.
2. Validação do Framework: Demonstrar que a combinação de pose estática e dinâmica de movimento é crítica para o reconhecimento de gestos preciso, alcançando uma pontuação de acurácia de 87%.
3. Insight Comportamental: Identificar que a posição e a velocidade de movimento das mãos são os fatores mais discriminativos, oferecendo insights específicos sobre como os VAs podem interpretar melhor a intenção do pedestre.
4. Utilização de Dataset: Adaptar com sucesso o conjunto de dados WIVW para o reconhecimento de gestos de pedestres, fornecendo uma base para pesquisas futuras em contextos de tráfego do mundo real.

Os autores concluem que, embora o framework atual melhore as capacidades perceptivas, trabalhos futuros devem explorar modelos de deep learning, modelagem de sequência temporal (ex: LSTM) e atributos de domínio de frequência para distinguir melhor movimentos periódicos e resolver clusters sobrepostos.