Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

기술 요약: 제스처의 중요성: 골격 포즈 평가를 통한 자율주행 자동차용 보행자 제스처 인식

문제 정의
자율주행 자동차(AV)가 지능형 교통 시스템에 배치됨에 따라, 보행자와 운전자 사이의 비언어적 소통을 해석하는 능력에 결정적인 격차가 존재합니다. 공식적인 교통 규칙이 우선권(right-of-way)을 규정하고 있지만, 실제 교통 상황은 종종 비언어적 신호, 즉 제스처를 통해 의도를 협상하고 교착 상태를 해결합니다. 인간 운전자는 이러한 사회적 신호를 자연스럽게 인지하지만, 현재의 자율주행 자동차는 인간 행동의 불확incity(불확실성)를 포착할 수 있는 사전 정의된 규칙에만 의존할 뿐, 이를 해석할 수 있는 지각 능력이 부족합니다. 이러한 한계는 자율주행 자동차가 복잡한 도시 환경에서 과도하게 조심스럽거나 반응하지 못하게 만들 위험이 있습니다. 또한, 기존 연구들은 시뮬레이션 환경이나 특정 제스처 범주에 국한된 데이터셋을 사용하는 경우가 많아, 제스처 인식을 위해 특화된 전용 실세계 데이터셋이 부족한 실정입니다.

방법론
이러한 격차를 해소하기 위해, 저자들은 WIVW 데이터셋의 실세계 비디오 시퀀스를 활용한 보행자 제스처 인식용 컴퓨터 비전 프레임워크를 제안합니다. 방법론은 다음 단계로 진행됩니다:

1. 데이터 큐레이션 및 분류 체계(Taxonomy):

   • 저자들은 보행자-자율주행차 간의 상호작용에 대한 적합성을 보장하기 위해, WIVW 데이터셋에서 180개의 야외, 정면, 보행자 중심 비디오를 선택했습니다(실내 VR 및 제3자 관점 제외).
   • 문헌 검토를 바탕으로 **"정지(Stop)", "진행(Go)", "감사 및 인사(Thank & Greet)", "제스처 없음(No Gesture)"**의 4개 클래스 제스처 분류 체계를 구축했습니다. 이러한 통합은 다양한 지역과 문화 전반에 걸친 견고성을 높이기 위해 설계되었습니다.
   • 비디오는 제스처가 존재하는 프레임을 분리하고 불필요한 시퀀스를 제거하는 전처리 과정을 거쳤습니다.

2. 포즈 추정 및 정규화:

   • 프레임에서 2D 골격 키포인트(COCO 어노테이션을 따르는 17개 지점)를 추출하기 위해 RTMPose-m 모델(MMPose를 통해)을 사용합니다.
   • 규모(scale)와 위치 변화를 완화하기 위해 토르소 기반 정규화(torso-based normalization) 방법을 구현했습니다. 키포인트는 미드 힙(mid-hip) 지점을 기준으로 정규화되었으며, 토르소 크기(어깨와 엉덩이 사이의 평균 유클리드 거리로 계산됨)에 의해 스케일링되었습니다. 이를 통해 보행자와 카메라 사이의 거리에 관계없이 특징이 불변하도록 보장했습니다.

3. 특징 공학(Feature Engineering):

   • 정적 특징 (71개 특징): 개별 타임스텝에서의 포즈 구성을 포착하기 위해 정규화된 키포인트로부터 도출되었습니다. 여기에는 평균 키포인트 위치, 최대 키포인트 위치, 특정 키포인트 간의 평균 거리(예: 손과 손 사이, 손과 어깨 사이)가 포함됩니다.
   • 동적 특징 (5개 특징): 시간적 진화와 움직임을 포착하기 위해 도출되었습니다. 여기에는 왼손과 오른손의 평균 속도 및 가속도, 그리고 양손 사이의 속도 비율이 포함됩니다.
   • 최종 특징 세트는 총 76개(정적 71개 + 동적 5개)의 특징으로 구성됩니다.

4. 분류 및 분석:

   • 설명 가능성이 높고 골격 기반 활동 인식에서 입증된 성능을 가진 랜덤 포레스트(Random Forest) 분류기를 선택했습니다.
   • 특징 서브셋(정적 전용, 동적 전용, 결합형)의 클러스터링을 시각화하여 클래스 분리도를 평가하기 위해 **t-SNE(t-distributed Stochastic Neighbor Embedding)**를 사용했습니다.
   • 특징의 중요도는 Gini 중요도 점수를 사용하여 변별력 있는 요인을 식별하는 데 사용되었습니다.

주요 결과

• 분류 정확도: 결합된 특징 세트(정적 및 동적)는 **87.04%**의 가장 높은 분류 정확도를 달 기록했습니다. 이는 정적 전용 모델(83.33%)과 동적 전용 모델(66.67%)보다 향상된 수치입니다.
• 클래스별 성능:
  • "제스처 없음" 클래스는 완벽하게 분류되었습니다.
  • "진행(Go)" 클래스는 정적 모델에서 88%의 정확도를 달성했습니다.
  • "정지(Stop)" 클래스는 동적 특징이 추가되었을 때 가장 큰 개선을 보였으며, 정적 전용 모델의 59%에서 결합 모델의 71%로 증가했습니다.
• 특징 변별 요소:
  • 정적 분석: 오른손의 평균 수직($y$) 위치와 손과 손 사이의 거리가 가장 변별력 있는 정적 특징이었습니다.
  • 동적 분석: 손의 속도가 주요 변별 요소였습니다. 특히, 왼손의 속도가 결합 모델에서 단일 가장 중요한 특징으로 식별되었습니다. 저자들은 이를 보행자가 도로 우측에서 차량에 신호를 보낼 때 주로 왼손을 사용하기 때문이라고 분석했습니다.
• 클러스터링: t-SNE 분석 결과, "제스처 없음"은 쉽게 구별되는 반면, "정지"와 "감사 및 인사"는 유사한 손 위치로 인해 정적 특징에서 중첩이 나타남을 확인했습니다. 동적 특징의 도입이 이 클래스들을 중간 정도로 분리하는 데 도움을 주었으나, 유사한 제스처 지속 시간으로 인해 "진행"과 "감사 및 인사" 사이에는 여전히 일부 모호함이 존재했습니다.

의의 및 기여
본 논문은 시뮬레이션 환경이 아닌 실세계 데이터를 활용하는 프레임워크를 제공함으로써 보행자 제스처 연구와 계산적 분석 사이의 간극을 메운다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 표준화: 자율주행 응용을 위한 제스처 범주화를 표준화하기 위해 기존 데이터셋 및 교차 문화 문헌에서 도출된 4개 클래스 분류 체계를 제안했습니다.
2. 프레임워크 검증: 정적 포즈와 운동 역학의 결 조합이 정확한 제스처 인식에 필수적임을 입증하며 87%의 정확도를 달성했습니다.
3. 행동 통찰: 손의 위치와 움직임 속도가 가장 변별력 있는 요소임을 식별하여, 자율주행 자동차가 보행자의 의도를 더 잘 해석할 수 있도록 구체적인 통찰을 제공했습니다.
4. 데이터셋 활용: WIVW 데이터셋을 보행자 제스처 인식에 성공적으로 적용하여, 실세계 교통 맥락에서의 향후 연구를 위한 베이스라인을 제공했습니다.

저자들은 현재의 프레임워크가 지각 능력을 향 개선시키지만, 향후 연구에서는 주기적 움직임을 더욱 잘 구분하고 중첩된 클러스터를 해결하기 위해 딥러닝 모델, 시계열 시퀀스 모델링(예: LSTM), 그리고 주파수 영역 특징을 탐구해야 한다고 결론지었습니다.