MR-STGCN: A Multi-weather Robust Spatial–Temporal Graph Convolutional Network for Skeleton-based Gesture Recognition

기술 요약: 다중 기상 환경에 강건한 제스처 인식을 위한 MR-STGCN

문제 정의
복잡한 도시 교차로에서 작동하는 지능형 커넥티드 차량을 위해 교통 경찰의 명령 제스처를 정확하게 인식하는 것은 매우 중요합니다. 시각 기반 인지는 접촉식 센서에서 비접촉식 골격 기반 방식으로 진화해 왔으나, 기존 방식들은 악천후(비, 눈, 안개) 조건에서 어려움을 겪습니다. 이러한 조건은 이미지 품질을 저하시켜 국부적인 폐쇄(occlusion)를 유발하고 골격 키포인트 추정의 신뢰도를 떨어뜨립니다. 결과적으로 손목이나 팔꿈치와 같은 주요 관절이 밀려나거나 누락될 수 있습니다. 교통 경찰의 제스처는 유사한 명령(예: "직진" vs "차선 변경")을 구별하기 위해 원위부 사지의 정밀한 방향과 리듬에 의존하는 경우가 많기 때문에, 이러한 오류는 표준 시공간 그래프 합성곱 네트워크(ST-GCN)를 통해 전파됩니다. 또한, 기존의 ST-GCN은 일반적으로 고정된 물리적 토폴로지와 단일 스케일의 시간적 수용 영역을 채택하고 있어, 제스처의 다양한 속도(빠른 휘두름 vs 긴 자세 유지)와 기상 조건에 의해 도입되는 특정 노이즈 패턴을 반영하지 못합니다. 마지막으로, 강건성을 개선하기 위해 모델 복잡성을 높이는 것은 실시간 차량 탑재 엣지 배포에 필요한 저지연 및 자원 제약 조건을 저해할 수 있습니다.

방법론
저자들은 2D 골격 시퀀스로부터 8가지 표준 교통 경찰 명령 제스처를 인식하도록 설계된 프레임워크인 MR-STGCN(Multi-weather Robust Spatial–Temporal Graph Convolutional Network)을 제안합니다. 파이프라인은 COCO 형식의 키포인트를 추출하는 전방 포즈 추정기(RepMR-Pose)로 시작되며, 추출된 키포인트는 정규화 과정을 거쳐 시공간 그래프로 변환됩니다. 핵심 아키텍처는 두 가지 혁신적인 모듈을 특징으로 하는 적층형 MR-STGCN 유닛으로 구성됩니다.

1. 동적 지역 라우팅 어텐션(Dynamic Regional Routing Attention, DRRA): 불안정한 키포인트로부터의 오류 전파를 완화하기 위해, DRRA는 17개의 COCO 관절을 5개의 의미론적 영역(머리-어깨-몸통, 왼팔, 오른팔, 왼다리, 오른다리)으로 그룹화합니다. 이 모듈은 무제한적인 전역 집계 대신, 각 영역 간의 의미론적 상관관계를 평가합니다. 또한 Top-k 라우팅 메커니즘(쿼리당 상위 3개의 대상 영역 유지)을 사용하여 신뢰할 수 없거나 노이즈가 있는 영역(예: 가려진 사지)과 관련된 연결을 동적으로 억제합니다. 이를 통해 특징 전파가 고신뢰 영역을 우선시하도록 하여, 악천후 상황에서도 제스처의 의미론적 무결성을 보존합니다.
2. 경량 다중 스케일 팽창 합성곱 모듈(Lightweight Multi-Scale Dilated Convolution Module, MSDCM): 제스처의 시간적 다양성을 해결하기 위해, MSDCM은 서로 다른 팽창율(1, 2, 3, 5)을 가진 병렬 뎁스와이즈 분리 팽창 시간 합성곱(depthwise separable dilated temporal convolution) 브랜치를 활용합니다. 이 설계는 매개변수 수를 크게 늘리지 않으면서도 빠른 팔의 휘두름과 장시간의 자세 유지를 모두 포착할 수 있는 다중 스케일 수용 영역을 구축합니다. 계단식 잔차 전이 전략을 통해 이러한 브랜치들을 연결함으로써, 장기 의존성이 단기 역동적 단서를 유지할 수 있도록 합니다.

네트워크는 마지막으로 시간 및 관절 차원을 압축하기 위한 전역 평균 풀링과 분류를 위한 완전 연결 계층으로 마무리됩니다. 매개변수 크기와 계산 부담을 최소화하기 위해 교차 계층 잔차 연결과 전역 풀링이 사용됩니다.

주요 기여

• DRRA 모듈: 사지 영역 간의 의미론적 상관관계를 모델링하고 신뢰할 수 없는 영역으로부터 주의력을 동적으로 우회시켜, 기상 유도형 키포인트 드리프트 및 폐쇄로 인한 오류 전파를 효과적으로 줄이는 새로운 어텐션 메커니즘입니다.
• MSDCM 모듈: 병렬 팽창 합성곱을 통해 다중 스케일 시간 패턴(빠른 움직임 vs 정적 유지)을 포착하는 경량 시간 모델링 구성 요소로, 단일 스케일 시간 수용 영역의 한계를 해결합니다.
• 엣지 지향 아키텍처: 높은 인식 정확도와 낮은 자원 소비(2.85 M 매개변수) 사이의 균형을 맞추어 차량 탑재 배포에 최적화된 완전한 네트워크 설계입니다.

실험 결과
모델은 정상, 폭우, 폭설, 짙은 안개 조건 하의 8가지 제스처 카테고리를 포함하는 자체 구축 데이터셋(170개 비디오 시퀀스, 3,010개 이미지)에서 평가되었습니다.

• 성능: MR-STGCN은 **93.8%의 동작 시퀀스 정확도(ASA)**와 0.94의 F1-score를 달립다. 이는 76.2%의 Top-1 정확도(F1-score 0.86)를 기록한 베이스라인 ST-GCN뿐만 아니라, MS-G3D(91.9% ASA) 및 STAE-GCN(92.4% ASA)과 같은 다른 최첨단 방법들보다 우수한 성능을 보였습니다.
• 강건성: 혼동 행렬 분석 결과, MR-STGCN은 악천후 상황에서 유사한 제스처 간의 오분류를 크게 줄였습니다. 예를 들어, "직진"과 "차선 변경"을 구분하는 오류율은 15%(베이스라인)에서 3%로 감소하였고, "좌회전"과 "좌회전 대기"를 구분하는 오류율은 16%에서 3%로 감소하였습니다.
• 효율성: 모델은 피크 메모리 사용량 1221 MB와 동작 시퀀스당 평균 추론 시간 19.2 ms(약 52 FPS)를 유지하여, 실시간 엣지 배포에 적합함을 입증했습니다. 어블레이션 연구를 통해 DRRA와 MSDC 모두가 전체 성능에 상호 보완적인 기여를 한다는 점이 확인되었습니다.

의의 및 주장
본 논문은 MR-STGCN이 시각 데이터가 저하되는 개활지 도로 환경에서 골격 기반 제스처 인식을 위한 실행 가능한 솔루션을 제공한다고 주장합니다. 지역적 신뢰성과 다중 스케일 시간 역동성을 명시적으로 모델링함으로써, 이 방법은 엣지 배포를 방해하는 일반적인 계산 비용을 발생시키지 않으면서도 매우 유사한 제스처의 식별력을 높입니다. 저자들은 제안된 접근 방식이 인식 강건성, 추론 속도, 자원 효율성의 균형을 성공적으로 맞추었음을 강조하며, 이를 통해 지능형 커넥티드 차량 시스템으로의 통합 가능성을 보여주었습니다. 향후 연구 과제로 실제 도로 시나리오로의 데이터 수집 확대, 멀티모달 퓨전 조사, 그리고 임베디드 자동차 하드웨어를 위한 추가 최적화를 언급하였습니다.