MMGait: Towards Multi-Modal Gait Recognition

1. 문제 제기 (Problem Statement)

보행 인식 (Gait Recognition) 은 사용자의 협조 없이 원거리에서 신원을 식별할 수 있는 강력한 생체 인식 기술로 주목받고 있습니다. 그러나 기존 연구들은 주로 RGB 기반 모달리티 (실루엣, 포즈 시퀀스 등) 에 집중되어 있어 다음과 같은 한계를 가지고 있습니다.

• 환경적 취약성: 조명 변화, 안개, 비, 가려짐 (Occlusion) 등에 취약합니다.
• 3D 정보 부재: 2D 이미지 기반은 깊이 (Depth) 및 3D 구조 정보를 충분히 반영하지 못합니다.
• 모달리티의 단편성: 기존 멀티모달 벤치마크 (예: LidarGait, FreeGait) 는 RGB 와 LiDAR 만을 포함하는 경우가 많아, 이질적인 센서 간의 상호작용과 통합된 크로스-센서 검색 (Cross-sensor retrieval) 을 연구하기 어렵습니다.

실제 배포 환경에서는 다양한 센서 (가시광선, 적외선, 깊이, 라이다, 레이더 등) 가 혼재되어 사용되므로, 이를 통합적으로 다루는 포괄적인 벤치마크와 모델이 필요합니다.

2. 방법론 (Methodology)

A. MMGait 벤치마크 구축

논문의 핵심은 MMGait라는 새로운 대규모 멀티모달 보행 데이터셋을 제안하는 것입니다.

• 데이터 구성: 5 가지 이질적인 센서 (RGB 카메라, 적외선 (IR) 카메라, 깊이 (Depth) 카메라, LiDAR 스캐너, 4D 레이더 시스템) 로부터 수집된 데이터를 기반으로 합니다.
• 규모: 725 명의 피험자, 총 334,060 개의 시퀀스, 12 가지 모달리티를 포함합니다.
• 다양성:
  • 센서: 가시광선부터 적외선, 2D 외형부터 3D 기하학적 구조, 저비용부터 고비용 장비까지 포괄.
  • 조건: 정상 보행 (NM), 배낭 착용 (BG), 의상 변경 (CL) 의 3 가지 조건.
  • 뷰포인트: 0 도부터 360 도까지 36 도 간격으로 10 개의 시점 (Viewpoint) 을 포함하여 크로스-뷰 평가 가능.
• 모달리티 종류: RGB, 실루엣, 2D/3D 포즈, 이벤트 (Event), IR, IR 실루엣, 깊이 (Depth), 투영 깊이 (Projected Depth), 포인트 클라우드 등.

B. Omni Multi-Modal Gait Recognition (OMGR) 태스크

기존의 단일 모달리티, 크로스-모달리티, 멀티-모달리티 평가를 통합하는 새로운 태스크를 정의했습니다.

• 목표: 어떤 모달리티를 쿼리로 입력받아도, 어떤 모달리티의 갤러리에서든 타겟을 검색할 수 있는 단일 통합 모델을 개발하는 것.
• 핵심 기능:
  1. 범용 모달리티 인식: 이질적인 입력에 대한 강력한 일반화.
  2. 적응형 멀티모달 퓨전: 사용 가능한 모달리티 쌍에 따라 상호 보완적 정보 활용.
  3. 모달리티 무관 검색: 임의의 모달리티 쌍 간의 유연한 양방향 매칭.

C. OmniGait 모델 (Baseline)

OMGR 태스크를 수행하기 위해 제안된 단순하지만 강력한 베이스라인 모델입니다.

• 구조:
  1. 모달리티별 인코딩 (Modal-Specific Encoding): 각 센서/모달리티의 고유한 물리적 특성을 보존하기 위해 독립적인 인코더 사용.
  2. 크로스-모달 퓨전 (Cross-Modal Fusion): 게이트 메커니즘 (Gating mechanism) 을 통해 모달리티 간 가중치를 동적으로 조절하며 특징을 융합.
  3. 공유 표현 학습 (Shared Representation Learning): 단일 모달리티 및 융합된 특징을 공통의 백본 (Shared Backbone) 을 통해 학습하여 모달리티 불변의 임베딩 공간 형성.
• 장점: 별도의 모델 학습 없이 하나의 모델로 단일, 크로스, 멀티모달 태스크를 모두 처리하며 계산 효율성이 높음.

3. 주요 기여 (Key Contributions)

1. MMGait 데이터셋: 5 개의 센서, 12 개의 모달리티, 725 명, 33 만 개 이상의 시퀀스를 포함하는 현재까지 가장 포괄적인 멀티모달 보행 인식 데이터셋 구축.
2. 포괄적인 평가: 단일 모달리티, 크로스 모달리티, 멀티 모달리티 (센서 내/간) 에 대한 체계적인 평가를 통해 각 모달리티의 강점, 약점, 상호 보완성을 분석.
3. OMGR 태스크 및 OmniGait: 다양한 보행 인식 패러다임을 단일 프레임워크로 통합하는 새로운 태스크를 제안하고, 이를 검증하는 OmniGait 모델을 제시.

4. 실험 결과 (Results)

A. 단일 모달리티 인식

• RGB 기반: RGB 이미지와 실루엣이 가장 높은 성능을 보였으나, 의상 변경 (CL) 조건에서는 성능이 급격히 하락.
• 구조 기반: Depth 와 LiDAR 기반 모달리티는 의상 변경 조건에서 RGB 보다 훨씬 강력한 성능을 보임 (구조적 정보의 우위).
• IR 및 레이더: IR 은 조명 변화에 강하지만 실루엣 추출 시 도메인 시프트 문제가 발생. 4D 레이더는 희소성 (Sparsity) 으로 인해 단독으로는 성능이 낮으나 보조 모달리티로 유용함.

B. 크로스-모달리티 인식

• 성능: RGB ↔ IR 실루엣 간 검색은 비교적 용이하나, RGB ↔ Depth/LiDAR 간 검색은 의상 변경 조건에서 큰 격차를 보임.
• 한계: 가려짐과 의상 변화는 모달리티 간 차이를 극대화하여 크로스-모달 검색을 매우 어렵게 만듦.

C. 멀티-모달리티 인식

• 퓨전 효과: 단일 센서 내 (예: RGB 실루엣 + 이벤트) 또는 센서 간 (예: RGB 실루엣 + LiDAR 투영 깊이) 퓨전은 성능을 크게 향상시킴.
• 주요 성과: RGB 실루엣과 LiDAR 투영 깊이를 융합한 경우, 의상 변경 (CL) 조건에서 Rank-1 정확도가 약 19.7% 향상됨. 이는 기하학적 정보가 외형적 모호성을 보완했음을 시사.

D. OmniGait 성능

• 통합 모델: OmniGait 는 별도의 모달리티 전용 모델과 비교하여 경쟁력 있는 성능을 보이며, 일부 경우 (특히 NM, BG 조건) 에서는 전용 모델을 능가함.
• 효율성: 9.96M 개의 파라미터로 모든 모달리티와 태스크를 지원하며, 계산 비용이 크게 증가하지 않음.
• 제로샷 전이: MMGait 에서 학습된 OmniGait 를 다른 데이터셋 (SUSTech1K) 에 미세 조정 없이 적용했을 때, 멀티모달 퓨전 시 Rank-1 정확도가 53.07% 에 도달하여 강력한 일반화 능력을 입증.

5. 의의 및 결론 (Significance)

• 실용성: 실제 배포 환경에서 다양한 센서가 혼재된 상황을 가정하여, 단일 모델로 유연하게 대응할 수 있는 체계를 제시했습니다.
• 연구 방향 전환: 특정 모달리티에 최적화된 모델을 만드는 것에서 벗어나, 이질적인 센서 데이터를 통합하고 상호 보완적으로 활용하는 범용 보행 이해 (Universal Gait Understanding) 로 연구의 초점을 이동시켰습니다.
• 미래 지향성: OmniGait 는 멀티모달 보행 인식 시스템의 확장성 (Scalability) 과 배포 가능성 (Deployability) 을 높이는 중요한 발판이 되며, 향후 3D 포인트 클라우드를 직접 처리하는 등 더 정교한 통합 모델 연구의 기반을 마련했습니다.

이 논문은 MMGait 데이터셋과 OmniGait 모델을 통해 멀티모달 보행 인식의 새로운 표준을 제시하며, 복잡한 실세계 환경에서의 신원 식별 기술 발전에 크게 기여할 것으로 기대됩니다.