Edges Are All You Need: Robust Gait Recognition via Label-Free Structure

본 논문은 기존 실루엣 및 파싱 기반의 한계를 극복하기 위해 레이블 없이 RGB 이미지에서 고주파 구조적 단서를 추출하는 새로운 시각 모달리티인 '스케치'를 제안하고, 이를 실루엣 및 파싱과 결합한 계층적 분해 다중 모달 프레임워크 'SKETCHGAIT'를 통해 강건한 보행 인식을 달성함을 보여줍니다.

핵심

🚶‍♂️ 1. 기존 방법의 문제점: "실루엣"과 "해부도"의 딜레마

사람의 걸음걸이를 분석할 때 지금까지 주로 두 가지 방법을 써왔습니다.

1. 실루엣 (Silhouette) 방식:

   • 비유: 사람이 검은색 그림자로만 보이는 실루엣을 보는 거예요.
   • 장점: 배경 잡음을 잘 제거합니다.
   • 단점: 몸통 안쪽의 디테일이 다 사라져요. 팔이 어떻게 흔들리는지, 무릎이 어떻게 구부러지는지 같은 내부 구조를 알 수 없어서, 옷차림이 비슷하거나 몸짓이 미묘하게 다를 때 구별하기 어렵습니다.

2. 파싱 (Parsing) 방식:

   • 비유: 사람의 몸을 부위별 (머리, 팔, 다리 등) 로 색칠한 해부도처럼 보는 거예요.
   • 장점: 내부 구조를 알 수 있어 더 정교합니다.
   • 단점: **라벨 (색칠 기준)**에 너무 의존합니다. 만약 AI 가 "팔"이라고 표시된 부분을 잘못 인식하거나, 옷에 있는 로고나 무늬를 팔로 착각하면 엉뚱한 결론을 내립니다. 또한, 옷이 복잡하거나 가려졌을 때 (예: 팔이 몸통에 가려짐) 라벨이 헷갈려서 성능이 떨어집니다.

🎨 2. 새로운 아이디어: "스케치 (Sketch)"라는 세 번째 길

저자들은 이 두 방법 사이에서 놓친 중요한 영역을 발견했습니다. 바로 **"라벨은 없지만, 구조는 아주 풍부한 스케치"**입니다.

• 비유: 그림을 그릴 때, 연필로 사람의 윤곽선과 주름, 관절의 굽힘을 선으로만 쫙쫙 그려낸 스케치를 상상해 보세요.
• 특징:
  • 라벨이 없습니다: "이건 팔이다", "이건 다리다"라고 미리 정해둔 색칠이 없으므로, 옷의 로고나 무늬에 속지 않습니다.
  • 구조가 풍부합니다: 실루엣처럼 단순한 외곽선만 있는 게 아니라, 옷 주름, 팔과 몸이 겹치는 부분, 관절의 움직임 등 **세부적인 선 (에지)**까지 모두 잡아냅니다.

이론적으로 이 '스케치'는 옷차림이나 가림 현상에 덜 흔들리면서도, 몸의 움직임을 아주 정밀하게 포착할 수 있는 완벽한 방법처럼 보였습니다.

⚠️ 3. 하지만 약점이 있었습니다: "옷장 속 잡음"

하지만 여기서 문제가 생겼습니다.
스케치를 그리는 도구 (에지 감지 AI) 가 너무 예민해서, 사람의 몸 구조가 아닌 '옷의 무늬'나 '로고'까지 선으로 잡아챕니다.

• 비유: 그림을 그릴 때, 사람의 팔선만 그리는 게 아니라 옷에 있는 꽃무늬나 로고까지 너무 세밀하게 그려버리는 꼴이 된 거죠.
• 결과: AI 가 "이 사람이 누구냐"를 판단할 때, 몸짓이 아니라 옷의 무늬를 보고 추측하게 되어 (속임수 학습), 옷을 갈아입으면 못 알아보는 문제가 생깁니다.

🤝 4. 해결책: "스케치 (Sketch)"와 "해부도 (Parsing)"의 결혼

저자들은 이 두 가지를 서로 보완하게 만들었습니다.

• 전략:

  1. 스케치 (Sketch) 가 "구조"를 담당: 옷의 무늬나 로고에 흔들리지 않고, 몸의 **진짜 움직이는 뼈대 (관절, 주름)**를 선으로 잡아냅니다.
  2. 해부도 (Parsing) 가 "가이드"를 담당: "이건 옷 무늬야, 무시해!"라고 스케치에게 알려주어, 불필요한 잡음을 걸러줍니다.
  3. 결합 (SketchGait): 두 가지 정보를 처음 단계에서 가볍게 섞고, 나중에는 각각의 특징을 살려서 학습합니다.

• 비유:

  • 스케치는 "세상 모든 선을 다 그리는 예리한 눈"이고,
  • 해부도는 "무엇이 진짜 몸이고 무엇이 옷인지 아는 경험 많은 선생님"입니다.
  • 이 둘이 팀을 이루면, 선생님이 "이건 옷 무늬니까 지워라"라고 알려주면, 예리한 눈은 오직 사람의 움직이는 선만 깔끔하게 그려낼 수 있게 됩니다.

🏆 5. 결과: "옷차림이 달라도 알아맞히는 AI"

이 새로운 방법 (SketchGait) 을 실제 데이터로 테스트한 결과는 놀라웠습니다.

• 성공: 옷을 갈아입거나, 가방을 메거나, 밤에 걷는 상황에서도 기존 방법들보다 훨씬 정확하게 사람을 식별했습니다.
• 의의: "라벨 없이 구조만 보는 것"이 얼마나 강력한지 증명했고, 기존 방법들의 단점을 서로의 장점으로 메꾸는 새로운 패러다임을 제시했습니다.

💡 한 줄 요약

"사람의 걸음걸이를 볼 때, 단순한 그림자나 복잡한 해부도 대신, 옷의 무늬에 속지 않는 '선 (스케치)'과 '의미 (해부도)'를 함께 활용하면, 옷을 갈아입어도 누구인지 정확히 알아맞힐 수 있다!"

기술 요약

1. 문제 정의 (Problem Statement)

보안 응용 분야에서 비접촉식 생체 인증 기술로 각광받는 보행 인식 (Gait Recognition) 은 현재 주로 실루엣 (Silhouette) 기반 또는 파싱 (Parsing) 기반 표현에 의존하고 있습니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 실루엣 (Silhouette) 의 한계: 배경 잡음을 제거하는 데 효과적이지만, 이진 마스크 형태로만 표현되어 인체 내부의 구조적 세부 사항 (관절 운동, 자기 가림 등) 이 누락됩니다. 이로 인해 미세하지만 구별력이 있는 보행 패턴을 포착하는 능력이 제한됩니다.
• 파싱 (Parsing) 기반 표현의 한계: 인체를 의미론적 부분 (semantic parts) 으로 분해하여 실루엣에 내부 구조를 추가하지만, 이는 상위 인간 파서 (Human Parser) 의 품질에 크게 의존합니다.
  • 레이블 의존성: 사전 정의된 의미론적 레이블에 의존하므로, 불균형한 데이터셋에서 의복 등 정적 속성에 과도하게 의존하는 '단락 학습 (Shortcut Learning)'이 발생할 수 있습니다.
  • 자기 가림 (Self-occlusion) 문제: 걷는 동안 신체 부위가 겹칠 경우, 파싱 레이블이 이를 하나의 범주로 잘못 매핑하여 유용한 운동 정보를 잃을 수 있습니다.
  • 일반화 저하: 파싱의 품질이 낮은 경우, 오히려 희소한 실루엣 표현보다 성능이 떨어지는 경우가 발생합니다.

핵심 질문: 레이블 없이도 밀집된 (Dense) 구조적 정보를 제공하면서도, 의미론적 편향 (Semantic Bias) 이나 파싱 오류의 영향을 받지 않는 새로운 표현 방식은 존재할 수 있는가?

---

2. 제안 방법론 (Methodology)

저자들은 보행 표현을 구조적 관점에서 재검토하여 두 가지 차원 (구조적 에지의 밀도, 감독의 형태) 으로 정의된 설계 공간을 제시했습니다. 이 공간에서 밀집된 부분 수준의 구조 정보를 제공하지만 명시적인 의미론적 레이블이 없는 (Label-free) 미탐구 영역을 발견하고, 이를 해결하기 위해 SketchGait 프레임워크를 제안했습니다.

A. 새로운 시각 모달리티: Sketch (스케치)

• 정의: RGB 이미지에서 직접 에지 기반 검출기 (Edge-based detectors, 예: TEED, PiDiNet) 를 사용하여 추출한 레이블 없는 구조적 표현입니다.
• 특징:
  • 고주파 구조 정보: 팔다리의 관절, 자기 가림 윤곽선 등 실루엣이 누락하는 내부 구조적 세부 사항을 포착합니다.
  • 레이블 프리 (Label-free): 사전 정의된 의미론적 레이블에 의존하지 않아, 파싱에서 발생하는 레이블 노이즈나 편향된 단락 학습의 위험을 줄입니다.
  • 전처리: 배경 간섭을 줄이기 위해 전경 (Foreground) 마스크를 적용한 후 에지를 추출합니다.

B. SketchGait 프레임워크

Sketch 와 기존 파싱 (Parsing) 표현 간의 계층적 해리 (Hierarchical Disentanglement) 와 구조적 상호 보완성을 활용하는 다중 모달 프레임워크입니다.

1. 이중 스트림 아키텍처 (Dual-stream Architecture):

   • Sketch 스트림: 레이블 없는 고주파 구조적 에지 정보를 학습합니다.
   • Parsing 스트림: 레이블 기반의 의미론적 부분 정보를 학습합니다.
   • 두 스트림은 깊은 층 (Deep layers) 에서 독립적으로 유지되어 각 모달리티의 고유한 특징 학습을 보장합니다.

2. 초기 단계 융합 (Early-stage Fusion):

   • 두 스트림의 저수준 구조적 보완성을 포착하기 위해 네트워크의 초기 단계 (Stage-1) 에 경량 융합 브랜치를 도입합니다.
   • 상호 지도 (Mutual Guidance):
     • Sketch 는 파싱의 레이블 편향을 완화하는 구조적 참조 역할을 합니다.
     • 파싱은 Sketch 가 의복 로고나 텍스처 같은 정체성과 무관한 에지에 과적합하는 것을 방지하는 정규화 (Regularization) 역할을 합니다.

3. 학습 목표:

   • 각 브랜치의 임베딩을 병합 (Concatenation) 하여 최종 보행 임베딩을 생성합니다.
   • 삼중항 손실 (Triplet Loss) 과 교차 엔트로피 손실 (Cross-Entropy Loss) 을 결합하여 최적화합니다.

---

3. 주요 기여 (Key Contributions)

1. 구조적 관점의 표현 분석: 보행 표현을 '에지 밀도 (Sparse $\to$ Dense)'와 '감독 형태 (Label-free $\to$ Label-guided)'의 2 차원 설계 공간으로 재정의하고, 기존 방법론들의 한계를 명확히 규명했습니다.
2. Sketch 모달리티의 도입: 보행 인식에 처음으로 '레이블 없는 밀집 구조적 정보 (Sketch)'를 새로운 시각 모달리티로 제안했습니다.
3. SketchGait 프레임워크 개발: 의미론적 해리와 구조적 보완성을 동시에 활용하는 계층적으로 해리된 다중 모달 프레임워크를 설계했습니다.
4. 광범위한 실험 검증: SUSTech1K 와 CCPG 데이터셋을 통해 제안된 방법의 유효성을 입증하고, 기존 SOTA 기법들을 능가하는 성능을 보였습니다.

---

4. 실험 결과 (Results)

주요 데이터셋인 SUSTech1K와 CCPG에서 다음과 같은 성과를 거두었습니다.

• SUSTech1K (실외, 다양한 조건):

  • SketchGait는 **Rank-1 정확도 92.9%**를 달성하여 기존 최첨단 방법론 (MultiGait++: 91.9%) 을 능가했습니다.
  • 단일 모달리티인 TEED 기반 Sketch 만으로도 실루엣 기반 방법론보다 8.7%p 이상 높은 성능을 보였습니다.
  • 특히 의복 변화 (CL) 조건에서 파싱 기반 방법론의 단점을 보완하며 강력한 성능을 발휘했습니다.

• CCPG (실내/실외, 의복 변화 중심):

  • SketchGait는 평균 **Rank-1 정확도 93.1%**를 기록했습니다.
  • 상호 보완성 분석: 단일 모달리티 (Sketch 또는 Parsing) 보다 두 가지를 결합했을 때 성능이 크게 향상되었습니다 (SUSTech1K 에서 +3.1%, CCPG 에서 +4.5% 향상).
  • 텍스처 노이즈 문제: TEED 기반 Sketch 는 의복의 복잡한 텍스처나 로고를 과도하게 감지하여 의복 변화 조건에서 성능이 저하될 수 있으나, 파싱 (Parsing) 스트림과의 결합을 통해 이러한 노이즈가 억제되고 성능이 회복됨을 확인했습니다.

• Ablation Study:

  • 초기 단계 융합 (Early-stage fusion) 이 중간/후기 단계 융합보다 구조적 보완성을 포착하는 데 더 효과적이었습니다.
  • 단순한 덧셈 (Add) 연산으로도 복잡한 어텐션 메커니즘과 유사한 성능을 달성하여 프레임워크의 효율성을 입증했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 보행 인식 분야에서 실루엣과 파싱에 치중되었던 기존 접근법을 넘어, 레이블 없는 고주파 구조 정보 (Edges) 가 강력한 특징 추출원임을 증명했습니다.
• 강건성 (Robustness): 레이블 의존성을 줄임으로써 데이터셋의 불균형이나 파서 오류에 덜 민감한 모델을 가능하게 했습니다.
• 미래 방향: Sketch 는 텍스처 노이즈에 취약할 수 있으나, 이를 파싱의 의미론적 정보와 결합함으로써 상호 보완적인 관계를 형성할 수 있음을 보여주었습니다. 향후 에지 검출기의 보행 특화 개선 및 텍스처 노이즈 제거 연구가 필요함을 제시했습니다.

요약하자면, 이 논문은 **"에지 (Edges) 만으로도 강력한 보행 인식이 가능하다"**는 것을 증명하며, 레이블 없는 구조적 정보와 의미론적 정보를 계층적으로 결합한 새로운 프레임워크를 통해 보행 인식의 강건성과 정확도를 획기적으로 향상시켰습니다.