Adoption of MMPose, a general purpose pose estimation library, for animal tracking

이 논문은 MMPose 라이브러리를 활용하여 동물 행동 분석에 적합한 다양한 최첨단 포즈 추정 모델을 평가하고, 복잡한 환경과 단순한 환경 간의 정확도 및 처리 속도 트레이드오프와 기초 모델의 일반화 한계를 규명함으로써 실험 목적에 맞는 모델 선택의 중요성을 강조합니다.

핵심

이 논문은 **"동물의 행동을 카메라로 찍어 분석할 때, 어떤 '눈'을 써야 가장 잘 볼 수 있을까?"**에 대한 실험 보고서입니다.

과학자들이 쥐 같은 동물의 행동을 연구할 때, 이제 사람의 손으로 영상을 하나하나 보는 대신 컴퓨터가 자동으로 관절 위치를 찾아주는 기술 (포즈 추정) 을 많이 씁니다. 하지만 기존에 쓰던 프로그램들은 "이거 하나만 써라"라고 정해놓은 경우가 많아서, 연구자들이 상황에 맞춰 유연하게 바꾸기 어려웠습니다.

이 연구는 MMPose라는 아주 포괄적이고 유연한 '컴퓨터 비전 도구 상자'를 가져와서, 쥐의 행동을 추적하는 데 어떻게 적용할 수 있는지 시험해 보았습니다.

주요 내용을 쉽게 비유해서 설명해 드릴게요.

1. 문제 상황: "하나의 신발로 모든 길 걷기"

기존에 과학자들이 쓰던 프로그램 (DeepLabCut, SLEAP 등) 은 마치 **"모든 상황에 딱 맞는 신발"**을 하나만 팔고 있는 것과 비슷합니다. 편하기는 하지만, 진흙길 (복잡한 환경) 이나 스키장 (단순한 환경) 에 따라 신발이 달라야 하는데, 그걸 고를 수 없었습니다.

연구자들은 **"우리는 다양한 신발 (모델) 을 골라 상황에 맞춰 신을 수 있는 큰 창고 (MMPose) 가 필요하다"**고 생각했습니다.

2. 실험: "미로"와 "빈 운동장"

연구팀은 쥐 두 마리를 두 가지 다른 환경에 넣고 카메라로 찍으며 다양한 '눈' (AI 모델) 들을 테스트했습니다.

• 상황 A: 복잡한 미로 ( Maze)

  • 특징: 쥐가 벽 뒤에 숨기도 하고, 배경이 복잡하고, 시야가 가려지는 (가림 현상) 환경입니다.
  • 결과: 여기서 가장 잘한 모델은 DEKR이라는 '하단형 (Bottom-up)' 모델이었습니다.
  • 비유: DEKR 은 마치 "복잡한 군중 속에서 친구 얼굴을 찾아내는 탐정" 같습니다. 주변이 시끄럽고 가려져도 전체적인 흐름을 보고 정확한 위치를 찾아냅니다. 정확도는 최고였지만, 속도는 조금 느렸습니다.
  • 참고: 기존에 많이 쓰던 SLEAP 나 DeepLabCut 은 이 복잡한 환경에서 실수가 좀 더 많았습니다.

• 상황 B: 넓은 빈 운동장 (Open Field)

  • 특징: 배경이 하얗고 단순하며, 쥐가 가려지는 일이 거의 없습니다.
  • 결과: 여기서는 SLEAP 같은 가벼운 모델이 가장 빨랐습니다.
  • 비유: 빈 운동장에서는 **"달리는 아이를 따라가는 카메라"**가 가장 효율적입니다. 복잡한 추리가 필요 없으니 속도가 매우 빠릅니다.

핵심 교훈: "가장 빠른 것"이 항상 좋은 건 아니고, "가장 정확한 것"이 항상 좋은 것도 아닙니다. 미로 같은 복잡한 실험엔 정교한 탐정 (DEKR) 을, 단순한 실험엔 빠른 카메라 (SLEAP) 를 써야 한다는 것입니다.

3. 실패한 시도: "만능 기초 체력"의 한계

최근에 **"TopViewMouse-5K"**라는, 수많은 쥐 데이터를 미리 학습시킨 '초거대 기초 모델 (Foundation Model)'이 나왔습니다. 마치 "어떤 상황에서도 잘할 수 있도록 미리 훈련된 슈퍼 스포츠 선수" 같은 거죠.

연구팀은 이 모델을 가져와서 우리 실험 (미로) 에 바로 적용해 보았습니다.

• 결과: 완전 실패했습니다. (0 점에 가까웠습니다.)
• 이유: 이 슈퍼 선수는 '흰 배경의 운동장'만 많이 봤지, '복잡한 미로'는 본 적이 없었기 때문입니다.
• 추가 실험: 우리 데이터 (미로) 와 이 선수의 데이터 (운동장) 를 섞어서 다시 훈련시켰더니, 오히려 성능이 떨어지거나 별로 나아지지 않았습니다.
• 교훈: "만능 기초 체력"만으로는 복잡한 현실 세계의 문제를 해결할 수 없습니다. 각 실험실의 고유한 환경 (미로, 배경, 조명 등) 에 맞춰 데이터를 따로 학습시키는 것이 훨씬 중요합니다.

4. 결론: "도구상자를 열어라"

이 연구가 우리에게 주는 메시지는 다음과 같습니다.

1. 유연함이 핵심이다: 연구자들은 자신들의 실험 환경 (미로인지, 운동장인지) 에 가장 잘 맞는 '모델'을 자유롭게 골라 쓸 수 있어야 합니다. MMPose 는 그런 선택지를 제공합니다.
2. 정확도 vs 속도: 실험 목적에 따라 선택이 달라져야 합니다. "얼마나 정확한가?"가 중요하면 무겁지만 정확한 모델을, "얼마나 빠르게 처리할 수 있는가?"가 중요하면 가벼운 모델을 써야 합니다.
3. 데이터 공유의 필요성: 더 똑똑한 AI 를 만들려면, 전 세계 실험실들이 서로의 데이터를 공유해서 다양한 상황 (미로, 수영장, 어두운 곳 등) 을 모두 학습시켜야 합니다.

한 줄 요약:

"동물 행동을 분석할 때, '하나의 정해진 방법'에 매달리지 말고, 상황에 맞는 다양한 AI 도구 (모델) 를 MMPose 라는 큰 도구상자에서 골라 쓰세요. 그리고 '만능 해결사'를 기대하기보다, 자신의 실험 환경에 딱 맞는 데이터를 만들어 학습시키는 것이 더 중요합니다."

기술 요약

논문 요약: MMPose 를 활용한 동물 추적 및 포즈 추정

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 신경과학 및 행동 연구 분야에서 마커리스 (markerless) 포즈 추정은 동물 행동 정량화에 필수적이지만, 현재 널리 사용되는 도구들 (DeepLabCut, SLEAP 등) 은 사용자 친화적인 인터페이스를 제공하지만 모델 아키텍처와 설정을 제한합니다. 이는 연구자들이 특정 실험 환경이나 복잡한 행동 패러다임에 맞춰 모델을 최적화하는 유연성을 떨어뜨립니다.
• 표준화 부재: 각 도구마다 고유한 데이터 포맷을 사용하여 데이터 공유와 모델 간 벤치마킹이 어렵습니다.
• 기반 모델 (Foundation Model) 의 일반화 문제: 최근 대규모 데이터로 훈련된 기반 모델 (예: TopViewMouse-5K) 이 제안되었으나, 다양한 실험 환경 (특히 복잡한 미로 등) 에 대한 제로샷 (zero-shot) 일반화 성능이 낮고, 기존 데이터와 결합했을 때 일관된 성능 향상을 보이지 않는 경우가 많습니다.
• 목표: 컴퓨터 비전 분야에서 개발된 범용 포즈 추정 라이브러리인 MMPose를 동물 행동 연구에 도입하여, 다양한 최신 모델들을 유연하게 선택하고 평가할 수 있는 워크플로우를 구축하는 것입니다.

2. 방법론 (Methodology)

• 도구 도입: OpenMMLab 프로젝트의 범용 포즈 추정 라이브러리인 MMPose를 채택했습니다. 이는 MS COCO 키포인트 포맷을 지원하여 데이터 표준화를 가능하게 하며, MMDetection 과 같은 객체 탐지 도구와 쉽게 통합됩니다.
• 데이터셋:
  1. 복잡한 미로 (Kumar Lab Maze): 가려짐 (occlusion) 이 많고 배경이 복잡한 환경. 쥐의 코와 꼬리 기저부 2 개의 키포인트를 추적.
  2. 단순한 오픈 필드 (Open Field Arena, OFA): 흰색 배경으로 시각적 노이즈가 적은 환경. 쥐의 몸체 12 개의 키포인트를 추적.
  3. TopViewMouse-5K: 대규모 상위 뷰 (top-view) 쥐 데이터셋. 일반화 능력을 테스트하기 위해 사용.
• 벤치마킹 모델: MMPose 를 통해 9 가지 이상의 다양한 모델을 평가했습니다.
  • Top-down 방식: Deformable DETR, RetinaNet, YOLOv3 와 결합된 HRNet 및 DeepPose 헤드.
  • Bottom-up 방식: DEKR.
  • 기존 도구: DeepLabCut (DLC), SLEAP.
• 평가 지표:
  • 정확도: 신체 길이 기준 키포인트 정확도 비율 (PCK, Proportion of Correct Keypoints). 특히 0.5 신체 길이 임계값을 주로 사용.
  • 처리 속도: 초당 프레임 수 (FPS).
  • 시나리오: 복잡한 미로 내/외부 성능 비교, TopViewMouse-5K 데이터의 제로샷 및 결합 훈련 성능 평가.

3. 주요 결과 (Key Results)

• 정확도 vs. 처리 속도 트레이드오프:
  • 복잡한 미로 환경: DEKR (Bottom-up) 모델이 모든 임계값에서 가장 높은 정확도 (0.5 신체 길이 기준 PCK > 90%) 를 보였으나, 처리 속도는 중간 수준 (11.7 FPS) 이었습니다.
  • 속도 최적화: SLEAP이 가장 빠른 처리 속도 (52.8 FPS) 를 보였으나 정확도는 상대적으로 낮았습니다. YOLO DeepPose는 속도와 정확도 사이의 균형을 잘 맞췄습니다.
  • 환경적 영향: 복잡한 미로 환경에서는 모든 모델의 성능이 오픈 필드보다 떨어졌으나, 모델별 감소 폭이 달랐습니다. DEKR 은 성능 감소가 가장 적었으나, Def-DETR 기반 모델들은 가려짐에 매우 취약했습니다.
• 기반 모델 (TopViewMouse-5K) 의 한계:
  • TopViewMouse-5K 데이터만 학습된 모델은 복잡한 미로 환경에서 제로샷 추론 시 매우 낮은 성능 (PCK 0.03~0.34) 을 보였습니다.
  • 미로 데이터와 TopViewMouse-5K 데이터를 결합하여 재학습했을 때, 대부분의 모델에서 성능이 향상되지 않았거나 오히려 감소했습니다. 이는 현재 쥐 기반 모델 데이터셋이 복잡한 실험 환경을 포괄할 만큼 다양하지 않음을 시사합니다.
• 단순 환경에서의 성능: 오픈 필드 (OFA) 와 같이 시각적으로 단순한 환경에서는 모든 모델이 높은 정확도 (PCK > 0.90) 를 달성하여 아키텍처 간 차이가 미미했습니다.

4. 주요 기여 (Key Contributions)

1. 유연한 워크플로우 구축: MMPose 를 동물 행동 연구에 적용하여 연구자가 실험 요구사항 (정확도 우선 vs. 처리 속도 우선) 에 따라 최적의 모델을 유연하게 선택하고 구성할 수 있는 파이프라인을 제시했습니다.
2. 체계적인 벤치마킹: 복잡한 환경과 단순 환경, 그리고 다양한 아키텍처 (Top-down, Bottom-up, Transformer 기반 등) 간의 성능 차이를 정량적으로 분석하여, "단일 최적 모델"은 존재하지 않으며 컨텍스트에 맞는 선택이 중요함을 증명했습니다.
3. 데이터 표준화 및 공유 촉진: MS COCO 포맷을 사용하여 데이터 공유와 재현성을 높였으며, 신경과학 데이터 표준 (NWB, DANDI 등) 과의 통합 가능성을 제시했습니다.
4. 기반 모델의 현실적 평가: 현재 공개된 쥐 기반 포즈 추정 기반 모델이 복잡한 자연주의적 행동 분석에 일반화되기 위해서는 더 다양하고 풍부한 데이터셋이 필요함을 강조했습니다.

5. 의의 및 결론 (Significance)

• 연구 패러다임 전환: 신경과학자들이 컴퓨터 비전 분야의 최신 기술 (다양한 아키텍처, 데이터 증강 기법 등) 을 쉽게 접목하여 실험의 민감도, 재현성, 확장성을 높일 수 있는 길을 열었습니다.
• 실용적 가이드라인 제공: 연구자들은 실험의 복잡성 (가려짐 유무, 장기 모니터링 필요성 등) 과 계산 자원을 고려하여 모델 선택 전략을 수립할 수 있습니다. (예: 고처리량 스크리닝에는 SLEAP/YOLO, 정밀한 복잡한 행동 분석에는 DEKR 등)
• 미래 방향성: 단일 도구에 의존하기보다는 모듈화된 파이프라인을 구축하고, 다양한 실험실로부터의 데이터를 공유하여 더 강력하고 일반화된 기반 모델을 개발해야 함을 강조합니다. 이는 행동 유전학 및 신경과학 연구의 규모와 정밀도를 획기적으로 향상시킬 것입니다.

이 논문은 기존의 폐쇄적인 도구 생태계에서 벗어나, 개방형 컴퓨터 비전 프레임워크를 활용하여 동물 행동 연구의 기술적 진보를 가속화할 수 있음을 입증한 중요한 연구입니다.