PoseAdapt: Sustainable Human Pose Estimation via Continual Learning Benchmarks and Toolkit

PoseAdapt 은 새로운 작업에 맞춰 기존 모델을 재학습하지 않고도 지속 가능한 인간 포즈 추정을 가능하게 하는 오픈 소스 continual learning 프레임워크 및 벤치마크 세트를 제안합니다.

핵심

🏃‍♂️ 1. 문제: "왜 로봇은 새로운 옷을 입으면 길을 잃을까?"

지금까지 개발된 '인간 자세 추정 AI' (사람의 손, 발, 얼굴 위치를 찾는 AI) 는 마치 한 번만 훈련받은 운동선수와 같습니다.

• 상황: 이 선수는 밝은 스포츠 경기장에서만 훈련받았습니다.
• 문제: 갑자기 어두운 밤길이나, 사람이 빽빽하게 모여 있는 시장, 혹은 카메라가 아닌 3D 센서를 통해 세상을 보게 되면?
• 결과: 선수는 당황해서 실수를 연발합니다. (논문 Fig. 2 참조)

기존 방식은 두 가지였습니다:

1. 처음부터 다시 훈련: 매번 환경이 바뀌면 선수를 다시 0 번부터 가르칩니다. (시간과 비용이 너무 많이 듭니다.)
2. 그냥 고치기 (파인튜닝): 기존 지식을 덮어쓰고 새로운 것만 가르칩니다. (이렇게 하면 **이전에 배운 걸 완전히 잊어버리는 '재앙적 망각'**이 일어납니다.)

🛠️ 2. 해결책: "포즈어댑트 (PoseAdapt)"란 무엇인가?

저자들은 **"지속 가능한 학습 (Continual Learning)"**이라는 개념을 도입했습니다.
이를 유능한 요리사에 비유해 볼까요?

• 기존 방식: 매번 새로운 나라 (환경) 에 가면, 그 나라 음식만 배우기 위해 기존에 배운 모든 요리를 잊어버립니다.
• 포즈어댑트 방식: 요리사는 기존 레시피 (지식) 는 책장에 잘 보관해 두면서, 새로운 나라의 재료를 만나면 그것만 추가해서 새로운 요리를 배웁니다.
  • "이제 한국 음식도 배우자! 근데 프랑스 요리법은 잊지 말아야지."
  • "이제 밤에 요리하는 법도 배우자! 근데 낮에 하던 요령은 유지해야지."

이 도구는 AI 가 새로운 환경 (빛, 카메라 종류, 사람 수) 이나 새로운 신체 부위 (손가락, 척추 등) 를 만나도, 이전 능력을 잃지 않고 점진적으로 성장하게 해줍니다.

🎮 3. 어떻게 테스트했을까? (게임 레벨 디자인)

연구팀은 이 AI 가 얼마나 잘 적응하는지 보기 위해 세 가지 난이도 높은 게임 레벨을 만들었습니다.

1. 혼잡도 레벨 (Density):
   • 상황: 사람이 하나둘씩 늘어나고, 서로 가려지는 (Occlusion) 상황이 점점 심해집니다.
   • 비유: 한 사람이 걷던 공원에서, 점점 더 많은 사람이 몰려와 서로를 가리는 상황.
2. 조명 레벨 (Lighting):
   • 상황: 밝은 낮에서 점점 어두워져서, 거의 캄캄한 밤까지.
   • 비유: 햇살 좋은 날에서, 가로등이 켜진 저녁, 그리고 완전한 어둠 속으로 이동하는 상황.
3. 센서 레벨 (Modality):
   • 상황: 일반적인 카메라 (RGB) 에서 흑백 카메라, 그리고 깊이 감지 센서 (Depth) 로 바뀌는 것.
   • 비유: 눈으로 보는 세상에서, 흑백 TV 를 보거나, 3D 입체 안경을 끼고 세상을 보는 상황.

📊 4. 실험 결과: 누가 이겼을까?

이 게임에서 여러 전략을 시험해 보았습니다.

• 무식한 훈련 (Fine-tuning): 새로운 환경에 적응은 빠르지만, 이전에 배운 걸 금방 잊어버립니다. (가장 안 좋은 결과)
• EWC (기억 보호): 과거의 지식을 너무 강하게 붙잡고 있어서, 새로운 것을 배우는 속도가 느립니다.
• LwF (지식 증류): 새로운 것을 잘 배우지만, 아주 극단적인 변화 (예: 카메라 -> 깊이 센서) 에는 약합니다.
• 🏆 LFL (가장 덜 잊는 학습): 가장 균형 잡힌 선수였습니다. 새로운 환경에 적응하면서도, 과거의 지식을 가장 잘 유지했습니다.

하지만 가장 큰 충격은 카메라에서 깊이 센서 (Depth) 로 넘어가는 것이었습니다. 어떤 방법도 이 큰 차이를 완벽하게 극복하지 못했습니다. 이는 AI 가 서로 완전히 다른 '눈'으로 세상을 볼 때는 여전히 큰 어려움을 겪고 있음을 보여줍니다.

💡 5. 결론: 왜 이것이 중요한가?

이 논문은 **"AI 를 한 번 만들고 끝내는 시대는 지났다"**고 말합니다.

• 실제 세상은 변합니다. 빛이 변하고, 카메라가 바뀌고, 새로운 신체 부위를 인식해야 할 수도 있습니다.
• 포즈어댑트는 AI 가 한 번의 거대한 재훈련 없이, 작은 업데이트만으로 평생 현역으로 일할 수 있는 방법을 제시합니다.
• 이는 로봇, 헬스케어, 스포츠 분석 등 실제 현장에서 AI 를 오랫동안, 효율적으로 쓸 수 있는 길을 열어줍니다.

한 줄 요약:

"포즈어댑트는 AI 가 새로운 환경에 적응할 때, '과거의 지식을 잊지 않고 새로운 것을 배우는' 지속 가능한 학습 시스템을 만들어, 로봇이 평생 현역으로 일할 수 있게 돕는 도구입니다."

기술 요약

1. 문제 정의 (Problem)

기존의 인간 자세 추정 (Human Pose Estimation, HPE) 모델은 고정된 데이터셋에서 한 번 학습된 후 배포되는 정적 (Static) 인 접근 방식을 따릅니다. 그러나 실제 배포 환경에서는 다음과 같은 변화가 빈번하게 발생하여 모델 성능이 급격히 저하됩니다.

• 환경적 변화: 조명 (Lighting), 시점 (Perspective), 밀도 (Density), 가림 (Occlusion) 등의 변화.
• 센서 및 모달리티 변화: RGB 에서 그레이스케일, 깊이 (Depth) 이미지 등으로의 입력 모달리티 변경.
• 스켈레톤 구조 변화: 새로운 관절 (Keypoints) 이 추가되거나 제거되는 경우 (예: 얼굴, 척추 관절 추가).

현재의 대응 방식인 '처음부터 재학습 (Retraining from scratch)'은 계산 비용이 너무 많이 들고, '간단한 파인튜닝 (Naive Fine-tuning)'은 이전 지식을 망각하는 재앙적 망각 (Catastrophic Forgetting) 문제를 야기합니다. 또한, 엣지 디바이스와 같은 제한된 자원 환경에서는 과거 데이터에 대한 접근이 불가능하거나 재학습이 불가능한 경우가 많습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 PoseAdapt라는 오픈소스 프레임워크와 벤치마크를 제안했습니다. 이는 인간 자세 추정을 위한 지속 학습 (Continual Learning, CL) 을 표준화하고 실용화하는 것을 목표로 합니다.

A. PoseAdapt 프레임워크

MMPose 와 같은 기존 툴킷 위에 구축된 범용 지속 적응 레이어로, 세 가지 주요 단계로 구성됩니다.

1. 초기화 (Initialization): 새로운 경험 (Experience) 에 맞춰 모델을 준비합니다.
   • 고정 아키텍처 전략 (LwF, EWC 등) 의 경우 이전 모델의 스냅샷 (Reference Snapshot) 을 생성합니다.
   • 클래스 증가 (Class-incremental) 상황에서는 예측 헤드를 확장하여 새로운 관절을 수용합니다.
2. 적응 (Adaptation): 새로운 데이터 ($D_i$) 에 대해 제약 조건 하에 모델을 최적화합니다.
   • 손실 함수: $\mathcal{L} = (1-\alpha)\mathcal{L}_{kpt} + \alpha\mathcal{L}_{reg}$
   • 정규화 전략:
     • LFL (Less-Forgetful Learning): 이전 모델의 특징 맵 (Feature map) 이 변하지 않도록 MSE 기반 정규화.
     • LwF (Learning without Forgetting): 이전 모델의 출력 (Logits) 을 지식 증류 (Distillation) 하여 보존.
     • EWC (Elastic Weight Consolidation): 파라미터의 중요도 (Fisher Information) 를 기반으로 중요한 가중치 변경을 억제.
3. 마무리 (Finalization): 다음 경험에 사용할 상태 (스냅샷 또는 Fisher 정보) 를 계산하고 저장합니다.

B. 벤치마크 및 평가 프로토콜

실제 배포 제약을 반영한 엄격한 조건을 설정했습니다.

• 제약 조건: 고정된 경량 백본 (RTMPose-t), 과거 데이터 접근 금지, 엄격한 예산 (경험당 1,000 개 이미지, 10 에포크).
• 트랙 (Tracks):
  1. 도메인 증가 (Domain-Incremental): 조명, 밀도/가림, 모달리티 (RGB $\to$ 그레이스케일/Depth) 의 점진적 변화를 시뮬레이션.
  2. 클래스 증가 (Class-Incremental): 시간이 지남에 따라 새로운 관절 (Body $\to$ Feet $\to$ Face $\to$ Spine) 을 추가하여 스켈레톤이 성장하는 시나리오.
• 평가 지표:
  • RA (Retention Accuracy): 모든 경험을 학습한 후의 평균 성능 (안정성).
  • AF (Average Forgetting): 이전 작업에서의 성능 저하 정도 (망각 정도).

3. 주요 기여 (Key Contributions)

1. PoseAdapt 프레임워크 및 벤치마크 공개: 도메인 증가 및 클래스 증가 시나리오를 모두 지원하는 지속 학습을 위한 최초의 표준화된 오픈소스 도구.
2. 현실적인 벤치마크 프로토콜 설계: 고정된 경량 백본, 과거 데이터 접근 불가, 제한된 학습 예산을 강제하여 실제 배포 환경의 어려움을 정확히 반영.
3. 모듈형 툴킷 제공: 데이터셋 래퍼, 플러그인 기반 CL 전략, 프로토콜 인식 평가 도구를 제공하여 연구자와 실무자가 지속 가능한 모델 적응을 쉽게 수행할 수 있도록 지원.

4. 실험 결과 (Results)

RTMPose-t 를 기반으로 FT(Fine-tuning), EWC, LFL, LwF 를 비교 평가한 결과는 다음과 같습니다.

• 일반적인 경향:
  • FT (Naive Fine-tuning): 새로운 도메인에 빠르게 적응하지만 이전 도메인 성능이 급격히 떨어지며, 종종 고정된 사전 학습 모델보다 낮은 성능을 보입니다.
  • 정규화 방법의 우위: 정규화 기반 방법들이 FT 보다 전반적으로 더 나은 안정성을 보입니다.
• 도메인별 세부 결과:
  • 밀도/가림 (Density/Occlusion): LFL 이 가장 안정적인 성능을 보였으며, LwF 는 단일 단계 적응에서 좋은 성능을 냈습니다.
  • 조명 (Lighting): 조명 변화는 매우 까다롭습니다. LFL 이 모든 조명 수준에서 가장 높은 안정성 (RA) 을 보였으며, FT 는 어두운 환경으로 갈수록 참조 모델 성능이 크게 저하되었습니다.
  • 모달리티 (Modality): RGB 에서 Depth 이미지로의 전환은 가장 심각한 성능 저하를 일으켰습니다. 어떤 방법도 RGB $\to$ Depth 전환 시 기존 성능을 유지하지 못했으며 (RA 15~20%), 정규화만으로는 센서 간 적응이 어렵다는 것을 보여줍니다.
• 클래스 증가 (BodyParts): 새로운 관절을 추가하는 시나리오에서 헤드를 확장하는 방식이 유효함을 보였으나, 이 부분은 향후 연구 과제로 남겼습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 지속 가능한 적응의 필요성 강조: PoseAdapt 은 인간 자세 추정 모델이 재학습 없이도 시간이 지남에 따라 새로운 환경과 작업에 적응할 수 있는 지속 가능한 패러다임을 제시합니다.
• 안정성 - 가소성 트레이드오프 (Stability-Plasticity Trade-off) 규명:
  • LFL은 광학적 변화 (조명 등) 에 가장 강인한 안정성을 제공합니다.
  • LwF는 새로운 작업에 대한 적응력 (가소성) 이 뛰어나지만, 누적 망각이 발생할 수 있습니다.
  • EWC는 모달리티 변화 시 이전 도메인을 어느 정도 보존하지만, 강한 변화에는 한계가 있습니다.
• 향후 방향: 현재는 2D 단일 프레임과 합성 데이터에 국한되어 있으나, 이 프레임워크는 비디오 기반, 3D 자세 추정, 실제 센서 데이터, 그리고 어댑터 (Adapter) 기반 CL 로의 확장을 위한 기초를 마련했습니다.

결론적으로, PoseAdapt 은 인간 자세 추정 분야에서 지속 학습 연구의 표준을 제시하고, 제한된 자원 환경에서도 모델이 진화할 수 있는 실용적인 경로를 제시한다는 점에서 중요한 의의를 가집니다.