💻 computer science

Unsupervised 3D Human Pose Estimation via Conditional Multi-view Ancestral Sampling

본 논문은 3D 지도 없이 단일 뷰에서 3D 인간 자세를 추정하기 위해 2D 운동 확산 사전 지식을 활용하는 조건부 다뷰 조상 샘플링 (cMAS) 방법을 제안하며, 기존 최첨단 접근법들에 비해 극단적인 자세에서 뛰어난 교차 도메인 성능을 달성합니다.

원저자: Ryohei Goto, Takuya Fujihashi, Shunsuke Saruwatari, Fumio Okura

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryohei Goto, Takuya Fujihashi, Shunsuke Saruwatari, Fumio Okura

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

큰 문제: "평면 사진" 퍼즐

복잡한 요가 자세를 취하는 사람의 단일 평면 사진이 있다고 상상해 보세요. 목표는 3 차원 공간에서 그 사람의 몸이 정확히 어떻게 위치해 있는지 (팔이 몸에서 얼마나 떨어져 있는지, 무릎의 각도는 어떤지 등) 를 파악하는 것입니다.

이는 컴퓨터에게 고전적인 퍼즐입니다. 벽에 드리워진 그림자만 보고 3 차원 조각상의 모양을 추측해 보려는 것과 같습니다. 보통 이를 해결하기 위해 컴퓨터는 수천 개의 사람 3 차원 스캔을 보고 "학습"해야 합니다. 하지만 이러한 3 차원 스캔을 얻는 것은 비용이 많이 들고, 수행하기 어려우며, 극단적인 요가 자세와 같은 특이한 자세를 포괄하지 못하는 경우가 많습니다.

해결책: "상상 엔진"

오사카 대학의 연구자들은 비싼 3 차원 학습 데이터 없이 이 문제를 해결하는 새로운 현명한 방법을 제안합니다. 3 차원 스캔으로 컴퓨터를 가르치는 대신, 2 차원 비디오(사람들이 춤을 추거나 운동하는 유튜브 클립 등)로 가르칩니다.

그들은 **모션 확산 모델 **(Motion Diffusion Model, MDM)이라는 기술을 사용합니다. 이 모델을 매우 훈련된 "상상 엔진"으로 생각하세요. 이 엔진은 수백만 개의 2 차원 비디오를 시청하며 "인간 움직임의 규칙"을 학습했습니다. 사람의 팔이 위로 올라가면 어깨가 특정 위치에 있을 가능성이 높고, 다리는 보통 땅에 닿아 있다는 것을 알고 있습니다.

마법의 트릭: "조건부 다중 뷰 조상 샘플링"(cMAS)

이 방법의 핵심은 cMAS입니다. 이를 간단한 이야기로 나누어 설명하면 다음과 같습니다.

시작점: 컴퓨터에 단일 사진 하나 (입력 뷰) 를 제공합니다.
상상: 컴퓨터는 "상상 엔진"을 사용하여 실제로 존재하지 않는 여섯 개의 다른 각도에서 이 사람이 어떻게 보이는지 추측합니다. 마치 컴퓨터가 사람 주위를 돌며 카메라를 회전시켜, 왼쪽, 오른쪽, 위, 아래에서 같은 자세를 찍은 여섯 개의 새로운 "가상 사진"을 생성하는 것과 같습니다.
앵커: 중요한 점은 컴퓨터가 원래 입력 사진과 일치하는 "가상 사진"이 실제 사진과 정확히 같도록 강요받는다는 것입니다. 이것이 "조건부" 부분으로, 상상을 현실에 고정시킵니다.
퍼즐 해결사 (삼각측량): 이제 컴퓨터는 같은 사람의 일곱 장의 사진 (실제 1 장, 상상 6 장) 을 갖게 됩니다. 그리고 일곱 장의 사진 모두에 완벽하게 부합하는 3 차원 모델을 구축하려고 시도합니다.
- 3 차원 모델이 틀리면 사진들이 정렬되지 않습니다.
- 3 차원 모델이 맞으면 일곱 개의 뷰가 퍼즐 조각처럼 모두 맞습니다.
"뼈" 규칙: 3 차원 모델이 고무 인형처럼 보이지 않도록 하기 위해 연구자들은 규칙을 추가했습니다. 뼈 길이는 일정하게 유지되어야 합니다. 팔이 움직일 때 늘어나거나 줄어들지 않는 것처럼, 컴퓨터는 관절 사이의 거리를 일정하게 유지하도록 강요받습니다. 이는 3 차원 자세가 부러지거나 불가능해 보이는 것을 방지합니다.

왜 이것이 이전 방법들보다 더 나은가요?

기존 지도 학습 방법: 이들은 특정 교과서 (일반적인 걷기/앉기 자세) 만으로 시험을 준비한 학생들과 같습니다. 만약 그들이 본 적 없는 요가 자세를 물어보면, 경직되어 있기 때문에 실패합니다.
기존 비지도 학습 방법: 이들은 그림자만 보고 3 차원 모양을 추측해 보지만, 실제 인간 몸이 어떻게 작동하는지에 대한 감각이 부족한 학생들과 같습니다. 머리를 통과하는 다리와 같은 자세를 추측할 수도 있습니다.
새로운 cMAS 방법: 이는 수백만 개의 비디오를 시청하며 인간 움직임의 논리를 이해하는 학생과 같습니다. 특정 요가 자세를 본 적이 없더라도 다른 각도에서 어떻게 보이는지 상상할 수 있고, "뼈 규칙"을 사용하여 현실적인 3 차원 모델을 구축할 수 있습니다.

결과

연구자들은 매우 어렵고 극단적인 자세를 포함하는 Yoga90 데이터셋에서 이를 테스트했습니다.

그들의 방법은 3 차원 학습 데이터를 가진 최고의 "지도 학습" 방법보다 정확도가 높았습니다.
3 차원 데이터를 사용하지 않은 최고의 "비지도 학습" 방법보다도 더 좋았습니다.
몸이 비틀리거나 신체 일부가 다른 부분을 가리는 (자기 가림) 자세에서 특히 잘 작동했는데, 이는 보통 컴퓨터를 혼란스럽게 만드는 부분입니다.

함정 (한계점)

논문은 두 가지 주요 약점을 인정합니다.

깊이 모호성: 사람이 카메라를 향해 곧게 기울고 있다면, 이 방법을 사용하더라도 그들이 얼마나 멀리 있는지 파악하는 것이 여전히 매우 어렵습니다. 평면 그림을 보고 그 그림이 얼마나 멀리 있는지 추측해 보려는 것과 같습니다.
쓰레기 들어가면 쓰레기 나온다: 이 방법은 초기 2 차원 사진이 정확하다는 전제에 의존합니다. 컴퓨터가 원래 사진에서 관절을 잘못 식별하면 (예: 손을 발로 착각), 전체 3 차원 재구성이 틀리게 됩니다.

요약

간단히 말해, 연구자들은 단일 2 차원 사진을 받아 AI "상상 엔진"을 사용하여 다른 각도에서 그 사람이 어떻게 보이는지 추측한 다음, 인간 뼈의 작동에 관한 엄격한 규칙을 따르며 3 차원 퍼즐을 해결하는 시스템을 구축했습니다. 이를 통해 비싼 3 차원 학습 데이터가 필요 없이 극단적인 움직임에 대한 3 차원 자세를 추정할 수 있습니다.

기술 요약: 조건부 다중 뷰 조상 샘플링을 통한 비지도 3D 인간 자세 추정

문제 제기
3D 인간 자세 추정은 컴퓨터 비전 응용에 필수적이지만, 3D 주석 데이터셋 (예: Human3.6M) 의 부족과 도메인 특수성으로 인해 상당한 도전에 직면해 있습니다. 지도 학습 기반 방법들은 학습 도메인 내에서 높은 정확도를 달성하지만, 요가 데이터셋에서 발견되는 극단적인 자세와 같은 도메인 외 (OOD) 시나리오에서는 심각한 성능 저하를 겪습니다. 비지도 또는 자기지도 리프팅 (lifting) 방법들은 풍부한 2D 데이터를 활용하여 3D 정답 데이터의 필요성을 우회하려 시도하지만, 기존 접근법들은 종종 해부학적 정확성을 보장하지 못하거나 깊이 모호성에 직면하여 복잡한 시나리오에서 부정확한 추정을 초래합니다. 또한, 최근 확산 기반 모션 합성 방법들 (Motion Diffusion Models 또는 MDMs) 은 유망한 성과를 보였으나, 일반적으로 3D 데이터로 학습되거나 무조건적 생성에 사용되며, 특정 관찰된 2D 자세에 기반하여 생성을 조건화하는 메커니즘이 부족합니다.

방법론
저자들은 사전 훈련된 모션 확산 모델 (MDMs) 의 2D 확산 사전 지식을 활용하여 3D 지도 학습 없이 단일 뷰에서 3D 인간 자세를 추정하는 방법을 제안합니다. 이 접근법의 핵심은 다중 뷰 조상 샘플링 (MAS) 프레임워크를 확장한 **조건부 다중 뷰 조상 샘플링 (cMAS)**입니다.

프레임워크 개요: 이 방법은 2D-3D 리프팅을 사전 훈련된 2D MDM 의 노이즈 공간 내 최적화 문제로 취급합니다. cMAS 는 무작위 모션을 생성하는 대신, 입력 2D 관측치를 엄격히 준수하면서 다중 뷰 투영이 2D MDM 의 노이즈 공간 매니폴드와 정렬되도록 3D 자세를 최적화합니다.
조건부 조상 샘플링: 무작위 노이즈에서 3D 모션을 생성하는 기존 MAS 와 달리, cMAS 는 기준 뷰의 주어진 2D 자세 시퀀스 ( $\hat{x}^{v_0}$ $\overset{x}{^}^{v_{0}}$ ) 에 생성 과정을 조건화합니다.
- 초기화: 프로세스는 공유 3D 노이즈를 초기화하여 $V$ 개의 가상 뷰 (입력 뷰 $v_0$ 포함) 로 투영하는 것으로 시작합니다.
- 디노이징 및 삼각측량: 각 디노이징 단계 $t$ 에서 MDM 은 모든 뷰에 대한 깨끗한 2D 모션을 예측합니다. 일관성 블록은 그런 다음 통합된 3D 자세 $X$ 를 재구성하기 위해 삼각측량을 수행합니다.
- 최적화 목적 함수: 3D 자세는 두 항으로 구성된 손실 함수를 최소화하도록 최적화됩니다.
  - 기하학적 제약 ( $L_{geometry}$ ): 이 항은 추정된 3D 자세와 모든 뷰의 2D 예측 간의 재투영 오차를 최소화합니다. 핵심적으로, 관찰된 2D 자세에 대한 충실도를 보장하기 위해 입력 뷰에 높은 가중치 ( $w_{v_0}$ ) 를 적용하면서 가상 뷰 간의 일관성을 유지합니다.
  - 해부학적 제약 ( $L_{bone}$ ): 물리적 타당성을 보장하기 위해, 이 방법은 시퀀스 전반에 걸쳐 뼈 길이의 시간적 분산을 최소화하여 뼈 길이가 일정하게 유지되도록 강제합니다.
학습 및 데이터: 2D MDM 백본은 커뮤니티 비디오 (예: YouTube) 의 대규모 2D 자세 시퀀스로 사전 훈련되어 3D 캡처 데이터가 필요하지 않습니다. 모델은 극단적인 관절 운동을 처리하기 위해 복잡한 자세 데이터셋 (요가, 스트레칭, 필라테스) 으로 미세 조정됩니다.

주요 기여
본 논문은 두 가지 주요 기여를 제시합니다:

3D 추정을 위한 2D 확산 사전 지식 도입: 저자들은 대규모 2D 비디오 데이터로 훈련된 사전 훈련된 2D MDM 들이 3D 지도 학습 없이 정확한 재구성을 가능하게 하는 강력한 3D 자세 추정 사전 지식으로 작용할 수 있음을 입증합니다.
cMAS 제안: 그들은 2D-3D 리프팅을 위해 무조건적 MAS 접근법을 적응시키는 새로운 프레임워크인 조건부 다중 뷰 조상 샘플링을 소개합니다. cMAS 는 입력 2D 관측치와 명시적인 해부학적 제약 (뼈 길이 일관성) 을 조건화 항으로 통합하여 기하학적으로 일관되고 물리적으로 타당한 3D 자세를 생성할 수 있게 합니다.

실험 결과
이 방법은 극단적인 자세와 심각한 자기 가림을 포함하는 도전적인 OOD 시나리오를 나타내는 Yoga90 데이터셋에서 평가되었습니다.

정량적 성능: 제안된 방법은 평균 관절 위치 오차 (MPJPE) 113.370 mm를 달성하여 최첨단 지도 학습 방법 (MotionBERT: 128.930 mm, Video-to-Pose3D: 170.837 mm) 과 선도적인 비지도 방법 (ElePose: 129.089 mm) 보다 우수한 성능을 보였습니다.
정성적 성능: 시각적 비교에 따르면, cMAS 는 지도 학습 방법이 일반화에 실패하고 비지도 기준선들이 해부학적 오류를 보이는 심각한 자기 가림 및 비정상적인 관절 운동 상황에서 더 자연스럽고 정확한 자세를 생성합니다.
절대 실험: 실험은 입력 뷰를 우선시하는 가중치 기하학적 손실과 해부학적 뼈 길이 제약이 모두 성능 향상에 크게 기여함을 확인했습니다. 최적 구성은 입력 뷰에 $4/5$ 의 가중치를 사용했습니다.

의의 및 주장
본 논문은 cMAS 가 데이터 효율적인 2D 사전 지식과 특정 자세 추정 작업에 필요한 제어 가능성 사이의 간극을 성공적으로 연결한다고 주장합니다. 2D 모션 확산 모델의 풍부한 매니폴드를 활용함으로써, 이 방법은 3D 지도 학습이 불가능한 극단적인 자세 시나리오를 포함하여 지도 학습 및 비지도 기준선 모두보다 우수한 도메인 간 일반화를 달성합니다. 이 프레임워크는 확산 기반 접근법의 확장성을 강조하며, 휴리스틱 제약 (해부학적 규칙과 같은) 이 합성 과정을 안내하기 위해 원활하게 통합될 수 있음을 보여줍니다.

한계점
저자들은 다른 단안 리프팅 방법들과 마찬가지로 이 접근법이 본질적인 깊이 모호성에 노출되어 있으며, 이는 전방으로 기울인 자세나 극단적인 자기 가림에서 재구성 오류로 이어질 수 있음을 인정합니다. 또한, 최종 정확도는 상류 2D 자세 추정기의 품질에 여전히 의존하며, 초기 2D 감지 오류가 파이프라인 전체로 전파될 수 있습니다. 이 방법은 현재 계산 요구 사항으로 인해 실시간 응용보다는 오프라인 분석을 위해 설계되었습니다.