HumanOrbit: 3D Human Reconstruction as 360° Orbit Generation

이 논문은 단일 입력 이미지로부터 기하학적 일관성을 유지하며 신원 정보를 보존하는 360 도 회전 영상을 생성하는 비디오 확산 모델 'HumanOrbit'을 제안하고, 이를 통해 기존 방법보다 완성도와 충실도가 높은 3D 텍스처 메시를 재구성하는 파이프라인을 소개합니다.

핵심

이 논문은 **"단 한 장의 사진만으로도, 그 사람의 360 도 모든 각도를 보여주는 동영상을 만들고, 이를 바탕으로 입체적인 3D 인형을 만드는 기술"**을 소개합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제점: "한 장의 사진은 속임수다"

기존의 기술들은 사진 한 장을 보고 3D 모델을 만들려고 할 때, 마치 **"눈을 감고 뒤돌아서서 친구의 뒷모습을 상상하는 것"**과 비슷했습니다.

• 기존 방식: 사진 기반의 AI 를 사용했는데, 앞면은 잘 만들었는데 옆이나 뒷면을 만들면 얼굴이 뭉개지거나, 옷 무늬가 엉망이 되거나, 원래 사람과 전혀 다른 사람이 되어버리는 문제가 있었습니다. (일관성이 부족함)

2. 해결책: "HumanOrbit(휴먼 오비트)" - 회전하는 카메라

저자들은 새로운 아이디어를 냈습니다. **"사진을 보고 3D 를 만드는 게 아니라, 사진 한 장을 보고 '사람 주위를 빙글빙글 도는 동영상'을 만들어보자!"**는 것입니다.

• 비유: 친구 사진을 보고 "이 친구가 이 옷을 입고 어떻게 생겼을까?"라고 상상하는 대신, 가상의 카메라가 그 친구 주위를 360 도 빙글빙글 돌며 찍은 동영상을 AI 가 직접 찍어내는 것입니다.
• 핵심 기술: 최근 AI 가 동영상을 아주 잘 만드는 능력을 활용했습니다. 수억 개의 실제 동영상을 학습한 AI 는 "사람이 움직이지 않고 카메라만 돈다"는 상황을 매우 자연스럽게 이해합니다.
• 결과: AI 는 친구의 앞, 옆, 뒤, 위, 아래를 모두 포함하는 매끄러운 360 도 회전 동영상을 만들어냅니다. 이때 친구의 얼굴이나 옷차림이 흔들리지 않고 일관되게 유지됩니다.

3. 3D 모델 만들기: "점토로 인형 만들기"

동영상이 만들어지면, 이제 그걸로 3D 인형 (메시) 을 만듭니다.

• 과정:
  1. 카메라 위치 파악: 만들어진 동영상의 각 프레임이 어느 각도에서 찍혔는지 AI 가 계산합니다. (기존에는 이걸 미리 정해야 했지만, 이 기술은 자동으로 알아냅니다.)
  2. 점 구름 (Point Cloud) 생성: 여러 각도의 사진을 합쳐서 3D 공간에 점들을 뿌립니다.
  3. 점토 조각 (Mesh Carving): 그 점들을 바탕으로 가상의 '점토'를 깎아내듯 3D 형상을 다듬고, 옷의 질감이나 피부 색상을 입혀서 완성합니다.

4. 왜 이 기술이 특별한가요? (기존 기술과의 차이)

• 데이터 효율성: 보통 3D 인형을 만들려면 수천 개의 3D 스캔 데이터가 필요하지만, 이 기술은 단 500 개의 3D 스캔 데이터만 학습시켜도 됩니다. 마치 요리 실력을 배우기 위해 수천 번 요리를 해보지 않아도, '요리하는 법'을 잘 아는 선배 (기존 비디오 AI) 를 따라만 하면 된다는 뜻입니다.
• 자세 불필요: 사람이 어떤 자세를 취했는지, 손이 어디에 있는지 등을 따로 알려줄 필요가 없습니다. 그냥 "이 사람 사진"만 주면 AI 가 알아서 모든 각도를 만들어냅니다.
• 일관성: 옷의 줄무늬가 옆으로 돌아갈 때 끊어지지 않고 자연스럽게 이어지고, 얼굴이 뭉개지지 않습니다.

5. 요약: 이 기술은 어떤 미래를 열까요?

이 기술은 게임, 메타버스, AR/VR 분야에서 큰 변화를 가져올 수 있습니다.

• 예시: 당신이 SNS 에 올린 평범한 셀카 한 장만으로도, 게임 속 캐릭터처럼 그 사람을 360 도 돌려보며 구경할 수 있게 됩니다.
• 한계: 아직은 머리 꼭대기나 턱 아래 같은 아주 일부 영역은 보이지 않을 수 있고, 동영상을 만드는 데 시간이 좀 걸립니다 (약 17 분). 하지만 앞으로 더 빨라지고 완벽해질 것입니다.

한 줄 요약:

**"단 한 장의 사진으로 AI 가 '사람 주위를 빙글빙글 도는 동영상을 찍어주는 마법'을 부려, 그걸로 완벽한 3D 인형을 만들어내는 기술"**입니다.

기술 요약

1. 문제 정의 (Problem Statement)

단일 이미지에서 사실적인 3D 인간 아바타를 재구성하는 것은 오랫동안 해결되지 않은 난제였습니다. 기존 방법들은 주로 이미지 기반 확산 모델 (Image-based Diffusion Models) 을 다중 뷰 합성에 적용했으나, 다음과 같은 한계가 있었습니다:

• 일관성 부족: 서로 다른 뷰 간에 기하학적 구조와 색상, 특히 얼굴과 손 같은 세부 사항에서 불일치가 발생했습니다.
• 정체성 손실: 원본 이미지의 인물 특징 (Identity) 이 다양한 각도에서 유지되지 않았습니다.
• 데이터 의존성: 고품질의 3D 인간 데이터셋 수집은 비용이 많이 들고 확장성이 낮아, 일반화 가능한 모델 학습에 제약이 있었습니다.
• 자세 의존성: 많은 기존 방법들이 외부의 신체 자세 (Pose) 나 카메라 파라미터 주석이 필요하거나, 전신이 보이는 경우에만 작동하는 등 제한적이었습니다.

2. 제안 방법 (Methodology)

저자들은 단일 입력 이미지에서 대상 인물 주위의 360° 오비트 (Orbit) 비디오를 생성하여, 이를 통해 다중 뷰 이미지를 얻고 3D 메시를 재구성하는 새로운 파이프라인을 제안했습니다.

A. HumanOrbit 모델 (오비트 비디오 생성)

• 핵심 아이디어: 최근 비디오 확산 모델 (Video Diffusion Models) 이 프레임 간 시간적 일관성과 복잡한 카메라 운동을 잘 학습한다는 점에 착안하여, 이를 다중 뷰 이미지 생성기로 재사용 (Repurpose) 했습니다.
• 아키텍처: 사전 훈련된 비디오 확산 모델 (Wan 2.1 기반) 을 기반으로 합니다.
  • 입력: 단일 이미지 + 텍스트 프롬프트 ("The camera performs a 360 degree orbit around the person...").
  • 구조: 3D VAE, 이미지/텍스트 인코더, DiT (Diffusion Transformer) 블록으로 구성됩니다.
  • 학습 전략: **LoRA (Low-Rank Adaptation)**를 사용하여 DiT 블록의 일부 파라미터만 미세 조정 (Finetuning) 합니다. 이는 대규모 비디오 모델의 일반화 능력을 유지하면서 적은 데이터로 학습할 수 있게 합니다.
• 데이터 효율성: 전 세계 500 개의 3D 인간 스캔 (PosedPro 데이터셋) 에서 렌더링한 약 3,000 개의 오비트 비디오로만 학습합니다.
• 특징:
  • Pose-free: 외부 신체 자세나 카메라 자세 주석이 필요 없습니다.
  • Identity Preservation: 원본 이미지의 외모와 정체성을 다양한 각도에서 유지합니다.

B. 3D 메시 재구성 파이프라인

생성된 다중 뷰 이미지 (오비트 비디오) 를 기반으로 텍스처가 입혀진 3D 메시를 복원합니다.

1. 카메라 자세 추정 (Camera Pose Estimation): 생성된 이미지들의 일관성을 바탕으로 SfM (Structure from Motion) 방법을 적용합니다. 구체적으로 VGGT라는 최신 신경망을 사용하여 각 프레임의 카메라 파라미터와 포인트 클라우드를 추정합니다. (기존 COLMAP 보다 더 밀집된 포인트 클라우드를 생성함).
2. 정규 맵 추정 (Normal Estimation): NormalCrafter를 사용하여 각 프레임의 정규 맵 (Normal Maps) 을 생성합니다.
3. 메시 카빙 (Mesh Carving):
   • 추정된 포인트 클라우드를 기반으로 Poisson Surface Reconstruction으로 초기 메시를 생성합니다. (기존의 SMPL 모델 초기화 방식과 달리 전신 가시성에 구애받지 않음).
   • Differentiable Rendering을 통해 마스크 손실 (Mask Loss) 과 정규 손실 (Normal Loss) 을 최소화하며 메시의 정점을 최적화합니다.
   • 최종적으로 각 정점의 색상을 최적화하여 텍스처가 입혀진 메시를 완성합니다.

3. 주요 기여 (Key Contributions)

1. HumanOrbit 모델 도입: 단일 이미지에서 고정된 대상의 360° 오비트 비디오를 생성하는 데이터 효율적인 비디오 확산 모델을 제안했습니다.
2. 자세 무관 (Pose-free) 3D 재구성 파이프라인: 생성된 비디오를 활용하여 추가적인 주석 없이 텍스처가 입혀진 3D 메시를 복원하는 전체적인 프로세스를 제시했습니다.
3. 성능 입증: 생성된 다중 뷰 프레임의 뷰 일관성 (View Consistency) 과 3D 재구성의 완성도 및 충실도 (Fidelity) 에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 보였습니다.

4. 실험 결과 (Results)

• 다중 뷰 이미지 생성 평가:
  • 데이터셋: 전신 (CCP 데이터셋) 과 얼굴 (CelebAMask-HQ 데이터셋) 이미지에서 평가 수행.
  • 비교 대상: SV3D, MV-Adapter, PSHuman 등.
  • 지표: CLIP Score (프롬프트 일치도), MEt3R (3D 일관성), MVReward (인간 선호도).
  • 결과: HumanOrbit은 모든 지표에서 가장 높은 점수를 기록했습니다. 특히 PSHuman 이 옷의 무늬나 얼굴 특징을 흐리게 하거나 왜곡하는 반면, HumanOrbit 은 패턴과 정체성을 선명하게 유지했습니다.
• 3D 재구성 평가:
  • InstantMesh, Fancy123, PSHuman 과 비교.
  • 결과: 기존 방법들은 몸통의 구멍 (Hollow areas) 이나 뒷머리 누락, 신체의 비정상적인 늘어남 등의 문제가 있었으나, HumanOrbit 은 귀, 입, 손목 등 세부 사항까지 충실하게 재구성하고 더 매끄러운 표면을 가졌습니다.
• 비인간 객체 일반화: 3D 인간 데이터로 학습되었음에도 불구하고, 의자나 개와 같은 비인간 객체에 대해서도 정확한 오비트 뷰를 생성할 수 있음을 보여주었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 데이터 효율성: 수천 개의 3D 스캔이 아닌, 소수의 3D 데이터와 방대한 2D 비디오 데이터의 시너지를 통해 고품질 3D 인간 생성을 가능하게 했습니다.
  • 확장성: 2D 이미지만으로도 고품질의 3D 콘텐츠를 생성할 수 있어, AR/VR, 게임, 통신 등 다양한 분야에서 3D 아바타 제작의 장벽을 낮춥니다.
  • 일관성: 비디오 확산 모델의 강력한 시간적 일관성 priors 를 3D 공간의 뷰 일관성으로 전환하는 새로운 접근법을 제시했습니다.
• 한계:
  • 카메라 궤적: 현재는 고정된 고도 (Elevation) 의 오비트만 생성하므로, 머리 위나 턱 아래 등 일부 영역은 보이지 않습니다.
  • 추론 시간: 대규모 비디오 확산 모델을 사용하므로 단일 이미지당 약 17 분의 시간이 소요되어 실시간 적용에는 제약이 있습니다.

결론적으로, HumanOrbit 은 단일 이미지로부터 360° 뷰를 생성하고 이를 통해 고품질의 3D 인간 모델을 재구성하는 데 있어 기존 방법들의 일관성 부족 문제를 해결한 획기적인 접근법입니다.