Human3R: Everyone Everywhere All at Once

본 논문은 단일 순방향 통과로 casually 촬영된 모노큘러 비디오에서 전 세계 좌표계 기반의 다중 인간 (SMPL-X), 밀집 3D 장면, 카메라 궤적을 동시에 복원하는 통합 피드포워드 프레임워크 'Human3R'을 제안하며, 기존 다단계 파이프라인과 무거운 의존성을 제거하고 실시간 (15 FPS) 성능을 달성합니다.

핵심

인간 3R (Human3R): "모든 사람, 모든 곳, 한 번에" 보는 AI

이 논문은 ICLR 2026에 발표된 획기적인 연구로, 우리가 스마트폰이나 카메라로 찍은 평범한 영상에서 사람, 배경, 카메라의 움직임까지 3 차원 공간에서 한 번에 재구성하는 새로운 인공지능을 소개합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 요리와 마법에 비유해서 설명해 드릴게요.

---

1. 기존 방식 vs. 새로운 방식: "조리 과정"의 차이

과거의 3D 재구성 기술들은 마치 여러 명의 요리사가 각자 다른 재료를 따로따로 다듬어서 나중에 합치는 방식과 같았습니다.

• 기존 방식 (다단계): 먼저 사람을 찾아내고 (감지), 배경을 따로 분석하고 (SLAM), 카메라의 움직임을 계산하고, 그다음에야 사람과 배경을 합쳐서 3D 모델을 만들었습니다. 이 과정은 시간이 오래 걸리고, 각 단계마다 다른 도구가 필요해서 실시간으로 하기 매우 어려웠습니다.
• Human3R (한 번에): 이 새로운 기술은 한 명의 천재 요리사가 모든 재료를 한 번에 보고, 동시에 요리하는 방식입니다.
  • 모든 사람 (Everyone): 영상 속 여러 사람을 한 번에 찾아냅니다.
  • 모든 곳 (Everywhere): 배경과 사물까지 3D 공간으로 재구성합니다.
  • 한 번에 (All-at-once): 이 모든 것을 단 한 번의 작업으로 실시간에 가깝게 (초당 15 프레임) 처리합니다.

2. 핵심 기술: "기억력"과 "마법 지팡이"

이 기술의 비결은 두 가지 핵심 아이디어에 있습니다.

A. CUT3R: "오래된 기억을 가진 마법사"

연구팀은 이미 3D 공간과 시간의 흐름을 잘 이해하는 거대 모델인 CUT3R을 베이스로 사용했습니다.

• 비유: 이 모델은 마치 오래된 도서관의 사서와 같습니다. 수많은 3D 장면과 움직임을 기억하고 있어서, 새로운 영상을 볼 때 "아, 이건 저기서 이런 식으로 움직이는구나"라고 이미 알고 있는 지식 (사전 지식) 을 활용합니다.
• 장점: 처음부터 모든 것을 배우지 않아도 되므로, 데이터도 적게 들고 학습도 매우 빠릅니다 (하드웨어 1 대에서 단 하루 만에 학습 완료!).

B. 인간 프롬프트 (Human Prompt): "사람을 찾는 마법 지팡이"

기존 사서는 '사람'에 대한 세부적인 지식이 부족했습니다. 그래서 연구팀은 Multi-HMR이라는 '사람 전문' 모델을 연결했습니다.

• 비유: 사서에게 사람을 찾는 마법 지팡이를 쥐여준 셈입니다. 이 지팡이는 영상 속 사람의 '머리'를 먼저 찾아내고, 그 정보를 바탕으로 전신 (손, 발, 표정 포함) 을 상상해냅니다.
• 효과: 이 지팡이를 통해 사서는 배경을 해치지 않으면서도 사람에 대한 정밀한 3D 모델을 즉시 그려낼 수 있게 되었습니다.

3. 왜 이것이 놀라운가요?

1. 실시간성 (Real-time): 과거에는 몇 시간 걸리던 작업을 실시간으로 처리합니다. 마치 영상을 보며 동시에 3D 게임처럼 배경과 사람을 입체적으로 볼 수 있는 것입니다.
2. 간소화 (One-stop): 별도의 복잡한 도구 (사람 찾기 프로그램, 깊이 측정기 등) 가 필요 없습니다. 하나의 프로그램으로 모든 것을 해결합니다.
3. 혼잡한 상황도 OK: 사람이 많고 서로 가려져도 (Occlusion), 이 기술은 여러 사람을 동시에 추적하고 3D 공간에 배치할 수 있습니다. 마치 혼잡한 광장에서 각자의 위치를 정확히 파악하는 것처럼요.
4. 작은 비용: 고가의 슈퍼컴퓨터가 아니라, 일반적인 고성능 그래픽카드 하나만 있으면 학습과 실행이 가능합니다.

4. 실제 활용 예시

이 기술이 완성되면 어떤 일이 가능해질까요?

• AR/VR: 가상의 인물이 실제 방에 들어와서 의자에 앉는 것을 실시간으로 자연스럽게 보여줄 수 있습니다.
• 로봇 공학: 로봇이 사람과 상호작용할 때, 사람의 위치와 움직임을 3D 로 정확히 이해하여 안전하게 움직일 수 있습니다.
• 자율 주행: 차가 보행자를 인식할 때, 단순히 "사람이 있다"가 아니라 "그 사람이 앞으로 걸어갈지, 멈출지"를 3D 공간에서 예측할 수 있습니다.

요약

Human3R은 "사람, 배경, 카메라"라는 세 가지 요소를 따로따로 분석하던 구시대적 방식을 버리고, 하나의 통합된 AI가 마치 마법처럼 영상 속 모든 것을 3D 세계로 한 번에 불러와 재구성하는 기술입니다.

이는 더 이상 복잡한 설정이나 긴 시간이 필요하지 않은, 쉽고 강력한 3D vision 의 새로운 기준이 될 것입니다.

한 줄 평: "복잡한 요리 과정을 생략하고, 한 번에 맛있는 3D 요리를 만들어내는 AI 요리사!"

기술 요약

1. 문제 정의 (Problem)

기존의 3D 비전 분야에서 인간과 장면을 동시에 재구성하는 작업은 다음과 같은 심각한 한계점을 가지고 있었습니다:

• 다단계 파이프라인 (Multi-stage): 인간 감지, 추적, 장면 재구성, 접촉 제약 조건 하의 반복적 정제 등 여러 단계를 거쳐야 하며, 전체 파이프라인이 수 시간이 소요됩니다.
• 무거운 의존성 (Heavy Dependencies): 오프더셸 (off-the-shelf) 모델들 (인간 감지, 깊이 추정, SLAM 등) 에 대한 의존도가 높아 실시간 처리가 어렵고, 오류가 누적됩니다.
• 실시간성 부재: 긴 비디오 시퀀스를 처리할 때 메모리 소모가 크고, 프레임 수가 증가함에 따라 성능이 저하되거나 처리 속도가 느려집니다.
• 데이터 부족: 전 세계 좌표계 (World Frame) 에서의 글로벌 인간 운동, 3D 장면, 카메라 포즈가 모두 포함된 대규모 고품질 비디오 데이터셋이 부족합니다.

이러한 문제들을 해결하기 위해 **단일 모델 (One Model), 단일 단계 (One Stage), 단일 샷 (One Shot)**으로 실시간 온라인 4D 인간 - 장면 재구성을 수행하는 통합 솔루션이 필요했습니다.

2. 방법론 (Methodology)

Human3R은 기존 4D 재구성 기초 모델인 CUT3R을 기반으로 하며, **매개변수 효율적 시각 프롬프트 튜닝 (Parameter-efficient Visual Prompt Tuning, VPT)**을 활용하여 인간, 장면, 카메라를 동시에 추정합니다.

핵심 아키텍처 및 기술

1. 기반 모델 (CUT3R):

   • CUT3R 은 온라인 방식으로 메트릭 스케일의 점지도 (point maps) 와 카메라 포즈를 재구성하는 순환 (recurrent) 4D 기초 모델입니다.
   • 고정된 크기의 메모리 상태를 유지하며, 새로운 관측이 들어올 때마다 시공간의 역사 (context) 를 업데이트합니다.
   • Human3R 은 CUT3R 의 백본 (backbone) 을 **동결 (freeze)**시켜, 기존에 학습된 풍부한 4D 시공간 사전 지식 (spatiotemporal priors) 을 보존합니다.

2. 인간 프롬프트 (Human Prompts) 및 VPT:

   • 헤드 토큰 감지: CUT3R 의 이미지 특징에서 인간 머리 (Head) 토큰을 감지합니다.
   • 인간 사전 지식 통합 (Human Priors): Multi-HMR 에서 학습된 인간 중심의 ViT-DINO 인코더를 사용하여 머리 토큰에 인간 특유의 세부 특징 (Pose, Shape) 을 주입합니다.
   • 프롬프트 생성: 감지된 머리 토큰과 인간 사전 지식을 결합하여 Human Prompt를 생성합니다. 이 프롬프트는 디코더에 삽입되어 인간 ID 쿼리로 작용합니다.
   • 자기 주의 및 교차 주의: Human Prompt 는 이미지 토큰과 자기 주의 (Self-attention) 를 통해 전체 신체 정보를 집계하고, 장면 상태 (Scene State) 와 교차 주의 (Cross-attention) 를 통해 3D 장면 컨텍스트 내에서 일관된 인간 추정을 수행합니다.

3. 학습 및 추론 전략:

   • 학습: BEDLAM(합성 데이터셋) 에서 1 일간, 단일 GPU(48GB) 로만 학습합니다. CUT3R 의 3D/카메라 관련 손실 함수와 인간 파라미터 (SMPL-X) 추정을 위한 손실 함수를 함께 사용합니다.
   • 테스트 시간 적응 (Test-Time Training, TTT): 긴 시퀀스 처리 시 발생하는 상태 망각 (catastrophic forgetting) 문제를 해결하기 위해 TTT3R 기법을 적용합니다. 상태 (State) 를 가중치로 간주하고 경사 하강법을 통해 실시간으로 업데이트하여 긴 시퀀스에서도 성능을 유지합니다.
   • 온라인 추론: 프레임이 들어올 때마다 실시간 (15 FPS) 으로 글로벌 인간 메쉬, 장면 점구름, 카메라 궤적을 한 번의 순전파 (One Forward Pass) 로 출력합니다.

3. 주요 기여 (Key Contributions)

• 통합 단일 모델 (Unified One-Stop Solution): 인간 감지, 추적, 깊이 추정, SLAM 등 외부 모듈 없이 단일 모델로 전 세계 좌표계에서의 다중 인간 메쉬, 밀집된 3D 장면, 카메라 궤적을 동시에 추정합니다.
• 실시간 온라인 처리 (Real-time Online): 15 FPS 의 추론 속도와 8GB 의 낮은 메모리 사용량을 달성하여, 긴 비디오 시퀀스도 실시간으로 처리 가능합니다.
• 효율적인 미세 조정 (Efficient Finetuning): CUT3R 의 백본을 동결하고 소수의 파라미터만 학습하여, 작은 데이터셋 (BEDLAM) 으로도 SOTA 성능을 달성합니다.
• 상호 이득 (Mutual Benefits): 인간 재구성을 위해 튜닝한 결과가 오히려 3D 장면 재구성과 카메라 포즈 추정의 정확도를 향상시키는 것을 입증했습니다.

4. 실험 결과 (Results)

Human3R 은 다양한 태스크에서 기존 최첨단 (SOTA) 방법론들을 능가하거나 경쟁력 있는 성능을 보였습니다.

• 로컬 인간 메쉬 복구 (Local Human Mesh Recovery): 3DPW 및 EMDB-1 데이터셋에서 Multi-HMR, PromptHMR 등 기존 1 단계 및 다단계 방법보다 PA-MPJPE, MPJPE, PVE 모든 지표에서 우수한 성능을 기록했습니다.
• 글로벌 인간 운동 추정 (Global Human Motion Estimation): EMDB-2 및 RICH 데이터셋에서 WHAM, JOSH3R, TRAM 등 오프라인/온라인 방법들과 비교하여, W-MPJPE 에서 20%, RTE(루트 이동 오차) 에서 60% 이상 개선된 결과를 보였습니다.
• 범용 3D 재구성 (Generic 3D Reconstruction): 카메라 포즈 추정 (TUM-D) 및 비디오 깊이 추정 (Bonn) 에서 CUT3R 및 TTT3R 기반의 다른 모델들보다 정확한 결과를 제공했습니다.
• 혼잡한 장면 (Crowded Scenes): 훈련 데이터 (1-10 명) 를 넘어선 10 명 이상의 혼잡한 환경에서도 견고하게 작동하며, 상향식 (Bottom-up) 접근법으로 인원 수 증가에 따른 추론 속도 저하가 없습니다.

5. 의의 및 의의 (Significance)

• 패러다임 전환: 기존에 복잡하고 느렸던 다단계 파이프라인을 **단일 단계 (One-stage)**의 엔드 - 투 - 엔드 모델로 대체하여, 인간 - 장면 상호작용 이해의 새로운 기준을 제시했습니다.
• 실용성: AR/VR, 자율 주행, 휴머노이드 로봇 정책 학습, 인간 - 로봇 상호작용 등 실시간이 요구되는 다양한 다운스트림 애플리케이션에 즉시 적용 가능한 강력한 베이스라인을 제공합니다.
• 확장성: 인간뿐만 아니라 동물, 차량 등 다른 동적 객체로 확장 가능한 아키텍처를 제시하며, 실시간 4D 재구성 연구의 새로운 방향성을 제시합니다.

결론적으로, Human3R은 "누구든 (Everyone), 어디든 (Everywhere), 한 번에 (All at once)" 4D 세계를 실시간으로 재구성하는 효율적이고 강력한 프레임워크를 제시하여, 3D 비전 분야의 실용성과 접근성을 크게 높였습니다.