Pulp Motion: Framing-aware multimodal camera and human motion generation

이 논문은 ICLR 2026에 발표된 **"PULP MOTION: FRAMING-AWARE MULTIMODAL CAMERA AND HUMAN MOTION GENERATION"**으로, 영화 제작의 핵심 원리인 배우의 연기와 카메라 워크 간의 긴밀한 상호작용을 고려하여 텍스트 기반의 인간 동작 (Human Motion) 과 카메라 궤적 (Camera Trajectory) 을 동시에 생성하는 새로운 프레임워크를 제안합니다.

아래는 이 논문의 문제 정의, 방법론, 주요 기여, 실험 결과 및 의의를 포함한 상세 기술 요약입니다.

---

1. 문제 정의 (Problem Statement)

기존의 연구들은 인간 동작 생성과 카메라 궤적 생성을 별도의 작업으로 다루거나, 한쪽을 다른 쪽의 조건 (Condition) 으로만 사용했습니다.

• 한계점: 카메라는 배우의 움직임을 따라가며 화면 구성 (Framing) 을 조정하고, 배우는 카메라의 존재를 의식하여 움직입니다. 이러한 상호작용을 무시하고 개별적으로 생성하면, 화면에서 인물이 사라지거나 (Out-of-frame), 화면 구성이 어색해지는 문제가 발생합니다.
• 핵심 과제: 텍스트 설명을 기반으로 인간 동작과 카메라 궤적을 동시에 (Jointly) 생성하되, 두 모달리티 간의 일관성 (Coherence) 을 유지하여 영화적인 화면 구성을 달성하는 것입니다. 이는 다중 모달 생성 (Multimodal Generation) 의 어려움인 각 모달리티의 품질 유지와 모달리티 간의 정합성 확보를 동시에 해결해야 하는 난제입니다.

2. 방법론 (Methodology)

저자들은 모델 아키텍처를 복잡하게 변경하기보다, 보조 모달리티 (Auxiliary Modality) 를 활용하여 샘플링 과정을 유도하는 새로운 프레임워크를 제안했습니다.

A. 핵심 아이디어: 화면 내 프레임 (On-screen Framing)

• 인간 관절을 카메라 뷰에 투영하여 얻은 2D 화면 내 좌표 (On-screen framing) 를 보조 모달리티 ($z$) 로 정의합니다.
• 이는 생성된 인간 동작 ($x$) 과 카메라 궤적 ($y$) 사이의 자연스러운 연결고리 역할을 하며, 두 모달리티가 영화적인 화면 구성을 이루고 있는지 직접적으로 나타냅니다.

B. 다중 모달 잠재 공간 학습 (Multimodal Latent Space)

1. 공유 잠재 공간 (Shared Latent Space): 인간 동작과 카메라 궤적을 별도의 인코더가 아닌 공동 인코더 (Joint Encoder) 를 통해 하나의 공유 잠재 공간으로 매핑합니다.
2. 선형 변환 (Linear Transform): 학습된 잠재 벡터 $[x, y]$를 보조 모달리티인 화면 프레임 잠재 벡터 $z$로 변환하는 가중치 행렬 $W$를 학습합니다.
   • $z = W [x, y]^\top$
   • 이 과정은 $x$와 $y$가 $z$와 어떻게 관련되는지를 잠재 공간에서 직접 포착합니다.
3. 오토인코더 구조: 인코더와 3 개의 디코더 (원본 인간, 원본 카메라, 원본 프레임 재구성용) 로 구성되며, 재구성 손실 함수를 통해 학습됩니다.

C. 보조 샘플링 (Auxiliary Sampling)

추론 (Inference) 단계에서 생성된 샘플이 일관된 화면 구성을 갖도록 유도하는 새로운 샘플링 기법을 제안합니다.

• 기하학적 분해: 잠재 공간 $u = [x, y]^\top$을 보조 모달리티 $z$에 의존하는 성분 ($u_{//}$) 과 직교하는 성분 ($u_{\perp}$) 으로 분해합니다.
• 샘플링 유도: 확산 모델 (Diffusion Model) 의 노이즈 예측 시, 조건부 가이드 (Classifier-Free Guidance) 와 유사하게 보조 가이드 항을 추가합니다.
  • 수식: $\epsilon_\theta(x_t, y_t, c, t) = \epsilon_\theta(x_t, y_t, \emptyset, t) + w_z P_{//} \epsilon_\theta(x_t, y_t, \emptyset, t) + w_c (\dots)$
  • 여기서 $P_{//}$는 $z$ 방향의 투영 행렬이며, $w_z$는 보조 가이드 가중치입니다.
• 효과: 이 기법은 $z$ (화면 프레임) 와 일치하는 방향으로 샘플링을 유도하여, 인간과 카메라가 영화적으로 조화로운 결과를 생성하도록 만듭니다. 추가적인 외부 모델 학습이나 데이터가 필요하지 않으며, 기존 확산 모델 (DiT, MAR) 에 쉽게 적용 가능합니다.

3. 주요 기여 (Key Contributions)

1. PulpMotion 데이터셋: 기존 데이터셋 (E.T. 등) 의 한계를 극복한 대규모 인간 - 카메라 쌍 데이터셋을 공개했습니다.
   • 규모: 193,000 개의 샘플, 314 시간 분량.
   • 품질: TRAM 을 활용한 고품질 3D 포즈 추정과 VLM 을 통한 상세한 텍스트 캡션 생성, 그리고 RePaint 를 이용한 모션 정제 (Refinement) 과정을 거쳐 기존 데이터보다 자연스러운 동작을 제공합니다.
2. 보조 모달리티 기반 통합 프레임워크: 아키텍처 변경 없이 보조 모달리티 (화면 프레임) 를 활용하여 다중 모달 일관성을 강제하는 모델-중립적 (Model-agnostic) 프레임워크를 제안했습니다.
3. 성능 입증: DiT (Diffusion Transformer) 와 MAR (Masked Autoregressive) 아키텍처 모두에서 기존 기법들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

평가 지표:

• Framing: 화면 내 프레임 거리 ($FD_{framing}$), 화면 밖 비율 (Out-rate).
• Human/Camera: 텍스트 - 모달리티 정합성 (TMR-Score, CLaTr-Score), 생성 품질 (Fréchet Distance).

주요 결과:

• 화면 구성 일관성 극대화: 보조 샘플링 (Aux) 을 적용한 모델은 모든 베이스라인 (독립 생성, 조건부 생성, ReDi 등) 대비 가장 낮은 $FD_{framing}$과 Out-rate를 기록했습니다.
  • 예 (DiT, Mixed): $FD_{framing}$이 11.21 (독립) $\rightarrow$ 8.24 (보조 적용) 로 감소.
  • 화면 밖으로 나가는 프레임 비율이 크게 줄어든 것을 확인했습니다.
• 텍스트 정합성 향상: 인간 동작과 카메라 궤적 모두 텍스트 설명에 대한 정합성 (TMR-Score, CLaTr-Score) 이 향상되었습니다.
• 아키텍처 일반성: DiT 와 MAR 두 가지 최신 아키텍처 모두에서 동일한 성능 향상을 보여 방법론의 일반성을 입증했습니다.
• 정성적 결과: 생성된 비디오에서 인물이 지시된 동작을 정확하게 수행하면서도 카메라가 이를 자연스럽게 따라가며 화면을 유지하는 모습을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 영화적 미학의 자동화: 이 연구는 단순한 모션 생성을 넘어, 영화 제작의 핵심인 '연기와 카메라의 조화'를 자동화하는 첫 번째 시도 중 하나로 평가됩니다.
• 효율성: 복잡한 아키텍처 변경이나 대규모 외부 모델 학습 없이, 보조 모달리티와 선형 변환이라는 간단한 기법으로 다중 모달 생성의 일관성 문제를 해결했습니다.
• 미래 방향: 현재는 캐릭터 전체의 프레임 구성에 초점을 맞추고 있으나, 향후 특정 신체 부위나 국소 영역에 대한 세밀한 제어로 확장할 수 있는 가능성을 제시했습니다.

요약하자면, PulpMotion은 텍스트 기반의 인간 동작과 카메라 움직임을 동시에 생성할 때 발생하는 화면 구성의 불일치 문제를, **화면 내 프레임 (On-screen framing)**이라는 보조 정보를 통해 해결한 혁신적인 접근법입니다.