Inferring Compositional 4D Scenes without Ever Seeing One

이 논문은 "Inferring Compositional 4D Scenes without Ever Seeing One" (한 번도 보지 않은 구성적 4D 장면을 추론하기) 으로, 단안 비디오 (monocular video) 만을 입력으로 받아 정적 (static) 과 동적 (dynamic) 객체가 공존하는 복잡한 4D 장면을 재구성하는 새로운 방법론 COM4D를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

실제 세계의 장면은 정적인 배경 객체와 움직이는 동적 객체가 상호작용하며 시공간적으로 변화합니다. 이를 4D(3D 공간 + 시간) 로 재구성하는 것은 매우 어렵습니다. 기존 연구들은 다음과 같은 한계가 있었습니다:

• 단일 객체 중심: 한 번에 하나의 객체만 재구성하거나, 특정 카테고리 (예: 인간) 에 국한된 파라메트릭 모델에 의존합니다.
• 데이터 부족: 여러 객체가 상호작용하는 4D 데이터는 수집이 매우 어려워 학습 데이터가 부족합니다.
• 일관성 부재: 객체 간의 공간적 배치와 시간적 흐름이 일관되지 않아, 가려짐 (occlusion) 이나 복잡한 상호작용 시 재구성이 실패합니다.

따라서, 4D 구성적 (compositional) 데이터 (여러 객체가 움직이는 장면) 를 학습에 사용하지 않고도, 단안 비디오로부터 일관된 4D 장면을 재구성하는 것이 핵심 과제였습니다.

2. 방법론 (Methodology)

저자들은 **COM4D (Compositional 4D)**를 제안하며, 이는 Diffusion Transformer (DiT) 기반의 생성 모델입니다. 핵심 아이디어는 시각적 주의 (Attention) 를 공간적 (Spatial) 과 시간적 (Temporal) 으로 분리하여 학습한 후, 추론 시 이를 혼합하는 것입니다.

A. Attention Parsing (주의 파싱)

모델이 4D 구성 데이터를 보지 않고도 공간과 시간의 관계를 학습할 수 있도록, 두 가지 서로 다른 데이터 소스로부터 이중 목적 (Dual-Objective) 학습을 수행합니다.

1. 공간적 구조 학습 (Static Multi-object): 3D-FRONT 데이터셋을 사용하여 정적인 여러 객체가 배치된 장면을 학습합니다. 이 과정에서 모델은 객체 간의 **공간적 관계 (Spatial Relationships)**를 이해하도록 훈련됩니다.
2. 시간적 동역학 학습 (Single Object Dynamics): DeformingThings 데이터셋을 사용하여 단일 객체의 변형과 움직임을 학습합니다. 이 과정에서 모델은 **시간적 의존성 (Temporal Dependencies)**을 이해하도록 훈련됩니다.

이 두 가지 학습은 Attention Parsing 전략을 통해 수행되며, Transformer 블록의 역할 (짝수 블록은 공간적 주의, 홀수 블록은 시간적 주의) 을 데이터 소스에 따라 교차하여 할당합니다.

B. Attention Mixing (주의 혼합)

학습이 완료된 후, 추론 (Inference) 단계에서는 Attention Mixing 메커니즘을 사용합니다.

• 입력된 비디오 프레임에 대해, 모델은 **짝수 블록 (공간적)**을 통해 전체 장면의 객체 배치와 정적/동적 객체 간의 관계를 통합합니다.
• 이어서 **홀수 블록 (시간적)**을 통해 각 동적 객체의 과거 프레임 정보를 참조하여 움직임을 예측합니다.
• 이 과정을 반복 (Alternating) 하여, 단일 객체나 정적 장면만 보던 모델이, 여러 객체가 상호작용하는 4D 장면을 자연스럽게 생성할 수 있게 됩니다.

C. Diffusion Forcing

시간적 일관성을 강화하기 위해 Diffusion Forcing 기법을 적용합니다. 이는 이전 프레임 (clean state) 을 조건으로 하여 다음 프레임을 생성하도록 하여, 장시간 시퀀스에서도 드리프트 (drift) 를 줄이고 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. Attention Parsing: 공간적 구조와 시간적 동역학을 별도의 데이터 소스에서 분리하여 학습하는 새로운 전략을 제안했습니다. 이는 4D 구성 데이터의 부족 문제를 우회합니다.
2. Attention Mixing: 추론 시 독립적으로 학습된 공간 및 시간 주의 메커니즘을 혼합하여, 훈련 데이터에 없던 복잡한 4D 구성 장면을 재구성할 수 있게 했습니다.
3. State-of-the-Art 성능: 3D 장면 재구성 (정적) 과 4D 객체 재구성 (동적) 모두에서 기존 최첨단 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• Compositional 4D Reconstruction: CMU Panoptic, PROX 등 실제 데이터셋과 합성 데이터셋에서 정적 객체와 동적 객체가 공존하는 장면을 재구성했습니다.
  • 사용자 연구: 공간적 정확성과 시간적 일관성 측면에서 Attention Mixing을 사용하지 않은 베이스라인보다 **87% 대 6.9%**로 압도적으로 선호되었습니다.
  • 정량적 평가: CMU Panoptic 데이터셋에서 Attention Mixing을 사용할 경우 Chamfer Distance (CD) 가 35.91cm 에서 7.42cm로 크게 개선되었습니다.
• Single Object 4D: DeformingThings 및 Objaverse 데이터셋에서 단일 객체의 4D 재구성 시, L4GM, GVFD, V2M4 등 기존 방법들보다 **IoU(0.4191 vs 0.2135 등)**와 F-Score에서 가장 높은 성능을 기록했습니다.
• 3D Scene Reconstruction: 3D-FRONT 데이터셋에서 PartCrafter, MIDI 와 비교하여 더 정확한 기하학적 구조 (CD 0.0909) 와 객체 배치 일관성을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 **"한 번도 보지 않은 4D 구성 데이터를 학습 없이 추론한다"**는 점에서 혁신적입니다.

• 데이터 효율성: 대규모의 4D 다중 객체 데이터 수집 없이도, 기존에 존재하는 정적 3D 데이터와 단일 객체 4D 데이터를 활용하여 복잡한 4D 장면을 생성할 수 있음을 증명했습니다.
• 일반화 능력: 다양한 실제 환경 (Wild) 에서 정적 배경과 동적 객체가 상호작용하는 장면을 일관성 있게 재구성할 수 있어, 로봇 공학, AR/VR, 시뮬레이션 등 다양한 분야에 적용 가능성이 큽니다.
• 한계: 물리적 인과관계 (충돌, 접촉 등) 를 명시적으로 모델링하지 않아, 심한 가려짐 상황에서 물리적으로 타당한 추론이 어려울 수 있으며, 카메라가 움직이는 상황에는 아직 적용되지 않았습니다.

요약하자면, COM4D 는 **분리된 학습 (Attention Parsing)**과 **통합된 추론 (Attention Mixing)**을 통해 4D 장면 재구성의 난제인 '데이터 부족'과 '일관성 유지' 문제를 동시에 해결한 획기적인 접근법입니다.