기술 요약: Syn4D: 다중 뷰 합성 4D 데이터셋

문제 제기

단안 비디오로부터 동적 장면의 밀집 3D 재구성과 추적을 수행하는 것은 컴퓨터 비전 분야에서 여전히 중요한 미해결 과제로 남아 있습니다. 최근 학습 기반 접근법들이 4D 재구성을 위해 전통적인 최적화 기반 파이프라인 (예: Structure-from-Motion) 을 능가할 가능성을 보여주었지만, 고품질 데이터셋의 부족으로 인해 그 진전이 제한받고 있습니다. 기존 데이터셋들은 종종 밀집되고 완전하며 정확한 기하학적 주석이 부족하거나, 정적 장면에 국한되어 있거나, 희소하거나 노이즈가 많은 기하학적 데이터 (예: Stereo4D) 만 제공합니다. 또한, 많은 기존 합성 데이터셋 (예: Kubric, PointOdyssey) 은 학습에 필수적인 견고한 시공간 표현을 위한 다중 뷰 정보와 밀집 3D 추적 주석을 함께 제공하지 못합니다.

방법론

데이터셋 구축 (Syn4D)

저자들은 4D 데이터 가용성의 격차를 해소하기 위해 설계된 대규모 완전 합성 데이터셋인 Syn4D를 소개합니다. 이 데이터셋은 Unreal Engine 5를 사용하여 절차적으로 구축되었으며, 총 140 만 프레임에 달하는 4.7K 개의 다중 뷰 비디오 클립으로 구성됩니다.

• 콘텐츠 생성: 장면은 Unreal Fab 스토어에서 선별된 30 개의 3D 환경과 다양한 동적 에셋을 결합하여 생성됩니다. 이러한 에셋에는 **Objaverse(-XL)**에서 필터링된 1,674 개의 애니메이션 3D 객체(로봇, 동물, 괴물) 와 Bedlam2에서 유래한 585 개의 시뮬레이션된 동적 인간이 포함됩니다. 충돌을 방지하기 위해 바닥 점유도 (ground-occupancy maps) 를 사용하여 에셋이 배치됩니다.
• 카메라 설정: 각 클립은 8 개의 동기화된 카메라로 렌더링됩니다. 카메라 움직임에는 정적, 추적, 돌리, 오비트 샷이 포함되며, 합성 퍼린 노이즈 (Perlin-noise) 흔들림이 추가됩니다. 내재 파라미터는 수평 시야각 (39.6°–90°) 에서 다양하게 변하고, 외재 파라미터는 포괄적인 공간 커버리지 (방위각 >250°, 극각 >30°, 반경 변화 >2.5m) 를 보장하도록 설계되었습니다.
• 주석: Syn4D 는 정지 카메라 운동, 깊이 맵, 포인트 맵, 인스턴스 분할, 그리고 매개변수형 인간 자세 (SMPL-X) 주석을 제공합니다.
• 밀집 추적 표현: 중요한 기술적 기여는 밀집 3D 추적 주석의 효율적인 저장입니다. 모든 프레임과 뷰에 대한 모든 픽셀의 명시적 3D 좌표를 저장하는 것은 불가능합니다 (테라바이트 규모의 데이터). 대신, 저자들은 시간 변화가 있는 메쉬 시퀀스와 짝을 이루는 픽셀 정렬 바리센트릭 맵을 사용하여 트랙을 표현합니다. 임의의 픽셀 $u$에 대해 시간 $t$에서의 3D 위치는 해당 픽셀을 포함하는 삼각형 면 $f$를 식별하고 해당 면의 꼭짓점에 대한 바리센트릭 좌표 $\alpha$를 계산함으로써 재구성됩니다. 이는 저장 복잡성을 $O(HWT^2C^2)$에서 관리 가능한 $O(HWTC + VT)$로 줄입니다.
• 자막 생성: 비디오 생성 작업을 지원하기 위해 Tarsier2-7B 비전 - 언어 모델을 사용하여 전역 및 로컬 자막이 생성됩니다.

모델 학습 및 평가

이 논문은 세 가지 주요 작업에서 최첨단 모델을 학습 및 미세 조정하여 Syn4D 를 평가합니다:

1. 기하학적 인식 다중 뷰 확산: 저자들은 ReCamMaster를 확장하여 비디오와 함께 포인트 맵을 입력으로 받아들이도록 하여, 새로운 뷰의 동시 합성과 일관된 4D 기하학을 가능하게 합니다.
2. 4D 재구성과 추적: 4RC 모델은 Syn4D 와 기존 데이터셋 (PointOdyssey, Dynamic Replica 등) 과 함께 공동 학습되어 카메라 자세, 밀집 기하학, 운동을 공동으로 예측합니다.
3. 인간 자세 추정: MA-HMR 모델은 Syn4D( BEDLAM, AGORA, DTO-Humans 와 결합) 에서 미세 조정되어 가려진 상황에서의 다중 인간 메쉬 복원을 개선합니다.

주요 기여

1. 밀집 추적이 포함된 최초의 공개 다중 뷰 4D 데이터셋: Syn4D 는 카메라 이미지, 깊이 맵, 인간 자세 레이블과 함께 일반 동적 객체에 대한 밀집 3D 추적 주석이 포함된 동적 장면의 다중 뷰 비디오를 포함하는 최초의 공개 데이터셋입니다.
2. 효율적인 주석 저장: 바리센트릭 맵 기반 표현의 도입은 prohibitive 한 저장 비용 없이 시간과 뷰에 걸쳐 밀집 3D 트랙을 저장하고 효율적으로 쿼리할 수 있게 합니다.
3. 새로운 벤치마크 및 지표: 저자들은 기하학적 인식 새로운 뷰 합성(시각적 품질과 기하학적 일관성 모두 평가) 과 3D 추적(밀집 궤적에 대한 APD 및 EPE) 을 위한 새로운 평가 지표를 도입했습니다.
4. 실증된 유용성: 광범위한 실험을 통해 Syn4D 로 학습하는 것이 3D 추적, 비디오 깊이 추정, 카메라 자세 추정, 다중 뷰 재구성, 인간 자세 추정 분야에서 오프 - 더 - 쉘 (off-the-shelf) 모델의 성능을 크게 향상시킨다는 것을 보여줍니다.

결과

• 기하학적 인식 새로운 뷰 합성: Syn4D 로 학습된 모델은 Kubric 으로 학습된 모델보다 모든 지표에서 우수한 성능을 보였습니다. 구체적으로, 저자들의 자체 벤치마크에서 Syn4D 학습은 CLIP-V(시각적 정렬) 를 0.643 에서 0.740 으로, FVD(시간적 일관성) 를 631 에서 452 로 향상시켰습니다. 또한 우수한 기하학적 품질 (CLIP-V-P: 0.816 대 0.757) 을 달성했습니다.
• 3D 추적: Syn4D 와의 공동 학습은 희소 및 밀집 3D 추적 모두를 크게 향상시켰습니다. "Warehouse"테스트 세트에 대한 밀집 추적의 경우, 평균 포인트 비율 (APD) 이 58.35 에서 74.46 으로 증가했고, 종단점 오차 (EPE) 는 3.84 에서 1.89 로 감소했습니다.
• 카메라 자세 및 재구성: Syn4D 와 함께 공동 학습된 4RC 모델은 카메라 자세 추정 (예: Sintel 에 대한 절대 이동 오차가 0.144 에서 0.076 으로 감소) 과 다중 뷰 3D 재구성 정확도에서 일관된 개선을 보여주었습니다.
• 인간 자세 추정: Syn4D 로 MA-HMR 을 미세 조정하면 3DPW 벤치마크에서 관절별 위치 오차 (MPJPE) 가 63.2mm 에서 62.5mm 로, 정점별 오차 (PVE) 가 73.8mm 에서 72.9mm 로 감소하여 다양한 합성 가림 패턴의 가치를 입증했습니다.

중요성 및 주장

이 논문은 Syn4D 가 4D 비전 연구의 중요한 병목 현상인 밀집 기하학 및 운동 주석이 포함된 대규모 고품질 데이터셋의 부재를 해결한다고 주장합니다. 임의의 이미지 내 임의의 시점의 임의의 점에 대한 3D 위치를 복원할 수 있는 데이터셋을 제공함으로써, Syn4D 는 동적 장면 이해 및 시공간 모델링 연구를 촉진합니다. 저자들은 그들의 결과가 최첨단 모델을 개선하기 위한 합성 데이터의 잠재력을 강조하고 대규모 4D 데이터 생성에 대한 향후 투자를 고무한다고 주장합니다. 또한 이 데이터셋이 대응되는 4D 기하학과 함께 일관된 새로운 뷰 비디오 시퀀스를 생성할 수 있는 기하학적 인식 확산 모델과 같은 새로운 모델의 학습을 가능하게 함을 추가로 입증합니다.