기술 요약: OmniX - 피드포워드 궤적 필드를 통한 Any-view 및 Any-time 4D 재구성

1. 문제 정의

현재의 피드포워드 4D 재구성 방식들은 두 가지 주요한 한계에 직면해 있습니다:

1. 모션 모델링: 많은 접근 방식들이 시간 흐름에 따른 움직임을 명시적으로 모델링하지 않고 프레임당 정적인 포인트 클라우드만을 예측하며, 이로 인해 시간적 대응 관계를 복구하기 위해 계산 비용이 많이 드는 반복적인 트래킹 과정이 필요합니다.
2. 시점 및 모션 제약: 조밀한 3D 포인트 궤적을 예측하는 방법들은 대개 단안 비디오와 작은 카메라 움직임에 국한됩니다. 이들은 정적 기하학 특징 매칭과 동적 전경의 시간적 대응 학습을 분리하지 못해 발생하는 상호 간섭으로 인해, 큰 시점 변화가 발생하는 상황에서 어려움을 겪습니다.

단일 피드포워드 패스(single feed-forward pass) 내에서 큰 카메라 움직임과 시간적으로 불연속적인 입력을 가진 비디오로부터 조밀한 3D 포인트 궤적을 예측할 수 있는 프레임워크가 부족한 실정입니다.

2. 방법론: OmniX 프레임워크

OmniX는 임의의 시점과 시간으로부터 일관된 4D 기하 구조를 복구하도록 설계된 피드포워드 4D 재구성 프레임워크입니다. 이는 동적인 전경 움직임을 정적인 장면 구조로부터 명시적으로 분리합니다.

2.1 공식화

모델은 비디오 컬렉션을 입력으로 받아 다음을 출력합니다:

• 3D 기하 구조: 3D 포인트를 복구하기 위한 데프스 맵(depth maps), 레이 맵(ray maps), 그리고 카메라 파라미터(외적 및 내적).
• 4D 기하 구조: 시간에 따른 조밀한 3D 포인트 궤적.
  • 궤적은 참조 3D 포인트 $P^{(i_0)}_{j_0}$에 변환 $\tau$ (회전 $A$ 및 평행 이동 $b$)를 적용하여 임의의 시간 $(i, j)$에서의 위치를 얻는 방식으로 모델링됩니다: $P^{(i)}_j = A^{(i)}_j P^{(i_0)}_{j_0} + b^{(i)}_j$.
  • 효율성을 보장하기 위해, 모션은 궤적 변환 베이스(trajectory transformation bases)의 작은 집합에 대한 가중치 결합으로서 궤적 필드(trajectory field)를 통해 표현됩니다.

2.2 아키텍처

OmniX는 피드포워드 3D 재구성 모델(특히 DepthAnything3)을 기반으로 하며, 두 가지 핵심 구성 요소로 이루어진 **궤적 모듈(Trajectory Module)**을 도입합니다:

1. 희소 시공간 어텐션 (Sparse Spatiotemporal Attention, SSA):

   • 동적 토큰 선택 (Dynamic Token Selection): MLP가 이미지 토큰의 동적 확률을 예측하여, 움직이는 전경을 나타내는 상위 $\rho\%$의 "동적 토큰"을 선택합니다.
   • 시간적 확장 (Temporal Expansion): 선택된 동적 토큰들은 비디오 및 프레임 인덱스의 사인형 인코딩(sinusoidal encodings)에 의해 조절되며, 토큰별 계수에 따라 시간 차원으로 확장됩니다.
   • 교차 어텐션 (Cross-Attention): 확장된 동적 토큰은 쿼리(query)로서 작용하여 모든 이미지 토큰(key/value)에 어텐션을 수행함으로써 기하학적 및 모션 단서를 추출합니다. 이를 통해 모델은 시공간적 대응 관계를 구축하고 궤적 변환 베이스를 효율적으로 예측할 수 있습니다. 쿼리 토큰 간의 셀프 어텐션(self-attention)은 이득이 미미하므로 생략되었습니다.

2. 변형 가능한 궤적 샘플링 헤드 (Deformable Trajectory Sampling Head, DTSH):

   • (토큰 위치에서 예측된) 희소 궤적 필드를 픽셀 단위의 조밀한 변환으로 변환하기 위해, DTSH는 DPT 아키텍처를 기반으로 한 변형 가능한 샘플링 메커리즘을 사용합니다.
   • 이 헤드는 통계적(평균/분산) 브랜치와 돌출적(max pooling) 브랜치를 결과값과 결합하여 희소 필드를 집계하고, 동적 점수를 활용합니다.
   • 헤드는 샘플링 오프셋과 가중치를 예측하여 희소 필드를 픽셀 수준의 변환 맵으로 업샘플링합니다.
   • 미분 가능한 선택 (Differentiable Selection): 예측된 동적 점수 $\theta$를 사용하여 최종 궤적을 조절함으로써 배경 포인트가 정적으로 유지되도록 유도합니다 ($\hat{P}_{traj} = P + \theta \cdot (P_{traj} - P)$).

2.3 학습 목적 함수

모델은 이상치(예: 폐색, 하늘)를 처리하기 위해 신뢰도 기반 손실 함수(confidence-aware losses)를 사용하여 데프스, 레이 맵 및 포인트 궤적을 감독합니다.

• 회귀 손실 (Regression Loss): 불확실성에 따라 오차를 재가중하기 위해 예측된 신뢰도에 의해 가중치가 부여됩니다.
• 그래디언트 손실 (Gradient Loss): 데프스 맵의 날카로운 에지를 보존합니다.
• 카메라 포즈 손실 (Camera Pose Loss): 강건함을 위해 Huber 손실을 사용합니다.
• 동적 점수 손실 (Dynamic Score Loss): 정답 동적 마스크가 있는 경우, 토큰 레벨 및 픽셀 레벨의 동적 점수에 이진 교차 엔트로피(BCE) 손실이 적용됩니다.

3. 주요 기여

3.1 OmniX 프레임워크

본 논문은 동적 모션 모델링과 정적 기하 예측을 분리하는 새로운 아키텍처를 제안합니다. 3D 모션의 희소하고 저계수(low-rank)인 구조를 활용함으로써, 소수의 동적 토큰을 사용하여 단일 패스 내에서 모든 뷰와 시간의 모든 픽셀에 대한 궤적 필드를 생성합니다. 이를 통해 큰 카메라 움직임과 시간적으로 불연속적인 입력 환경에서도 강력한 성능을 발휘할 수 있습니다.

3.2 대규모 4D 데이터셋 및 엔진

큰 카메라 움직임과 완전한 기하학적 주석이 포함된 4D 데이터셋의 부족 문제를 해결하기 위해, 저자들은 Unreal Engine 5 (UE5) 기반의 자동 데이터 엔진을 개발했습니다.

• 합성 (Synthesis): 정적인 환경과 동적인 객체를 합성하고 커스텀 멀티 카메라 시스템을 사용하여 렌더링합니다.
• 규모 (Scale): 결과물인 데이터셋은 80,000개의 장면과 128만 개의 멀티 뷰 비디오를 포함합니다.
• 주석 (Annotations): 완전한 기하학적 주석(데프스, 카메라 포즈)과 조밀한 3D 포인트 궤적을 포함합니다.

3.3 최첨단 성능 (State-of-the-Art Performance)

OmniX는 조밀한 3D 포인트 궤적 예측 및 3D 포인트 트래킹 분야에서 SOTA 성능을 달럽니다. 또한 비디오 데프스 추정과 카메라 포즈 추정 작업에서도 경쟁력 있는 성능을 보여줍니다.

4. 실험 결과

4.1 조밀한 3D 포인트 궤적 예측

커스텀 벤치마크(40개 장면에 대한 600개 비디오)에서 종단점 오차 (EPE) 및 평균 포인트 거리 (APD3D) 지표로 평가되었습니다.

• 성능: OmniX는 단안 비디오(Monocular Video), 불연속 비디오 쌍(Disjoint Video Pairs), 하이브리드 이미지-비디오 세트 전반에서 이전 방법들(예: TraceAnything, VDPM)을 크게 압도합니다.
• 큰 움직임: 이 모델은 특히 큰 카메라 움직임(최대 180°)과 불연속 비디오 쌍이 발생하는 시나리오에서 강점을 보이며, 이는 데이터 제한으로 인해 기존 베이스라인 모델들이 실패하는 지점입니다.
• 전경 vs 전체 포인트: 모델은 전경과 전체 포인트 모두에서 높은 정확도를 달성합니다. 반면 베이스라인들은 부정확한 카메라 추정으로 인해 배경 포인트가 시야 밖으로 투영되어 "전체 포인트"에 대한 성능이 저하되는 경향이 있습니다.

4.2 희소 3D 포인트 트래킹

TAPVid-3D 벤치마크에서 OmniX는 ADT, DriveTrack, PStudio 데이터셋 전반에서 SOTA 성능을 달성했습니다.

• 정성적 분석: 복잡한 장면(예: 걷기, 다리 꼬기)에서 OmniX는 비정형 모션 패턴을 정확하게 포착하는 반면, 베이스라인들은 전경과 배경을 구분하지 못해 워핑 아티팩트(warping artifacts)나 가짜 배경 변위를 발생시키는 경우가 많습니다.

4.3 기타 작업

• 비디오 데프스 추정: KITTI 데이터셋에서 DepthAnythingV3와 같은 SOTA 방법들과 대등한 경쟁력 있는 결과를 보여줍니다.
• 카메라 포즈 추정: Sintel 및 TUM-dynamic 데이터셋에서 강력한 성능을 제공합니다.

4.4 효율성

• 추론 (Inference): OmniX는 비교된 방법들 중 두 번째로 높은 효율성을 보입니다. 모든 궤적을 네이티브하게 단일 패스로 예측하기 때문에 단순 트래킹 헤드보다는 메모리를 더 사용하지만, VDPM이나 St4RTrack과 같이 반복적인 추론 루프가 필요한 방식보다는 빠른 실행 시간을 가집 most니다.
• 어블레이션 (Ablation): 교차 어텐션(Cross-Attention) 메커니즘을 제거하면 성능이 급격히 떨어지며, 이는 전경의 역동성을 포착하는 데 있어 해당 메커니즘의 필수성을 입증합니다. 동적 토큰 간의 셀프 어텐션은 불필요한 것으로 확인되었습니다.

5. 의의 및 주장

본 논문은 OmniX가 다음과 같은 이유로 동적 장면 이해의 중요한 진전임을 주장합니다:

1. 큰 움직임 문제 해결: 동적 모션과 정적 기하를 명시적으로 분리함으로써, 기존 피드포워드 방식의 한계였던 큰 카메라 움직임과 임의의 시점에서도 견고한 재구성을 가능하게 합니다.
2. 조밀한 예측 가능: 본 프레임워크는 조밀한 3D 포인트 궤적을 효율적인 단일 패스로 예측할 수 있게 하여, 반복적인 트래킹의 계산적 병목 현상을 극복합니다.
3. 데이터 확장성: UE5 기반의 데이터 엔진과 그에 따른 80k 장면 데이터셋의 도입은 4D 재구성의 핵심 병목인 데이터 부족 문제를 해결하며, 고품질의 대규모 합성 데이터셋이 모델의 정확도 향상으로 직접 연결됨을 증명합니다.

저자들은 자신들의 프레임워크와 데이터 생성 파이프라인이 Embodied AI, 자율 주행, AR/VR 콘텐츠 제작 분야의 미래 연구를 위한 강력한 토대를 제공한다고 결론짓습니다.