기술 요약: 4D 에서 포즈가 없어도 문제없음: 비포즈 다중 뷰 비디오로부터의 순방향 동적 가우시안

문제 정의

본 논문은 4D 장면 재구성 분야에서 특정 격차를 해결합니다: 비포즈 다중 뷰 비디오로부터 단일 순방향 통과로 동적 장면을 재구성하는 능력입니다. 최근 진보들은 이 문제의 개별 측면들—비포즈 이미지로부터의 정적 재구성, 모노큘러 비디오로부터의 동적 재구성, 또는 알려진 포즈를 가진 동적 재구성—을 해결해 왔으나, 기존 방법 중 어떤 것도 장면별 최적화 없이 세 가지 제약 조건 (동적 콘텐츠, 다중 뷰 입력, 미지의 카메라 포즈) 을 모두 동시에 처리하지는 못합니다. 현재 최첨단 방법들은 정확한 카메라 포즈를 요구하거나, 모노큘러 입력만 허용하거나, 장면당 수 분에서 수 시간의 계산 비용을 수반하는 장면별 최적화에 의존합니다.

방법론: NoPo4D

저자들은 이 "비어 있는 사분면"에서 작동하도록 설계된 순방향 시스템인 NoPo4D를 제안합니다. 이 아키텍처는 사전 학습된 기하학 백본 (Depth Anything 3) 을 기반으로 하며, 그라운드 트루스 포즈의 부재와 동적 다중 뷰 데이터의 복잡성을 처리하기 위해 여러 새로운 구성 요소를 통합합니다.

1. 아키텍처 개요

• 특징 백본: 시스템은 시간 동기화된 다중 뷰 비디오 스트림을 처리하는 사전 학습된 트랜스포머 백본 (Depth Anything 3) 을 활용합니다. 이는 뷰 내 및 뷰 간 자기 주의 (self-attention) 레이어를 번갈아 사용합니다. 명시적인 시간 신호를 제공하기 위해 정현파 시간 토큰이 주입됩니다.
• 동결 헤드: 사전 학습되고 동결된 헤드는 프레임별 깊이 맵, 내부 파라미터 (intrinsics), 외부 파라미터 (extrinsics) 를 예측합니다. 정적 카메라 레그라는 가정 하에, 이러한 값들은 시간 평균화되어 카메라별 추정치를 산출합니다.
• 가우시안 평균: 프레임별 깊이 맵은 월드 공간 포인트 맵으로 역투영되어 가우시안 평균 ($\mu_g$) 을 인스턴스화합니다. 프레임당 픽셀당 하나의 가우시안이 생성됩니다.
• 정적 속성: 학습 가능한 디코더는 정적 파라미터 (회전, 스케일, 색상) 와 뷰 종속 불투명도를 구면 조화 (SH) 계수를 사용하여 예측합니다. SH 기반 불투명도는 문제 있는 뷰포인트로부터 정렬되지 않은 가우시안을 마스킹하는 학습된 신뢰도 지표로 작용합니다.

2. 핵심 기술 혁신: 속도 분해

핵심 기여는 3D 운동 그라운드 트루스나 감독을 위한 미분 가능 렌더링의 필요성을 피하는 속도 분해 전략입니다.

• 분해: 3D 가우시안 속도를 직접 예측하는 대신, 모델은 운동을 픽셀별 이미지 평면 이동 ($\Delta x, \Delta y$) 과 깊이 변화 ($\Delta d$) 로 분해합니다.
• 감독: 이를 통해 시스템은 2D 이미지 평면 구성 요소에 대해 의사 그라운드 트루스 광학 흐름 (SEA-RAFT 에서 유래) 으로 직접 감독될 수 있습니다. 이는 미분 가능 렌더링이 도입하는 오류 (포즈 정확도를 운동 감독에 결합함) 와 규모 있는 3D 운동 주석의 부재를 우회합니다.
• 3D 속도 유도: 3D 선형 속도 ($v^\pm_g$) 는 예측된 카메라 내부 및 외부 파라미터를 사용하여 예측된 2D 이동과 깊이 변화로부터 분석적으로 유도됩니다.

3. 운동 인코더 및 특징 집계

• 양방향 운동 인코더: 전용 인코더는 모든 카메라의 연속된 프레임 특징을 동시에 처리합니다. 이는 소스 및 이웃 프레임에서 토큰을 연결하고, 이를 구별하기 위해 학습 가능한 임베딩을 사용합니다. 결합 자기 주의는 뷰와 시간에 걸쳐 정보를 집계하여 분해된 운동 파라미터, 각속도, 그리고 픽셀별 운동 게이트를 출력합니다.
• 시간 공분산: 모델은 각 가우시안에 대해 시간 공분산과 시간 중심을 예측하여, 시간 중심을 중심으로 비대칭적인 운동을 허용합니다.

4. 학습 전략

• 손실 함수: 학습 목적 함수는 재구성 손실 (MSE, SSIM, LPIPS), 운동 손실 (예측된 이동과 의사 광학 흐름 간의 L1 손실), 깊이 일관성 손실, 그리고 동결된 백본으로부터의 증류 손실을 결합합니다.
• 커리큘럼 학습: 학습은 두 단계로 진행됩니다: 먼저 단일 카메라 뷰포인트에서 정적 표현을 초기화한 후, 동적 일관성을 학습하기 위해 증가하는 시간 간격으로 다중 카메라 배치에서 진행됩니다.
• 사후 최적화: 선택적 테스트 시간 정제 단계는 저불투명도 가우시안을 제거하고 광도 손실을 최소화하여, 완전한 장면별 최적화보다 수 차수 빠르면서도 성능을 크게 향상시킵니다.

주요 기여

1. 비어 있는 사분면을 위한 첫 번째 순방향 시스템: NoPo4D 는 장면별 최적화 없이 단일 순방향 통과로 동적 장면, 다중 뷰 입력, 그리고 미지의 카메라 포즈를 동시에 처리하는 첫 번째 방법입니다.
2. 속도 분해: 가우시안 운동을 이미지 평면 이동과 깊이 변화로 분할하는 도입은 3D 운동 그라운드 트루스나 포즈 의존적 렌더링의 필요성을 우회하면서 직접적인 광학 흐름 감독을 가능하게 합니다.
3. 양방향 운동 인코더 및 뷰 종속 불투명도: 이러한 구성 요소들은 교차 뷰 및 교차 시간 단계 특징 일관성을 보장하고, 포즈 없는 재구성에 내재된 기하학적 정렬 불일치를 완화합니다.
4. 종합적 평가: 시스템은 네 가지 다중 뷰 동적 벤치마크 (ExoRecon, Immersive Light Field, Kubric, N3DV) 에서 평가되어, 이전 순방향 베이스라인보다 일관된 우월성을 입증했습니다.

실험 결과

• 분포 내 (ExoRecon): NoPo4D 는 다른 순방향 베이스라인 (예: DGGT, NeoVerse, MoVieS) 을 크게 능가합니다. 선택적 사후 최적화와 함께, 이는 장면별 최적화 최첨단 (MonoFusion) 을 능가하여 더 높은 PSNR (31.95 대 30.43) 을 달성하면서 수 차수 빠르게 실행됩니다.
• 분포 외 일반화: Immersive Light Field, Kubric, N3DV 와 같은 데이터셋에서 NoPo4D 는 베이스라인보다 상당한 우위를 유지하며, 도메인별 튜닝 없이 캡처 모드 (자신 중심, 실제 다중 카메라, 합성) 간에 강력한 전이를 입증합니다.
• 절대 연구:
  • 양방향 운동 인코더를 제거하면 약 6.2 PSNR 이 감소하여 교차 프레임 특징 집계의 필요성을 확인시켜 줍니다.
  • 뷰 종속 불투명도 (SH) 를 제거하면 약 7.5 PSNR 이 감소하여, 정렬되지 않은 가우시안을 마스킹하는 역할을 검증합니다.
  • 속도 분해를 제거하고 (3D 속도를 직접 예측) 광학 흐름 감독을 위해 미분 가능 렌더링이 필요하게 되면 약 1.5 PSNR 이 감소하여 분해된 접근법의 효율성을 확인시켜 줍니다.
  • 일관성 손실만으로는 증류나 흐름 없이는 치명적이며, 주요 신호보다는 정규화제로 작용합니다.

중요성과 주장

본 논문은 NoPo4D 가 4D 재구성의 중요한 공백을 메워, 장면별 최적화의 계산 비용 없이 최소한의 인프라에서 일상 활동의 자유 뷰포인트 렌더링을 가능하게 한다고 주장합니다. 속도 분해를 통해 운동 감독을 포즈 정확도에서 분리함으로써, 이 시스템은 스포츠 캡처부터 몰입형 콘텐츠 제작에 이르는 응용 분야에 대한 실용적인 확장성을 달성합니다. 저자들은 시스템이 정적 카메라 레그를 가정하지만, 통제되지 않은 환경에서의 실용적이고 실시간 동적 장면 이해를 향한 중요한 단계임을 강조합니다. 코드와 사전 학습된 가중치는 추가 연구를 촉진하기 위해 공개적으로 제공됩니다.