💻 computer science

Depth Anything V4: Dynamic 4D Scene Reconstruction via Riemannian Flow Matching on 4D Gaussian Splatting

Depth Anything V4 (DAV4)는 유효한 중간 상태를 보장하고 인간이 주석을 달지 않은 깊이 레이블 없이도 우수한 성능을 달eric하기 위해 4D 가우시안 스플래팅 파라미터에 대한 리만 흐름 매칭(Riemannian Flow Matching)을 활용하는 단안 동적 4D 장면 재구성을 위한 새로운 프레임워크를 도입한다.

원저자: Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

게시일 2026-08-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시간에 따라 변화하는 거실을 포착하는 것을 상상해 보십시오. 고양이가 바닥을 가로질러 달려가고, 커튼이 외풍에 흔들리며, 사람이 프레임을 통과합니다. 표준 사진은 단 한 순간의 찰나를 얼려버리지만, 비디오는 우리에게 평면적인 2차원 이미지의 연속만을 보여줍니다. 수십 년 동안 과학자들은 이러한 평면적인 비디오 프레임을 실제 세상처럼 움직이고 숨 쉬는 진정한 3차원 모델로 바꾸기 위해 노력해 왔습니다. 이것이 바로 동적 4D 재구성(dynamic 4D reconstruction)의 과제입니다. 목표는 깊이감을 가질 뿐만 아니라 시간이 흐름에 따라 물체가 어떻게 변형되고, 회전하며, 이동하는지를 이해하는 디지털 트윈을 구축하는 것입니다. 이를 위해 연구자들은 종종 가우시안 스플래팅(Gaussian Splatting)이라 불리는 기술을 사용하는데, 이는 장면을 단단한 메쉬(mesh)가 아니라 수백만 개의 작고 색이 있는 반투명한 타원형 구름으로 표현합니다. 이 각각의 작은 모양들은 위치, 크기, 색상, 그리고 시야를 얼마나 차단하는지에 대한 특정 정보를 담고 있습니다. 새로운 각도에서 장면을 볼 때, 컴퓨터는 이 모양들을 혼합하여 새로운 이미지를 만들어냅니다. 어려움은 이 모양들이 시간에 따라 움직이고 형태를 바꿔야 할 때 발생합니다. 만약 컴퓨터가 이들을 움직이는 방식을 잘못 예측하면, 수학적 구조가 무너지고 3D 모델은 엉터리로 붕괴됩니다.

한 연구팀은 단일 비디오 카메라로부터 움직이는 3D 세계를 만드는 이 구체적인 문제를 해결하기 위해 설계된 'Depth Anything V4'라는 새로운 시스템을 선보였습니다. 이 기술의 이전 버전들은 매우 빨라서 순식간에 깊이를 추정할 수 있었지만, 정적인 장면이나 단순한 깊이 지도를 위해 만들어졌습니다. 그것들은 역동적인 환경의 복잡하고 연속적인 움직임을 잘 처리하지 못했습니다. 새로운 접근 방식은 원시적인 속도보다 정확성과 일관성을 우선시하며, 역사적 유적지를 보존하거나 상세한 가상 환경을 구축하는 것과 같이 오프라인 용도로 적합한 고품질 3D 아카이브를 만드는 것을 목표로 합니다. 핵심 혁신은 컴퓨터가 그 수백만 개의 작은 3D 모양들의 움직임을 학습하는 방법에 있습니다. 연구자들은 이 움직임을 평면 격자 위의 단순한 직선으로 취급하는 대신, 이 모양들을 지배하는 규칙이 마치 곡면의 규칙과 같다는 점을 깨달았습니다. 예를 들어, 모양의 크기는 양수여야만 하며, 회전은 특정한 원형 규칙을 따라야 합니다. 만약 이 값들을 직선 방향으로 움직이려 한다면, 실수로 음수의 크기를 가진 모양을 만들거나 깨진 회전을 만들어내는 등 물리적으로 불가능한 상황을 초래할 수 있습니다.

이 곡선적인 수학적 지형을 탐색하기 위해, 팀은 리만 흐름 매칭(Riemannian Flow Matching)이라는 방법을 개발했습니다. 이것은 지형을 완벽하게 알고 있는 가이드라고 생각하면 됩니다. 표준적인 가이드가 직선으로 걸어가려다가 경로를 벗어나면 다시 끌어오는 방식이라면, 이 새로운 가이드는 경로 전체를 곡면 자체를 따라 계획합니다. 이를 통해 컴퓨터가 학습 과정에서 내딛는 모든 단계가 유효하고 물리적으로 가능하도록 보장합니다. 연구진은 동일한 데이터와 동일한 처리 시간을 사용하는 표준적인 경직된 컴퓨터 프로그램과 비교하여 이 새로운 시스템을 테스트했습니다. 표준 프로그램은 일정 수준의 정확도로 장면을 재구성했지만, 곡선 경로 가이드를 사용한 새 시스템은 그 정확도를 크게 향상시켰습니다. 연구진은 이 개선이 단순히 더 많은 데이터나 추가적인 처리 시간 때문이 아니라 새로운 방법론에서 기인했음을 증명하기 위해 이를 분리하여 검증했습니다. 그들은 새로운 접근 방식만으로도 재구성 품질에 측정 가능한 상승 효과를 주었다는 것을 발견했으며, 이는 데이터의 곡선적 특성을 존중하는 것이 고충실도 결과를 얻는 데 필수적임을 확인시켜 줍니다.

이 시스템은 먼저 비디오 프레임을 분석하여 장면의 구조와 물체의 움직임을 이해합니다. 그런 다음, 3D 모양들이 일반적으로 어떻게 행동하는지에 대한 심층적인 이해인 학습된 '사전 지식(prior)'을 사용하여 전체 비디오 시퀀스에 대한 대략적인 3D 모델을 생성합니다. 이 초기 모델은 컴퓨터가 비디오 프레임과 완벽하게 일치하도록 모델을 미세하게 조정하는 '테스트 타임 최적화(test-time optimization)' 과정을 통해 정교해집니다. 연구진은 이 시스템이 장면당 약 420밀리초 만에 고품질 3D 재구성을 생성할 수 있음을 보여주었습니다. 이는 38밀리초밖에 걸리지 않는 가장 빠른 기존 도구들보다는 느리지만, 품질이 속도보다 중요한 오프라인 응용 분야에서는 충분히 빠른 속도입니다. 또한, 연구진은 만약 이 시스템이 만 개의 장면과 같이 방대한 양의 장면을 처리하게 된다면, 시스템 학습에 소비되는 초기 시간이 분산되어 매 장면당 비용이 매번 몇 시간씩 최적화가 필요한 다른 방법들과 비교했을 때 매우 경쟁력 있게 낮아질 것임을 입증했습니다.

이 연구의 가장 흥미로운 측점 중 하나는 불확실성을 다루는 방식입니다. 많은 컴퓨터 비전 작업에서 시스템은 자신이 확신하지 못할 때조차 답을 제시합니다. 그러나 Depth Anything V4는 재구성 결과에 대해 자신이 얼마나 확신하는지를 말해줄 수 있습니다. 약간의 변형을 주어 생성 과정을 여러 번 실행함으로써, 시스템은 빠르게 움직이는 물체 주변이나 영상이 흐릿한 영역처럼 결과가 불안정한 곳을 식별할 수 있습니다. 연구진은 이 시스템이 시각적 정보가 모호한 곳에서 정확히 높은 불확실성을 보여줌으로써 어려운 지점들을 매우 잘 짚어낸다는 것을 발견했습니다. 이는 안전이나 정밀도가 요구되는 응용 분야에서 시스템이 틀린 답을 자신 있게 제시하는 것을 방지하므로 매우 중요합니다. 연구진은 또한 그들의 방법이 곡선 문제에 직선 수학을 강요하는 기존 방식들에 비해 '유효하지 않은' 3D 모양을 더 적게 생성한다는 것을 확인했습니다. 테스트 결과, 새 방법은 거의 모든 경우에 유효한 모양을 생성한 반면, 기존 방식들은 버려져야 하는 깨지거나 터무니없는 모양을 간혹 만들어냈습니다.

연구는 또한 학습 과정에서 시간의 중요성을 다루었습니다. 연구진은 시스템이 특정 시점을 무시하고 장면의 평균적인 움직임을 학습하려고 할 때 어떤 일이 발생하는지 테스트했습니다. 그들은 시간 인식을 결 없이 학습할 경우, 시스템이 장면 간의 움직임을 일관되게 유지하는 데 어려움을 겪으며, 결과적으로 지터링(jittering)이 발생하고 불안정한 3D 모델을 만든다는 것을 발견했습니다. 각 프레임의 시간 인덱스에 주의를 기울이도록 시스템을 명시적으로 교육함으로써, 모델은 움직임의 흐름을 정확하게 추적하는 법을 배웠고, 이는 훨씬 더 부드럽고 현실적인 재구성을 이끌어냈습니다. 이는 역동적인 장면에서 시간의 흐로를 이해하는 것이 단순한 세부 사항이 아니라 성공을 위한 근본적인 요구 사항임을 확인시켜 줍니다. 연구진은 결론적으로, 자신들의 시스템이 실시간 로보틱스나 자율 주행에 쓰일 만큼 빠르지는 않지만, 고품질의 확률적 3D 모델을 만드는 데 있어 중요한 진전이라고 밝혔습니다. 이는 이전에는 도달할 수 없었던 수학적 정확성과 세부 사항을 가지고 움직이는 장면의 복잡성을 포착하는 방법을 제시하며, 더 나은 디지털 아카이브와 더 몰입감 있는 가상 경험을 위한 길을 열어줍니다.

기술 요약: Depth Anything V4 (DAV4)

1. 문제 정의

본 논문은 **단안 비디오로부터의 동적 4D 장면 재구성(dynamic 4D scene reconstruction)**이라는 과제를 다룹니다. 이전의 Depth Anything 시리즈(V1–V3)는 피드포워드 단안 깊이 추정(monocular depth estimation)에서 최첨단 성능을 확립했지만, 이 모델들은 속도를 우선시하며 템포럴 모델링(temporal modeling) 없이 판별적 회귀 패러다임에 의존하여 점 추정치(point estimates)만을 생성합니다.

Depth Anything V4 (DAV4)는 속도에서 **볼륨 충실도(volumetric fidelity)와 시간적 일관성(temporal consistency)**으로 초점을 전환하여, 오프라인 콘텐츠 제작 및 3D 아카이빙을 목표로 합니다. 핵심적인 기술적 과제는 시간에 따라 진화하는 유효한 4D 가우시안 스플래팅(4D Gaussian Splatting, 4DGS) 파라미터(스케일, 회전, 불투명도, 위치)를 생성하는 것입니다. 표준 유클리드 보간법은 이러한 파라미터에 내재된 비유클리드 매니폴드(non-Euclidean manifolds)를 가로지를 때, 사후 투영(post-hoc projection)이 재구성 품질을 저하시키는 문제를 야기하는 유효하지 않은 중간 상태(예: 음수 스케일 또는 단위가 아닌 쿼터니언)를 생성하는 경우가 많습니다.

2. 방법론

2.1 핵심 프레임워크: 리만 흐름 매칭 (Riemannian Flow Matching, RFM)

DAV4의 중심 혁신은 4D 가우시안 스플래팅의 파라미터에 **리만 흐름 매칭(RFM)**을 적용한 것입니다. 유클리드 공간에서 작동하는 표준 흐름 매칭과 달리, RFM은 가우시안 파라미터가 존재하는 비유클리드 매니폴드 상에 직접 확률 경로를 정의합니다:

스케일 ( $s$ ): 로그 변환과 측지선 보간( $s_t = s_z^{1-t} s_1^t$ )을 사용하여 $\mathbb{R}^3_{>0}$ 상에 모델링됩니다.
회전 ( $q$ ): 단위 쿼터니언을 위한 Exp/Log 맵을 통한 측지선 보간을 사용하여 $SO(3)$ 상에 모델링됩니다.
불투명도 ( $\alpha$ ): $\mathbb{R}$ 로 매핑하기 위한 로짓(logit) 변환을 사용하여 $(0, 1)$ 상에 모델링됩니다.
위치 ( $\mu$ ): $\mathbb{R}^3$ 상에 모델링됩니다.

목적 함수는 학습된 벡터 필드 $v_\theta$ 와 매니폴드 상의 조건부 벡터 필드 $u_t$ 사이의 거리를 최소화합니다:
$L_{RFM} = \mathbb{E}_{t, G_z \sim p_0, G_1 \sim p_1} \left[ \|v_\theta(G_t, t, f_{img}, \gamma(\tau)) - u_t\|^2_{\mathcal{M}} \right]$
여기서 $G_t$ 는 이미지 특징 $f_{img}$ 와 비디오 시간 $\tau$ 에 조건화된 시간 $t$ 에서의 상태를 나타냅니다.

2.2 아키텍처 및 파이프라인

백본(Backbone): 동결된 DINOv2-L 백본이 단안 비디오 프레임으로부터 의미론적 특징을 추출합니다.
퍼시버 모듈(Perceiver Module): 가우시안 인코딩 집합을 고정된 크기의 잠재 토큰(latent tokens)으로 매핑합니다.
시간적 조건화(Temporal Conditioning): 벡터 필드는 학습 가능한 임베딩 $\gamma(\tau)$ 를 통해 비디오 시간 인덱스 $\tau$ 에 명시적으로 조건화되어, 모델이 정적인 평균이 아닌 시간적 진화를 포착할 수 있게 합니다.
자기 지도 학습 교사(Self-Supervised Teacher): 교사 모델은 인간이 주석을 달지 않은 깊이 레이블 없이 자기 지도 손실을 사용하여 학습됩니다. 손실 함수는 다음을 결 조합합니다:
- 광학적 일관성을 위한 렌더링 손실 ( $L_{render}$ )
- 강성 점수(rigidity scores)를 포함한 SE(3)-등변성 손실 ( $L_{equiv}$ )
- RAFT를 사용한 광학 흐름 일관성 ( $L_{flow}$ )
- DA2의 중앙값 깊이를 사용한 스케일 정규화 ( $L_{scale}$ , 약한 지도 학습)
- 정규화 ( $L_{reg}$ )

2.3 추론 및 샘플링

추론 과정은 조대-세밀 단계적 ODE 샘플링(Coarse-to-Fine ODE Sampling) 전략(알고리즘 1)을 채택합니다:

조대 단계(Coarse Stage): 전역적인 장면 레이아웃을 포착하기 위해 10단계 수행.
세밀 단계(Fine Stage): 세부 사항을 정교화하기 위해 20단계 수행.
테스트 시간 최적화(Test-Time Optimization, TTO): 생성된 가우시안을 더욱 정교하게 만들기 위해 렌더링 손실 그래디언트( $\nabla G L_{render}$ )를 사용하는 선택적 가이드가 세밀 단계에서 적용됩니다.

3. 주요 기여 및 통제 실험

본 논문은 결정론적 MLP 베이스라인을 사용하는 일련의 통제 실험을 통해 RFM의 기여를 다른 요소(사전 학습 및 TTO)로부터 엄격히 분리합니다. 이 베이스라인은 동일한 데이터, 아키텍처(DINOv2-L + Perceiver), TTO 프로토콜을 공유하지만, RFM 목적 함수를 표준 $L_2$ 회귀로 대체합니다.

분리된 이득 (Dynamic-Sim에 대한 F-score):

TTO 기여도: 표준 4D-GS 베이스라인에 TTO를 추가하면 +0.046의 이득이 발생합니다.
사전 학습 기여도: RFM 없이 WebVid-10M 및 MegaDepth에서 대규모 사전 학습을 수행하면 4D-GS+TTO 대비 +0.014의 이득을 얻습니다.
RFM 기여도: RFM 공식 자체는 결정론적 MLP+TTO 베이스라인 대비 격리된 +0.044의 이득(0.806 대 0.762)을 제공합니다.

이러한 분해는 개선이 단순히 더 큰 데이터셋이나 최적화 기술 때문이 아니라, 올바른 비유클리드 매니폴드 상에 확률 경로를 정의한 데서 구체적으로 기인함을 입증합니다.

4. 실험 결과

4.1 동적 재구성

Dynamic-Sim 및 KITTI Dynamic 벤치마크에서 DAV4(RFM + TTO)는 각각 0.806 및 0.652의 F-score를 달성합니다. 이는 다음을 능가합니다:

완전히 최적화된 장면별 4D-GS (5000 반복): 0.781 (Dynamic-Sim).
결정론적 MLP + TTO: 0.762.
유클리드 흐름 매칭 + 사후 투영: 0.684 (유효하지 않은 가우시안 12.3% 포함).

DAV4는 유효하지 않은 가우시안(음수 스케일, 단위가 아닌 쿼터니언)의 비율을 유클리드 방식의 12.3%에서 **0.01%**로 줄여, 리만 접근법의 수학적 타당성을 확인시켜 줍니다.

4.2 신규 시점 합성 (Novel-View Synthesis, NVS)

ETH3D 및 ScanNet에서 평가했을 때, DAV4는 단 20 단계의 TTO만으로 ETH3D에서 25.13 dB PSNR을 달s성합니다. 이는 다음을 능가합니다:

무작위 초기화 및 20 단계 TTO를 사용한 3D-GS (22.34 dB).
완전히 최적화된 3D-GS (5000 반복, 24.12 dB).

이 결과는 학습된 리만 사전 확률(Riemannian prior)이 무작위 초기화보다 훨씬 나은 초기값을 제공하여, 더 적은 최적화 단계만으로도 더 나은 국소 최적해(local optimum)에 수렴할 수 있음을 나타냅니다.

4.3 절제 연구 (Ablation Studies)

시간 조건화: 입력에서 비디오 시간 $\tau$ 를 제거하면 F-score가 0.806에서 0.742로 감소하고, 시간적 일관성(TC)이 0.92에서 0.78로 감소하여 명시적 시간 모델링의 필요성을 증명합니다.
불확실성 정량화: DAV4는 다중 가설 샘플링을 통해 잘 보정된 불확실성 추정치를 제공합니다. 이는 MC-Dropout 및 앙상블 방법보다 우수한 -1.58의 음수 가우시안 로그 가능도(NGLL)와 0.058의 기대 보정 오차(ECE)를 달성합니다.

4.4 계산 비용

사전 학습: 360 GPU-시간이 소요됩니다.
추론: 장면당 420ms (DA3의 38ms보다 11배 느림).
분할 상환(Amortization): 논문은 DAV4가 실시간 애플리케이션에는 적합하지 않지만, 대규모 배포 시 사전 학습 비용이 효과적으로 분할 상환된다고 언급합니다. 10,000개 장면에 대해 분할 상환된 비용은 장면당 약 550ms로 떨어지며, 이는 장면별 최적화 방법과 경쟁할 수 있는 수준이면서 더 높은 품질을 제공합니다.

5. 의의 및 주장

본 논문은 Depth Anything V4가 **확률적 4D 장면 이해(probabilistic 4D scene understanding)**를 향한 중요한 진전임을 주장합니다. 주요 의의는 다음과 같습니다:

기하학적 타당성: 스케일, 회전, 불투명도에 대해 리만 매니폴드 상에 직접 흐름 매칭을 정의하는 것이 사후 투영을 사용하는 유클리드 근사보다 우수함을 입증하여, 모든 중간 상태가 유효하도록 보장하고 재구성 품질을 향상시켰습니다.
격리된 기여: 리만 공식 자체가 사전 학습 규모나 테스트 시간 최적화와 독립적으로 +0.044의 F-score 이득을 제공한다는 경험적 증거를 제시했습니다.
자기 지도 패러다임: 훈련 손실을 위해 인간이 주석을 단 깊이 레이블에 의존하지 않고도 고충실도 동적 재구성을 달고했습니다.
불확실성 인식: NGLL 및 ECE를 통해 불확실성을 정량화하는 프레임워크를 제공하며, 이는 동적 환경에서의 후속 의사 결정에 필수적입니다.

저자들은 실시간 적합성 부족(420ms 추론), 높은 사전 학습 비용, 그리고 무작위 초기화된 3D-GS와의 NVS 비교 시 발생하는 내재적 초기화 편향 등의 한계를 인정합니다. 그러나 이들은 DAV4를 V1–V3의 빠른 피드포워드 깊이 추정과 보완적인 발전으로서, 특히 고충실도 오프라인 3D 아카이빙 및 콘텐츠 제작에 특화된 모델로 포지셔닝합니다.