ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation

이 논문은 두 개의 입력 이미지로 큰 시점 변화를 겪는 새로운 뷰를 합성할 때, 기존 회귀 기반 방법의 한계와 카메라 유도 확산 모델의 불안정성을 해결하기 위해, 신뢰도 가중치와 칼만 필터 기반 예측 - 업데이트 메커니즘을 활용하여 확산 모델이 지시된 카메라 궤적을 따르면서도 보이지 않는 영역을 정확하게 복원하도록 하는 'ConfCtrl' 프레임워크를 제안합니다.

핵심

이 논문은 **"ConfCtrl"**이라는 새로운 기술을 소개합니다. 이 기술은 두 장의 사진만 가지고, 그 사이를 자연스럽게 이어주는 새로운 시점의 비디오를 만들어내는 방법입니다.

기존의 방법들은 두 가지 큰 문제가 있었습니다.

1. ** regression(회귀) 기반 방법:** 3D 공간을 정확히 계산하지만, 보이지 않는 부분을 상상해 내는 능력이 부족해 그림이 깨지거나 흐릿해집니다. (마치 정밀한 지도는 있지만, 길이 없는 곳은 그냥 빈 공간으로 남겨두는 것 같습니다.)
2. Diffusion(확산) 기반 방법: 상상력이 풍부해서 보이지 않는 부분도 잘 채워주지만, 카메라가 가고 싶은 대로 정확히 움직이지 않고 엉뚱한 곳으로 흘러가버립니다. (마치 훌륭한 화가지만, "오른쪽으로 이동해"라고 지시해도 그림이 왼쪽으로 흐르는 경우입니다.)

저자들은 이 두 가지 장점을 합치고 단점을 보완하는 ConfCtrl을 개발했습니다. 이를 쉽게 설명하기 위해 몇 가지 비유를 들어보겠습니다.

---

🎬 ConfCtrl: "현명한 카메라 감독과 내비게이션"

1. 시작은 '신뢰도 지도'가 있는 나침반 (Confidence-Aware Initialization)

기존 방법들은 비디오를 만들 때 완전히 하얀 종이에 (잡음) 그림을 그리기 시작했습니다. 하지만 ConfCtrl 은 **3D 지도 (점 구름)**를 먼저 준비합니다. 문제는 이 지도가 완벽하지 않고, 구름 낀 날처럼 일부는 흐릿하고 일부는 선명하다는 점입니다.

• 비유: 우리가 여행을 갈 때, 신뢰할 수 있는 내비게이션을 켭니다. 내비게이션이 "이 길은 확실해요 (신뢰도 높음)"라고 하면 따라가고, "여기는 공사 중이라 잘 모르겠어요 (신뢰도 낮음)"라고 하면 그 부분은 무시하고 운전자 (AI) 의 직감에 맡깁니다.
• 기술적 의미: AI 는 3D 지도의 '신뢰도'를 분석하여, 확실한 부분은 지도를 따르고, 불확실한 부분은 잡음 (상상력) 을 섞어서 시작합니다. 이렇게 하면 처음부터 엉뚱한 방향으로 가는 것을 막을 수 있습니다.

2. 칼만 필터 (Kalman Filter) 방식의 '예측과 수정' (Predict-Update Mechanism)

카메라가 움직이는 동안, AI 는 계속 "내가 가고 싶은 방향"과 "현재 보이는 3D 지도"를 대조합니다.

• 비유: 스키를 타는 상황을 상상해 보세요.
  • 예측 (Prediction): "지금 속도와 방향으로는 저기서 멈출 거야!"라고 머릿속으로 예상합니다. (카메라가 가고 싶은 대로)
  • 측정 (Measurement): 하지만 눈앞의 지형 (3D 지도) 을 보니 "아, 저기 바위가 있네! (지도가 말해주는 정보)"라고 깨닫습니다.
  • 수정 (Update): 이때 칼만 필터라는 지능적인 시스템이 개입합니다. "지도가 말해주는 바위 위치가 확실하다면 내 예상을 수정해야지!"라고 판단하여, 예상 경로와 실제 지형 사이에서 가장 균형 잡힌 경로를 찾습니다.
• 기술적 의미: AI 는 카메라의 지시 (예측) 와 3D 지도의 정보 (측정) 를 계속 비교합니다. 지도가 흐릿하면 카메라 지시를 더 믿고, 지도가 선명하면 지도를 더 믿습니다. 이 과정을 매 프레임마다 반복해서, 카메라가 원하는 대로 정확히 움직이면서도 3D 구조가 무너지지 않게 합니다.

3. 기존 비디오 interpolation(삽입) 기술의 활용

이 기술은 이미 두 장의 사진 (시작과 끝) 을 연결하는 데 뛰어난 능력을 가진 비디오 삽입 모델을 베이스로 합니다.

• 비유: 유리창을 닦는 청소부가 있다고 칩시다. 기존 방법들은 유리창을 닦을 때 물만 뿌렸다면, ConfCtrl 은 이미 깨끗해진 유리창의 패턴을 기억하고 있습니다. 그래서 새로운 시점을 만들 때도 그 패턴을 유지하면서, 카메라가 원하는 대로 부드럽게 움직일 수 있습니다.

---

🌟 왜 이것이 중요한가요?

이 기술은 두 장의 사진만으로도, 카메라가 크게 회전하거나 이동하더라도 매우 자연스럽게 그 사이를 채워줍니다.

• 기존의 문제: "카메라를 오른쪽으로 90 도 돌려"라고 하면, 그림이 왜곡되거나 물체가 사라지거나, 반대로 카메라가 제멋대로 움직였습니다.
• ConfCtrl 의 해결: "카메라를 오른쪽으로 90 도 돌려"라고 하면, 정확하게 90 도 회전하면서, 보이지 않았던 물체의 뒷면도 자연스럽게 상상해 채워줍니다.

🚀 요약

ConfCtrl 은 **"신뢰할 수 있는 지도 (3D 점 구름)"**와 **"상상력이 풍부한 화가 (Diffusion 모델)"**를 한 팀으로 묶었습니다. 그리고 이 두 팀이 서로의 약점을 보완하도록 **지능적인 중재자 (칼만 필터 방식)**를 배치했습니다. 그 결과, 카메라가 원하는 대로 정확히 움직이면서도, 보이지 않는 공간도 완벽하게 채워주는 최고급 3D 비디오 생성 기술이 탄생했습니다.

이 기술은 게임, 영화 제작, 혹은 가상 현실에서 카메라를 자유롭게 움직이게 할 때 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

이 논문은 두 개의 입력 이미지 (시작 프레임과 종료 프레임) 만으로 큰 시점 변화 (Large Viewpoint Changes) 하에서 새로운 시점의 영상을 합성 (Novel View Synthesis) 하는 문제를 다룹니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 회귀 기반 방법 (Regression-based Methods): 명시적인 3D 씬 표현을 학습하여 타겟 카메라 포즈에 맞춰 이미지를 렌더링합니다. 카메라 궤적을 정확히 따르지만, 희소 입력 (Sparse Inputs) 이나 보이지 않는 영역 (Unseen Regions) 이 존재할 경우 생성 능력이 부족하여 렌더링 아티팩트가 발생합니다.
• 확산 기반 방법 (Diffusion-based Methods): 대규모 사전 학습을 통해 강력한 생성 능력을 가지지만, 카메라 포즈에 대한 조건부 제어 (Conditioning) 가 불완전하여 목표한 카메라 궤적을 정확히 따르지 못하거나, 노이즈가 많은 3D 포인트 클라우드 투영으로 인해 기하학적 일관성이 떨어집니다.

핵심 문제: 기존 방법들은 "생성 능력"과 "정밀한 카메라 제어" 중 하나를 희생해야 하는 딜레마에 직면해 있으며, 특히 노이즈가 있는 3D 기하학적 사전 지식 (3D Priors) 을 활용할 때 불확실성을 효과적으로 처리하지 못합니다.

---

2. 제안 방법론 (Methodology)

저자들은 ConfCtrl이라는 새로운 프레임워크를 제안합니다. 이는 사전 학습된 비디오 보간 (Video Interpolation) 모델을 기반으로 하며, 불확실성 인식 (Confidence-Aware) 메커니즘을 통해 확산 모델이 지정된 카메라 포즈를 정밀하게 따르면서도 보이지 않는 영역을 완성할 수 있도록 합니다.

주요 구성 요소:

1. 신뢰도 인식 노이즈 초기화 (Confidence-Aware Initialization):

   • 기존 확산 모델은 순수 가우시안 노이즈에서 시작하지만, ConfCtrl 은 신뢰도 가중치가 적용된 투영 포인트 클라우드 잠재 변수 (Latent) 와 노이즈를 합쳐 초기 상태를 구성합니다.
   • VGGT 와 같은 3D 파운데이션 모델에서 추정된 포인트 클라우드의 각 점에 대한 신뢰도 맵 (Confidence Map) 을 활용하여, 신뢰할 수 있는 영역은 가중치를 높이고 불확실한 영역은 노이즈의 영향을 더 받도록 조절합니다.
   • 이는 비디오 보간 지식에서 새로운 시점 합성으로의 적응 (Adaptation) 을 용이하게 합니다.

2. 예측 - 업데이트 카메라 조건부 메커니즘 (Predict-Update Camera Conditioning):

   • 칼만 필터 (Kalman Filter) 의 예측 - 업데이트 (Predict-Update) 루프에서 영감을 받아 설계된 Kalman DiT Block을 도입합니다.
   • 예측 단계 (Prediction): 타겟 카메라 포즈 (Control Input) 만을 기반으로 잠재 상태 (Latent State) 를 예측합니다.
   • 업데이트 단계 (Update): 투영된 포인트 클라우드를 "노이즈가 있는 측정치 (Noisy Measurement)"로 간주하여 예측된 상태를 보정합니다. 학습된 잔차 보정 (Residual Correction) 을 통해 기하학적 관측치의 신뢰도에 따라 예측을 조정하여, 카메라 제어의 정밀도와 기하학적 일관성을 동시에 확보합니다.

3. 학습 목표 (Training Objective):

   • Rectified Flow Loss: 신뢰도 인식 초기 분포를 기반으로 한 유선 흐름 (Flow) 학습을 수행합니다.
   • 잠재 공간 기울기 정규화 (Latent Gradient Regularization): 빠른 시점 변화 시 발생하는 노이즈와 깜빡임을 줄이고, 공간적 일관성을 유지하기 위해 기울기 정렬을 강제하는 추가 손실 함수를 도입합니다.

---

3. 주요 기여 (Key Contributions)

1. 사전 학습된 비디오 보간 모델의 활용: 희소 입력 환경에서 3D 일관성을 강화하기 위해 비디오 보간 모델의 강력한 사전 지식 (Prior) 을 효과적으로 활용함을 증명했습니다.
2. 신뢰도 기반 초기화 전략: 투영된 포인트 클라우드에서 유도된 잠재 변수를 사용하여 노이즈 초기화를 수행함으로써, 보간 (Interpolation) 에서 새로운 시점 합성 (Novel View Synthesis) 으로 전환하는 효율성을 높였습니다.
3. 불확실성 처리를 위한 예측 - 업데이트 아키텍처: 카메라 포즈와 포인트 클라우드를 결합하여 기하학적 사전 지식의 불확실성을 적응적으로 보정하는 새로운 조건부 메커니즘을 제안했습니다.
4. 성능 및 일반화: 다양한 데이터셋에서 기존 회귀 및 확산 기반 베이스라인을 일관되게 능가하며, 데이터 분포를 벗어난 (Out-of-Distribution) 상황에서도 강력한 제로샷 (Zero-shot) 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 정량적 평가: CO3D (Hydrant, Teddybear) 및 DL3DV 데이터셋에서 PSNR, SSIM, LPIPS 등 재구성 품질 지표와 카메라 포즈 오차 (Translation/Rotation Error) 에서 모든 베이스라인 (PixelSplat, CameraCtrl, ViewCrafter 등) 을 능가했습니다. 특히 카메라 포즈 오차가 크게 감소하여 정밀한 제어가 가능함을 보였습니다.
• 생성 능력 평가: FID, FVD 등의 생성 지표에서도 우수한 성능을 기록하며, 시각적으로 더 선명하고 디테일이 풍부한 결과를 생성했습니다.
• 크로스 데이터셋 일반화 (Zero-shot): 학습 데이터와 다른 데이터셋 (RealEstate10k, GraspNet 등) 에 대해 미세 조정 없이도 높은 성능을 유지하며, 다양한 장면 구조와 카메라 궤적에 대한 강력한 일반화 능력을 입증했습니다.
• 애블레이션 연구:
  • 신뢰도 기반 초기화 제거 시 왜곡과 카메라 제어 정확도 저하 발생.
  • 예측 - 업데이트 블록 (Kalman DiT) 제거 시 노이즈 있는 3D 사전 지식과 목표 포즈 간의 균형 실패로 성능 하락.
  • 비디오 보간 모델을 기반으로 하지 않고 일반 비디오 확산 모델을 사용할 경우 기하학적 일관성이 크게 떨어짐.

---

5. 의의 및 결론 (Significance)

ConfCtrl 은 비디오 확산 모델 (Video Diffusion Models) 을 활용한 새로운 시점 합성 분야에서 중요한 진전을 이루었습니다.

• 기술적 혁신: 단순히 카메라 포즈를 조건부로 넣는 것을 넘어, 3D 기하학적 정보의 불확실성을 정량화하고 칼만 필터 원리를 적용하여 이를 보정하는 새로운 패러다임을 제시했습니다.
• 실용성: 소수의 입력 이미지와 큰 시점 변화가 있는 현실적인 시나리오에서도 견고한 성능을 발휘하여, 로봇 비전, VR/AR, 콘텐츠 생성 등 다양한 응용 분야에 적용 가능한 잠재력을 가집니다.
• 한계점 및 향후 과제: 현재 비디오 확산 모델에 사용되는 VAE(변분 오토인코더) 가 급격한 카메라 이동이나 큰 위치 변화에 적합하지 않아, 갑작스러운 모션에서 일관성이 떨어질 수 있다는 점을 지적하며, 향후 VAE 아키텍처 최적화나 VAE 제거 방안 등을 제안합니다.

요약하자면, ConfCtrl 은 불완전한 3D 기하학적 정보와 강력한 생성적 사전 지식을 결합하여, 정밀한 카메라 제어가 가능한 고품질 영상 합성을 가능하게 하는 획기적인 프레임워크입니다.