CLONE: A 3DGS-Based Closed-Loop Differentiable Optimization Framework for Single-Image Normal Estimation

기술 요약: CLONE – 3DGS 기반의 폐쇄 루프 미분 가능 최적화 프레임워크

문제 정의
단일 이미지 표면 법선(surface normal) 추정은 하나의 2D 관측으로부터 3D 구조를 추론하는 과정에서 여러 가능한 해가 존재할 수 있는 본질적으로 부정치(ill-posed)한 기하학적 문제입니다. 기존 방식들은 다음과 같은 근본적인 한계점을 가집니다:

• **판별적 방법론(Discriminative methods)**은 고비용의 조밀한 정답 법선 레이블에 크게 의존하며, 내재적인 기하학적 모델링이 부족하여 데이터 분포 변화(distribution shift) 시 일반화 성능이 떨어집니다.
• 생성적 방법론(Generative methods)(예: 확산 모델)은 강력한 분포 사전 지식(prior)을 활용하지만, 명시적인 기하학적 변수가 부족하고 이미지 공간의 오차를 3D 기하 구조로 역전파할 수 있는 안정적이고 미분 가능한 경로가 결여되어 있습니다.
• 명시적 기하 방법론(Explicit geometric methods)(예: 3D Gaussian Splatting 변형 모델)은 미분 가능한 렌더링을 제공하지만, 단일 뷰 설정에서 법선 추정을 폐쇄 루프 최적화 문제로 정식화하지 못하며, 다중 뷰 감독 없이 기하 구조를 유일하게 결정하기 위한 충분한 제약 조건을 갖추지 못하고 있습니다.

핵심 과제는 정답 법선 레이블 없이도 솔루션의 모호성 제약과 기하학적 일관성을 동시에 강제할 수 있는 통합된 미분 가능 최적화 메커니즘의 부재입니다.

방법론
저자들은 CLONE(Closed-Loop differentiable Optimization framework for single-image Normal Estimation)을 제안합니다. 이는 법선 추정을 직접적인 회귀 작업에서 재투영 일관성(reprojection consistency)에 의해 구동되는 기하학적 최적화 문제로 재정의합니다. 이 프레임워크는 픽셀 단위의 법선 감독 없이, 오직 이미지-3D 모델 쌍만을 활용하여 작동합니다.

1. 3DGS 기반 명시적 표현 및 해석적 법선:
   장면은 3D Gaussian Splatting(3DGS)을 사용하여 파라미터화됩니다. 색상 재구성을 위해 사용되는 표준 3DGS와 달리, CLONE은 가우시안 공분산 행렬($\Sigma = U\Lambda U^\top$)의 고유값 분해(eigen-decomposition)를 통해 표면 법선을 명시적으로 도출합니다. 가장 작은 고유값에 대응하는 고유벡터는 국소 표면 법선을 정의합니다. 이는 3D 기하학적 파라미터로부터 표면 방향으로 이어지는 연속적이고 미분 가능한 경로를 제공합니다.

2. 미분 가능한 조명 및 재투영:
   법선 레이블 없이 3D 기하 구조와 2D 관측 사이의 간극을 메우기 위해, 저자들은 미분 가능한 조명 모델을 도입합니다. 학습 가능한 광도 변조 커널(가우시안 포락선을 가진 진동 커널)을 사용하여 표면 법선과 이미지 휘도 사이의 연속적인 매핑을 정식화합니다. 이를 통해 모델은 국소적인 기하학적 변화가 픽셀 강도에 미치는 영향을 시뮬레이션할 수 있습니다. 재투영 손실($L_{photo}$)은 렌더링된 이미지(가우시안 기여도를 혼합하여 생성됨)와 입력 이미지 사이에서 계산되며, 이를 통해 이미지 공간의 오차로부터 3D 기하학적 파라미터로 그래디언트가 직접 흐를 수 있게 합니다.

3. 조건부 확산 기반 정교화(Conditional Diffusion-Inspired Refinement):
   가우시안 프리미티브에서 발생하는 과도한 평활화(over-smoothing) 문제를 해결하기 위해, 1단계 결정론적 확산 기반 네트워크가 사용됩니다. 그래디언트를 절단하는 다단계 생성 과정 대신, 이 모듈은 노이즈 조건부 잔차 정교화 연산자 역할을 수행합니다. 이 모듈은 초기 3DGS 법선을 입력받아 고정된 단계에서 노이즈를 주입한 후, U-Net을 사용하여 정교화된 법선 맵을 예측합니다. 이는 확산 모델의 구조적 귀납 편향(inductive bias)을 유지하면서도 종단 간 미분 가능성을 유지합니다.

4. 교차 도메인 게이팅 퓨전(Cross-Domain Gating Fusion):
   게이팅 메커니즘은 3DGS 브랜치의 전역적 기하 일관성과 확산 브랜치의 고주파 세부 사항 복구 사이를 조정합니다.

   • 특징 수준(Feature Level): 기하학적 특징(3DGS로부터 추출)과 텍스처 특징(확산 인코더로부터 추출)은 적응형 어텐션 가이드 게이팅 메커니즘을 통해 정렬되고 융합됩니다.
   • 출력 수준(Output Level): 공간 적응형 게이팅 가중치($g$)는 초기 기하 법선($n_{3dgs}$)과 정교화된 법선($n_{diff}$)을 융합합니다. 최종 융합 법선은 $n_{fuse} = \text{stopgrad}(g) \odot n_{3dgs} + (1 - \text{stopgrad}(g)) \odot n_{diff}$입니다. 이는 두 브랜치 모두가 광도 손실의 감독을 받으면서도 그래디언트 충돌이 발생하지 않도록 보장합니다.

5. 통합 최적화 목적 함수:
   시스템은 다음의 복합 손실 함수를 사용하여 종단 간 최적화됩니다:

   • 광도 손실 ($L_{photo}$): 이미지 재구성 일관성을 보장합니다.
   • 스케일 정규화 ($L_{scale}$): 퇴화된 형상을 방지하기 위해 가우시안 고유값을 제약합니다.
   • 법선 일관성 ($L_{normal}$): 게이팅 가중치가 기하학적 사전 지식을 선호하는 영역에서 정교화된 법선이 기하학적 법선에 가깝도록 유도합니다.
   • 방향 정규화 ($L_{dir}$): 학습 가능한 주 방향(principal directions)을 기하학적 법선과 정렬합니다.

주요 기여

• 패러다임 전환: 본 논문은 단일 이미지 법선 추정을 재투로 오차를 주요 감독 신호로 사용하는 폐쇄 루프 미분 가능 최적화 문제로 재정의함으로써, 정답 법선 레이블의 필요성을 제거했습니다.
• 해석적 법선 모델링: 2D 특징 회귀에만 의존하는 대신, 3D 가우시안 공분사로부터 법선을 해석적으로 도출하여 연속적인 기하 공간에서 최적화하는 방법을 제안합니다.
• 미분 가능한 정교화: 다단계 확산 샘플링의 그래디언트 절단 문제를 피하면서 고주파 세부 사항을 향상시키기 위해 1단계 결정론적 확산 기반 네트워크를 설계했습니다.
• 통합 파이프라인: 3DGS 파라미터화, 미분 가능한 렌더링, 조건부 확산 정교화의 통합은 안정적인 그래디언트 흐름을 생성하여, 문제의 부정치 특성을 효과적으로 완화합니다.

실험 결과
본 방법론은 Google Scanned Objects (GSO), Omniobject3D, Wonder3D의 세 가지 벤치마크에서 정답 법선 레이블 없이 오직 RGB-3D 모델 쌍만을 사용하여 평가되었습니다.

• 정량적 성능: CLONE은 지도 학습 기반의 판별적 방법론과 생성적 3D 재구성 베이스라인을 모두 능가하며 최첨단(SOTA) 성능을 달s합니다. 평균 각도 오차(MAE) **13.2°**를 달성하여, 두 번째로 우수한 방법인 Wonder3D++보다 0.3° 앞섰습니다. 또한 중앙값 각도 오차(MedAE)와 엄격한 임계값에서의 정확도(예: <11.25°에서 63.2% 정확도)에서도 선두를 차지했습니다.
• 정성적 분석: 시각적 비교를 통해 CLONE이 키보드 키, 나뭇잎 맥, 깃털 패턴과 같은 미세한 기하학적 세부 사항을 효과적으로 복구하며, 베이스라인들이 과도한 평활화, 아티팩트 또는 실루엣 붕괴를 겪는 얇은 구조 및 복잡한 접합부에서도 일관된 법선을 유지함을 보여줍니다.
• 강건성: 명시적인 3D 기하학적 제약 덕분에 입력 노이즈, 조명 변화 및 시점 변화에 대해 베이스라인 대비 우수한 강건성을 입증했습니다.
• 어블레이션 연구(Ablation Studies): 핵심 구성 요소(3DGS 초기화, 교차 도메인 정렬, 게이팅 퓨전, 확산 정교화) 중 하나라도 제거하면 성능이 크게 저하되어, 폐쇄 루프 설계의 필요성을 확인했습니다.

의의 및 주장
저자들은 CLONE이 값비싼 법선 주석(annotation)에 의존하지 않는 단일 이미지 법선 추정을 위한 새로운 패러다임을 제공한다고 주장합니다 대규모 이미지-3D 모델 쌍을 활용하고 폐쇄 루프 미분 가능 최적화 프레임워크를 사용함으로써, 이 방법은 문제를 데이터 집약적인 매핑 작업에서 기하 중심의 최적화 작업으로 전환합니다. 본 논문은 이러한 접근 방식이 이미지 수준의 오차를 3D 기하학을 위한 최적화 신호로 직접 변환함으로써 문제의 부정치성을 성공적으로 해결하고, 정답 법선 레이블 없이도 완전 지도 학습 기반의 베이스라인과 대등하거나 이를 능가하는 성능을 달성했음을 입증합니다. 이는 명시적 3D 표현과 미분 가능한 렌더링의 결합이 주석 효율적인 3D 기하학 학습에 유효함을 검증합니다.