Fractal Autoregressive Depth Estimation with Continuous Token Diffusion

논문 요약: Fractal Autoregressive Depth Estimation with Continuous Token Diffusion

이 논문은 단안 (Monocular) 깊이 추정 (Depth Estimation) 과제에서 기존 자기회귀 (Autoregressive, AR) 모델의 한계를 극복하고, 연속적인 깊이 값을 효율적이고 정확하게 예측하기 위한 새로운 프레임워크를 제안합니다. 저자들은 프랙탈 자기회귀 확산 (Fractal Visual Autoregressive Diffusion) 모델을 개발하여, 깊이 예측을 저해상도에서 고해상도로 점진적으로 생성하는 과정으로 재정의했습니다.

1. 문제 정의 (Problem)

단안 깊이 추정은 단일 RGB 이미지로부터 픽셀 단위의 깊이를 예측하는 작업으로, 로봇 비전 및 3D 재구성에 필수적입니다. 최근 이미지 생성 분야에서 성공을 거둔 자기회귀 (AR) 모델을 깊이 추정에 적용하려는 시도가 있었으나, 다음과 같은 세 가지 주요 난제가 존재했습니다.

• 모달리티 불일치 (Modality Mismatch): RGB 이미지 (외관) 와 깊이 맵 (기하학적 구조) 간의 구조적 대응 관계를 모델링하기 어렵습니다.
• 비효율적인 픽셀 단위 생성: 픽셀 단위로 순차적으로 생성하는 방식은 추론 비용이 매우 높고 병렬화가 어렵습니다.
• 연속 값 예측의 불안정성: 기존 AR 모델은 이산적인 토큰 (Discrete Token) 을 사용하는데, 이를 깊이와 같은 연속적인 값에 적용하면 양자화 오차 (Quantization Error) 가 발생하여 미세한 기하학적 정보가 손실되고 학습이 불안정해집니다.

2. 제안 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 프랙탈 재귀적 자기회귀 확산 프레임워크를 제안했습니다. 주요 구성 요소는 다음과 같습니다.

• 프랙탈 자기회귀 프레임워크 (Fractal Autoregressive Framework):

  • 깊이 예측을 픽셀 단위가 아닌 스케일 (Scale) 단위로 재정의합니다.
  • 저해상도 (Coarse) 에서 고해상도 (Fine) 로 깊이를 점진적으로 생성하는 Next-Scale Prediction 방식을 채택합니다.
  • 각 스케일마다 독립적인 생성기를 사용하는 대신, 프랙탈 (Fractal) 구조를 도입하여 동일한 기본 생성기 모듈을 재귀적으로 재사용합니다. 이를 통해 모델 파라미터와 추론 비용을 줄이면서도 계층적 모델링 능력을 유지합니다.

• 시각 조건부 특징 정제 (Visual-Conditioned Feature Refinement, VCFR):

  • RGB 특징과 깊이 예측 간의 모달리티 불일치를 해결하기 위해 설계된 모듈입니다.
  • 현재 스케일의 깊이 예측과 다중 스케일 이미지 특징을 융합하여 **'시각 - 깊이 결합 토큰 (Visual-Depth Joint Token)'**을 생성합니다.
  • 이 결합 토큰은 다음 스케일의 깊이 생성을 위한 조건부 입력 (Conditional Input) 으로 사용되어, 객체 경계와 질감이 풍부한 영역에서의 기하학적 구조 복원을 향상시킵니다.

• 연속 공간의 조건부 확산 모델링 (Conditional Diffusion in Continuous Space):

  • 기존의 이산 토큰 양자화를 제거하고, **연속적인 잠재 공간 (Continuous Latent Space)**에서 깊이를 모델링합니다.
  • 각 스케일에서 조건부 디노이징 확산 (Conditional Denoising Diffusion) 손실 함수를 사용하여 깊이 분포를 직접 학습합니다.
  • 이는 양자화 오차를 방지하고, 국소적으로 모호한 영역 (예: 가려진 부분, 질감이 없는 영역) 에서 더 유연한 조건부 분포 표현을 가능하게 합니다.

• 불확실성 인식 강건 합의 집계 (Uncertainty-Aware Robust Consensus Aggregation):

  • 추론 시 여러 샘플을 생성하여 이를 융합하는 방식을 제안합니다.
  • 생성된 여러 깊이 예측을 **아핀 변환 (Scale & Shift)**으로 정렬한 후, **강건한 합의 에너지 (Robust Consensus Energy)**를 최소화하여 최종 깊이 맵을 생성합니다.
  • 이 과정에서 각 픽셀의 **불확실성 지수 (Uncertainty Proxy)**를 계산하여, 신뢰도가 낮은 영역을 식별할 수 있는 실용적인 신뢰도 지표로 활용합니다.

3. 주요 기여 (Key Contributions)

1. 프랙탈 재귀적 AR 프레임워크: 단안 깊이 추정을 '다음 스케일 생성' 과정으로 재정의하고, 재사용 가능한 자기회귀 모듈을 프랙탈 계층 구조로 조직화하여 효율성과 성능을 동시에 달성했습니다.
2. VCFR 모듈: 다중 스케일 이미지 특징과 현재 깊이 예측을 융합하여 시각 - 깊이 결합 토큰을 생성함으로써, AR 생성 과정에서의 교차 모달리티 조건부 학습을 강화했습니다.
3. 연속 공간 확산 손실: 이산 토큰화 대신 조건부 확산 손실을 도입하여 연속 깊이 분포를 직접 모델링함으로써 양자화 오차를 제거하고 미세한 기하학적 정보를 보존했습니다.
4. 불확실성 인식 집계: 추가 학습 없이 다중 샘플 추론을 통해 안정성을 높이고, 픽셀 단위 신뢰도 지표를 제공하는 강건한 합의 집계 기법을 제안했습니다.

4. 실험 결과 (Results)

• 데이터셋: KITTI (실외) 및 NYUv2 (실내) 표준 벤치마크에서 평가되었습니다.
• 성능: 제안된 방법은 기존 최첨단 (SOTA) 방법들 (AdaBins, DPT, NeWCRFs, Diffusion 기반 모델 등) 보다 AbsRel, RMSE, Sq Rel 등 주요 지표에서 우수한 성능을 보였습니다.
  • KITTI 에서 RMSE 1.712, NYU 에서 RMSE 0.197 을 기록하여 기존 AR 및 확산 기반 모델들을 능가했습니다.
• 효율성:
  • 프랙탈 구조와 VCFR 을 통해 모델 복잡도를 줄였으며, 확산 모델의 추론 속도를 기존 확산 기반 모델 (Marigold 등) 보다 훨씬 빠르게 (약 64ms) 달성했습니다.
  • 다중 샘플 추론 (N=8) 을 적용하면 정확도와 안정성이 추가로 향상되는 것을 확인했습니다.
• 분석:
  • 이산 토큰 (VQ) 대비 연속 토큰 (KL) 을 사용한 확산 모델링이 계단 현상 (Staircase artifacts) 을 줄이고 더 매끄러운 깊이 그라데이션을 생성함을 시각적으로 입증했습니다.
  • VCFR 모듈이 교차 모달리티 정렬에 핵심적인 역할을 함을 애블레이션 연구를 통해 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자기회귀 생성 모델의 강점 (구조적 순차 모델링) 과 확산 모델의 강점 (연속 분포 모델링) 을 깊이 추정에 성공적으로 결합했습니다. 특히, 프랙탈 재귀 구조를 통해 고해상도 밀도 예측의 계산적 부담을 해결하고, 연속 공간 확산을 통해 깊이 예측의 정밀도를 극대화했다는 점에서 의의가 큽니다. 또한, 추론 시 불확실성을 추정할 수 있는 메커니즘을 제공함으로써 자율 주행 및 로봇 공학 등 안전이 중요한 응용 분야에서 실용적인 가치를 지닙니다.