기술 요약: DéjàView – 다중 뷰 3D 재구성을 위한 루핑 트랜스포머

문제 정의

전통적인 다중 뷰 3D 재구성은 특징 매칭, 포즈 추정, 번들 조정 (bundle adjustment) 을 포함하는 반복적인 구조 운동 (Structure-from-Motion, SfM) 파이프라인에 의존합니다. 최근의 발전은 3D 기하학을 단일 패스로 회귀 (regress) 하는 피드포워드 트랜스포머로 이동했습니다. 그러나 이러한 최첨단 모델들은 컴퓨터 비전의 모델 용량 증가 추세를 따라 10 억 개 이상의 파라미터로 확장되었습니다.

저자들은 이러한 대형 트랜스포머에서 깊이에 따른 성능 향상이 고유한 표현 능력보다는 **암묵적인 반복적 정제 (implicit iterative refinement)**에서 비롯될 수 있다고 주장합니다. 증거에 따르면 인접한 트랜스포머 레이어는 종종 유사한 연산의 반복 적용처럼 행동하며, 디코더 레이어는 예측을 점진적으로 정제합니다. 현재 아키텍처는 모든 레이어에 고유한 파라미터를 사용하여 이러한 "반복"을 비효율적으로 수행합니다. 본 논문은 이 반복 과정을 명시적으로 만드는 아키텍처의 필요성을 다루며, 이를 통해 훨씬 적은 파라미터로 고품질 재구성을 가능하게 하고 추론 시 계산과 정확도 간의 트레이드오프를 조절할 수 있게 합니다.

방법론: DéjàView

핵심 아키텍처

DéjàView 는 깊이가 있는 피드포워드 트랜스포머 스택을 $K$번 재귀적으로 적용되는 단일 루핑 트랜스포머 블록으로 대체합니다.

1. 초기화: 뷰별 특징은 사전 훈련된 DINOv2 인코더를 사용하여 초기화됩니다. 학습 가능한 레지스터 토큰과 카메라 토큰이 토큰 시퀀스에 선행하여 추가됩니다.
2. 재귀 루프: 단일 공유 트랜스포머 블록이 진화하는 상태 $z_k$에 대해 $K$번 적용됩니다. 이 블록은 두 개의 어텐션 서브블록으로 구성됩니다:
   • 프레임 어텐션: 2D 회전 위치 임베딩을 사용하여 각 뷰를 독립적으로 처리합니다.
   • 글로벌 어텐션: 모든 뷰의 모든 토큰에 대한 결합 시퀀스 전체에서 작동하여 뷰 간 추론을 가능하게 합니다.
3. 시간 조건부 (Time Conditioning): 이전의 가중치 공유 트랜스포머가 이산적인 단계 인덱스에 조건을 두는 것과 달리, DéjàView 는 블록에 연속적인 시간 구간 $(t_k, t_{k+1})$에 조건을 둡니다. 업데이트는 다음과 같이 공식화됩니다:
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   이를 통해 단일 가중치 세트를 재훈련 없이 다양한 단계 수 $K$에 대해 적용할 수 있습니다.
4. 게이트된 업데이트: 블록은 시간 구간에 조건을 둔 0 으로 초기화된 MLP 에 의해 제어되는 채널별 스케일 벡터 ($s_{attn}, s_{mlp}, s_{out}$) 를 사용합니다. 이 설계는 어텐션, MLP, 그리고 잔여 흐름 (residual stream) 업데이트를 조절합니다.

훈련 전략

• 가변-$K$ 훈련: 훈련 중 정제 단계 수 $K$는 $[K_{min}, K_{max}]$(예: $[8, 16]$) 로 스케일링된 베타 분포에서 배치별로 샘플링됩니다. 이는 "계산 조절기 (compute knob)"로 기능하는 단일 체크포인트를 생성합니다.
• 손실 함수: 모델은 깊이, 광선, 월드 포인트, 카메라 파라미터 등 다섯 가지 손실 항을 사용하여 예측된 기하학에 직접 지도 학습됩니다. 예측값은 $\ell_2$ 및 $\ell_1$ 손실을 계산하기 전에 역 스케일 인자를 통해 정규화됩니다.
• 2 단계 깊이 훈련:
  • 1 단계: 선형 픽셀 셔플 깊이 헤드와 일반 $\ell_2$ 손실을 사용한 엔드 투 엔드 훈련.
  • 2 단계: 패치 경계 아티팩트를 제거하기 위해 깊이 헤드를 합성곱 헤드로 교체하고, 다른 파라미터를 고정시킨 상태에서 신뢰도 가중 손실로 네트워크를 미세 조정합니다.

추론

추론 시 사용자는 단계 수 $K_{inf}$를 선택합니다. 모델은 단일 공유 블록을 $K_{inf}$번 실행합니다. $K_{inf}$가 훈련된 범위 $[K_{min}, K_{max}]$ 내에 있으면 모델은 높은 정확도를 유지하며, $K_{inf}$가 훈련된 예산을 크게 초과하면 성능이 저하됩니다.

역학에 대한 주요 관찰

저자들은 재귀를 **방향성 정제 (directional refinement)**로 특징짓습니다. 상태는 특징 공간의 고정점으로 수렴하지 않습니다 (노름 $\|z_k\|$는 단조 증가합니다). 대신 상태 벡터의 방향이 안정화되어 최종 상태와의 코사인 유사도가 1 에 가까워지고 상대적 업데이트 노름이 크게 감소합니다. 이는 디코더 (pre-norm 사용) 가 노름 증가를 흡수하는 동안 디코딩된 표현이 방향에서 수렴할 수 있게 합니다.

주요 기여

1. DéjàView 모델: DINOv2 로 초기화된 특징에 단일 공유 블록을 재귀적으로 적용하고 연속적인 시간 구간에 조건을 두는 루핑 트랜스포머 아키텍처.
2. 가변-$K$ 훈련 레시피: 재훈련 없이 계산량을 조절 가능한 조절기로 노출시키는 다양한 추론 단계 수를 지원하는 단일 체크포인트를 훈련하는 방법.
3. 최첨단 효율성: 이 모델은 파라미터의 일부만 사용하고 훨씬 큰 피드포워드 베이스라인과 비교하거나 더 낮은 계산량으로 5 개 벤치마크 (실내, 실외, 객체 중심, 주행) 에서 경쟁력 있거나 우수한 재구성 품질을 달성합니다.
4. 유도 편향 검증: 실험은 독립적인 단계별 파라미터를 가진 동일한 변형보다 공유 가중치 공식이 더 나은 성능을 보임을 입증하여, 다중 뷰 3D 재구성을 위해 파라미터 확장보다 명시적 반복과 가중치 공유가 더 강력한 유도 편향임을 시사합니다.

실험 결과

본 논문은 DTU, ETH3D, 7-Scenes, ScanNet++, nuScenes 등 5 개 벤치마크에서 DéjàView 를 평가합니다.

• 정확도: DéjàView 는 점맵 정확도 (상대 $\ell_2$ 및 인라이어 비율) 와 카메라 포즈 정확도 (AUC@3° 및 AUC@30°) 에서 훨씬 더 큰 모델들 (예: VGGT-1B, Pi3, DA3-G) 과 일치하거나 능가합니다. 예를 들어, ScanNet++ 에서 VGGT-Ω-1B 보다 AUC@3°에서 거의 50 포인트 더 높은 성능을 보입니다.
• 효율성:
  • 파라미터: DéjàView 는 **1 억 1,700 만 개 (117M)**의 파라미터를 사용하는 반면, 베이스라인은 3 억 5,600 만 개에서 12 억 개 이상까지 다양합니다.
  • 계산: 24 개 뷰에 대해 75.9 TFLOPs가 필요하며, 2~10 배 더 많은 계산을 요구하는 베이스라인과 비교하거나 더 낮습니다.
  • 메모리: A100 에서의 피크 추론 메모리는 5 GiB 미만으로 많은 베이스라인보다 현저히 낮습니다.
• 애블레이션 연구:
  • 가중치 공유만으로도 16 배 적은 파라미터를 가지면서도 분리된 블록보다 성능이 향상됩니다.
  • 시간 조건부 잔여 게이트와 상태 게이트는 단조로운 개선을 제공합니다.
  • 가변-$K$ 훈련은 동일한 추론 예산에서 고정-$K$ 성능과 약 2~3% 이내로 일치하여 단일 체크포인트의 유연성을 검증합니다.

중요성과 주장

본 논문은 파라미터 확장이 3D 재구성을 위한 유일한 길이 아님을 주장합니다. 공유되고 시간 조건부인 루프를 통해 반복적 정제 과정을 명시적으로 만들어냄으로써, DéjàView 는 다음을 입증합니다:

1. 반복은 명시적일 수 있다: 고유한 레이어 파라미터의 중복을 피하면서 단일 블록을 재사용함으로써 심층 네트워크의 이점을 달성할 수 있습니다.
2. 계산은 조절기 (knob) 이다: 단일 모델은 재훈련 없이 다양한 추론 예산 (지연 시간/정확도 트레이드오프) 에 적응할 수 있습니다.
3. 공유 가중치가 우수하다: 공유 가중치 공식은 독립적인 파라미터보다 더 강력한 유도 편향으로 작용하며, 현재 최첨단 모델의 "깊이"는 대부분 고유한 표현 능력보다는 반복적 정제의 대리 지표임을 시사합니다.

저자들은 한계를 지적합니다: 모델은 훈련된 단계 범위 ($K_{max}$) 를 넘어선 외삽이 잘 되지 않으며, 명시적으로 동적 장면을 처리하지는 않습니다. 그러나 이 연구는 현재 피드포워드 거대 모델의 계산 비용과 모델 크기의 일부만으로 고품질 다중 뷰 재구성이 가능함을 입증합니다.