기술 요약: 시퀀스-투-시퀀스 생성형 신경 렌더링 (Kaleido) 확장

문제 제기

본 논문은 3D 비전 및 범용 렌더링의 확장성을 저해하는 두 가지 주요 병목 현상을 식별합니다:

1. 분열된 3D 표현: 이 분야는 명시적 구조 (보크셀, 포인트 클라우드) 와 암시적 필드 (NeRF) 간에 방법이 분열되어 있어, 통합된 3D 표현에 대한 합의가 부재합니다. 이러한 분열은 단일 표현을 위한 아키텍처의 집단적 확장을 방해합니다.
2. 높은 3D 데이터 비용: 엄격한 3D 일관성 요구로 인해 3D 데이터셋 제작은 느리고 비용이 많이 듭니다. 이는 종종 수동 메쉬 제작이나 복잡한 다중 뷰 카메라 레이블링을 필요로 합니다.

저자들은 3D 인식이 엄격한 기하학적 문제가 아니라 광범위한 관찰에서 유래된 "시각적 상식"의 한 형태라고 주장합니다. 따라서 이상적인 렌더링 시스템은 완벽한 기하학적 일관성을 명시적으로 모델링하는 대신, 대규모 시각 데이터에서 통계적 패턴을 포착하여 암시적 표현을 학습해야 한다고 제안합니다.

방법론: Kaleido 프레임워크

핵심 가설:
본 논문은 3D 를 비디오의 특수한 하위 도메인으로 간주할 수 있다고 가정합니다. 대규모 언어 모델이 일반 텍스트 코퍼스에서 코딩 능력을 습득하듯, 3D 를 비디오 데이터의 구조화된 하위 도메인으로 취급함으로써 범용 렌더링 모델을 생성할 수 있습니다.

통합 시퀀스-투-시퀀스 공식화:
Kaleido 는 렌더링을 시퀀스-투-시퀀스 이미지 합성 작업으로 재정의합니다. 참조 뷰 ($X_R$) 와 해당 6-DoF 카메라 포즈 ($P_R, P_T$) 를 기반으로 대상 뷰 ($X_T$) 의 조건부 분포를 모델링합니다. 이러한 "임의-투-임의" 뷰 예측은 마스킹 자기회귀 (masked autoregressive) 프레임워크를 통해 처리됩니다.

아키텍처 혁신:

1. 디코더 전용 정류 흐름 (Rectified Flow) 트랜스포머: Kaleido 는 Diffusion Transformers (DiT) 와 Llama-3 에서 영감을 받아 정류 흐름 (rectified flow) 목적 함수 내에서 작동하는 확장 가능한 트랜스포머 아키텍처를 채택합니다. 이는 이미지 토큰을 생성하기 위해 마스킹 자기회귀 프레임워크를 사용합니다.
2. 통합 위치 인코딩 (GTA): Rotary Positional Encoding (RoPE) 과 Geometric Transformation Attention (GTA) 을 확장한 파라미터 없는 인코딩 방식이 핵심 혁신입니다. 이 설계는 다음을 위한 통합 표현을 생성합니다:
   • 2D 공간 위치 (픽셀 좌표).
   • 3D 카메라 포즈 (6-DoF 외향 파라미터).
   • 시간적 위치 (프레임 인덱스).
     이를 통해 동일한 아키텍처가 수정 없이 다중 뷰 3D 데이터와 비디오 데이터 모두를 처리할 수 있습니다.
3. 윈도우화된 교차 뷰 어텐션: 효율성을 유지하면서 뷰 간 특징 교환을 개선하기 위해, 모델은 단일 토큰이 아닌 프레임 전반에 걸친 로컬 $K \times K$ 윈도우에 쿼리 토큰이 어텐션하는 시간적 윈도우 어텐션 메커니즘을 사용합니다.
4. 보조 시각 특징: 모델은 사전 훈련된 DINOv2 인코더의 특징을 통합하여 깊이 추정 및 3D 인식을 강화하며, 특히 자연 환경 (in-the-wild) 이미지에서 이를 수행합니다.

훈련 전략 및 안정성:

• 2 단계 훈련: 모델은 먼저 대규모 비구조화 비디오 데이터 (34M 클립) 로 사전 훈련되어 견고한 세계 표현을 구축한 후, 점진적 해상도 확장 (256px $\to$ 1024px) 을 통해 구조화된 다중 뷰 3D 데이터셋 (Objaverse, uCO3D, RealEstate10K, DL3DV) 에서 미세 조정됩니다.
• 대규모 활성화 처리: 저자들은 "대규모 활성화" (값이 15k~24k 에 도달) 로 인해 정류 흐름 트랜스포머에서 심각한 훈련 불안정성을 관찰했습니다. 이를 해결하기 위해 어텐션 레이어의 키와 값에 학습 가능한 "레지스터 (register)" 토큰을 추가하여 성능 저하 없이 활성화 크기를 안정화합니다.
• 노이즈 편향 샘플링: 표준 logit-normal 샘플링은 렌더링에 최적이지 않은 것으로 확인되었습니다. 저자들은 초기 장면 구조가 형성되는 고노이즈 시간 단계 ($t \approx 1$) 로 훈련 및 추론을 편향시키는 "Mode" 샘플러와 이동 인자를 도입합니다. 이는 이미지-투-3D 렌더링의 매우 제한된 솔루션 공간에 중요합니다.
• 뷰 샘플링: 지수 분포를 사용하여 참조 뷰의 수를 샘플링하며, 일반화를 개선하기 위해 훈련 중 도전적인 저뷰 시나리오를 우선시합니다.

주요 기여

1. 공간 생성 모델 (SGMs) Kaleido 패밀리: 임의의 수의 참조 뷰에서 임의의 수의 대상 뷰로 객체 및 장면 수준의 뷰 합성을 수행하고 완전한 6-DoF 카메라 제어가 가능한 통합 모델.
2. 통합 아키텍처: 단일 위치 인코딩 설계를 사용하여 3D 와 비디오 데이터를 원활하게 처리하는 디코더 전용 정류 흐름 트랜스포머로, 3D 특화 아키텍처 수정 (예: Plücker 광선 인코딩) 이 불필요합니다.
3. 확장 레시피: 아키텍처 개선 (SwiGLU, GQA), 안정성 기술 (레지스터 토큰), 맞춤형 샘플링 전략 (노이즈 편향 SNR 샘플러) 을 포함한 포괄적인 확장 전략.
4. 3D 를 위한 비디오 사전 훈련: 대규모 비디오 데이터로 사전 훈련하는 것이 후속 3D 미세 조정의 효율성과 성능을 크게 향상시켜 희귀한 카메라 레이블 3D 데이터셋에 대한 의존도를 줄인다는 것을 입증.

결과

새로운 뷰 합성 (NVS):

• Kaleido 는 객체 수준 (OmniObject3D, GSO-30, RTMV) 과 장면 수준 (LLFF, Mip-NeRF 360, Tanks and Temples) 벤치마크에서 최첨단 제로샷 성능을 달성합니다.
• 소수 뷰 설정: Kaleido-Small (06B 파라미터) 은 더 적은 파라미터를 가짐에도 불구하고 더 큰 베이스라인 (SV3D, EscherNet) 과 일치하거나 능가합니다.
• 다수 뷰 설정: Kaleido 는 많은 참조 뷰가 제공될 때 장면별 최적화 방법 (예: Instant-NGP, 3D Gaussian Splatting) 의 렌더링 품질과 일치하는 최초의 제로샷 생성 모델입니다. LLFF 와 Mip-NeRF 360 에서 Instant-NGP 를 능가합니다.

카메라 조건부 비디오 생성:

• DL3DV-140 과 Tanks and Temples 에서 평가한 결과, Kaleido 는 카메라 안내 정밀도 (회전 및 이동 오차) 에서 전문 카메라 조건부 비디오 모델 (Wonderland, VD3D, ViewCrafter) 을 크게 능가하여 시각적 품질을 유지하면서 우수한 기하학적 일관성을 입증합니다.

3D 재구성:

• 오프더셸 (off-the-shelf) 재구성 프레임워크 (NeuS2) 를 위한 뷰 합성기로 사용될 때, Kaleido 는 GSO-30 데이터셋에서 최첨단 결과를 달성합니다.
• 높은 뷰 효율성을 보여주어, EscherNet 이 10 개의 뷰로 달성하는 것보다 2 개의 참조 뷰만으로 더 나은 재구성 품질을 달성합니다. 고해상도 (1024px) 생성은 정교하고 선명한 텍스처를 가진 메쉬를 생성합니다.

중요성 및 주장

본 논문은 Kaleido 가 보편적이고 범용적인 렌더링 엔진을 향한 중요한 걸음이라고 주장합니다. 단일 시퀀스-투-시퀀스 프레임워크 하에서 3D 와 비디오 모델링을 통합함으로써 3D 표현의 분열과 3D 데이터의 희소성을 극복합니다.

중요성에 관한 주요 주장은 다음과 같습니다:

• 패러다임 전환: 3D 를 비디오의 특수한 하위 도메인으로 취급함으로써 모델은 LLM 이 텍스트 코퍼스에서 학습하듯 대규모 비디오 데이터셋에서 공간 지각과 시각적 상식을 계승할 수 있습니다.
• 제로샷 능력: 최초로 생성 모델이 장면별 훈련이나 아키텍처 변경 없이 다수 뷰 설정에서 장면별 최적화 방법의 품질과 일치합니다.
• 확장성: 모델은 모델 크기와 데이터가 증가함에 따라 성능이 지속적으로 향상되는 강력한 긍정적 확장 특성을 보입니다.

인정된 한계:
저자들은 Kaleido 가 현재 카메라 내향 파라미터를 모델링하지 않아 (돌리줌 효과 방지), 극단적인 저뷰/고주파수 시나리오에서 텍스처 깜빡임이나 고착 현상이 발생할 수 있으며, 극단적인 시점 변화 하에서 의미적 타당성이 부족할 수 있다고 지적합니다. 또한 추론 속도는 아직 실시간이 아닙니다. 향후 작업은 내향 파라미터화, 텍스트-투-이미지 사전 지식 통합, 추론 가속화 기술을 통해 이러한 문제를 해결할 것으로 제안됩니다.