기술 요약: 360Anything

문제 정의

원근 이미지(perspective images)와 비디오로부터 실사 같은 3D 세계를 생성하는 것은 로보틱스, AR/VR, 게임 분야의 몰입형 애플리케이션을 위한 핵심적인 최전선입니다. 최근 시각적 생성 모델의 발전은 원근 뷰 합성 능력을 향상시켰으나, 표준 생성기들은 좁은 시야각(FoV)을 생성하여 완전한 몰입형 360° 환경을 구축하는 데 한계가 있습니다.

원근 입력을 360° 파노라마로 확장하는 기존 방식들은 대개 **명시적 기하학적 정렬(explicit geometric alignment)**에 의존합니다. 이러한 방법들은 원근 입력을 에퀴렉탱귤러 투영(Equipartangular Projection, ERP) 공간으로 투영하여 픽셀 정렬된 조건부 신호를 제공합니다. 그러나 이 전략은 알려진 카메라 메타데이터(시야각, 요(yaw), 피치(pitch), 롤(roll))를 필요로 합니다. "인 더 와일드(in-the-wild)" 시나리오에서는 이러한 캘리브레이션 데이터가 없거나 노이즈가 섞여 있는 경우가 많습니다. 결과적으로, 현재의 모델들은 캘리브레이션되지 않은 입력값에 취약하거나, 불안정한 외부 추정치에 의존할 때 실패하는 경향이 있습니다. 또한, 생성된 파노라마는 ERP 경계에서 심(seam) 아티팩트가 발생하는 문제가 있으며, 이전 연구들은 이를 근본적인 원인 해결보다는 추론 시점의 트릭으로 완화하려고 시도해 왔습니다.

방법론

저자들은 명시적인 카메라 정보 없이도 작동하는, 사전 학습된 디퓨전 트랜스포머(Diffusion Transformer, DiT) 기반의 기하학 불필요(geometry-free) 프레임워크인 360Anything을 제안합니다.

1. 기하학 불필요 시퀀스 결합 (Geometry-Free Sequence Concatenation)

원근 입력을 ERP 공간으로 투영하여 공간적 대응 관계를 강제하는 기존 방식과 달리, 360Anything은 원근 입력을 타겟 파노라마와 함께 단순한 토큰 시퀀스로 취급합니다.

• 메커니즘: 원근 입력($X_{pers}$)은 잠재 토큰($x_{pers}$)으로 인코딩되며, 이는 노이즈가 섞인 타겟 잠재 토큰($y^t_{equi}$)과 시퀀스 차원에서 결합됩니다.
• 학습: DiT는 이 결합된 시퀀스에 대해 전역 셀프 어텐션(global self-attention)을 수행합니다. 모델은 순수하게 데이터를 통해 원근-에퀴렉탱귤러 매핑을 학습하며, 카메라의 내적 및 외적 파라미터를 암시적으로 추론하여 입력을 360° 캔버스 상에 "배치"합니다.
• 표준화(Canonicalization): 일관된 학습과 생성을 보장하기 위해, 본 프레임워크는 입력 카메라의 포즈와 상관없이 중력 방향에 맞춰 수직으로 정렬된 표준 좌표계를 생성하도록 강제합니다. 이를 위해 실제 비디오에 대한 2단계 데이터 전처리 파이프라인이 필요합니다:
  1. 안정화(Stabilization): COLMAP을 사용하여 프레임별 포즈를 추정하고, 프레임 간 회전을 제거하기 위해 프레임을 회전시킵니다.
  2. 중력 정렬(Gravity Alignment): GeoCalib을 사용하여 전역 중력 방향을 추정하고, 중력이 수직축과 일치하도록 비디오를 회전시킵니다.

2. 심 없는 생성을 위한 순환 잠재 인코딩 (Circular Latent Encoding for Seam-Free Generation)

본 논문은 ERP 생성 시 발생하는 심 아티팩트의 근본 원인이 잠재 표현을 인코딩하는 데 사용되는 변분 오토인코더(VAE)의 **제로 패딩(zero-padding)**에 있음을 식별했습니다. 표준 제로 패딩은 잠재 표현에 경계 불연속성을 도입하며, 디퓨전 모델은 이를 그대로 재현하게 됩니다.

• 해결책: 저자들은 **순환 잠한 인코딩(Circular Latent Encoding)**을 제안합니다. 인코딩 전, 파노라마 이미지의 좌우 측면을 크롭하여 반대편 측면에 패딩(순환 패딩)합니다. 인코딩 후, 이 패딩된 영역에 해당하는 잠재값들을 제거합니다.
• 결과: 이를 통해 잠재 표현이 순환적 연속성을 갖도록 보장하며, 시퀀스 길이나 추론 시간에 부하를 주지 않고도 심을 유발하는 불연속성을 제거합니다.

주요 기여

1. 360Anything 아키텍처: 카메라 캘리브레이션에 대한 의존성을 제거하고 카메라 파라미터를 암시적으로 추론하는, "인 더 와일드" 원근-파노라마 생성을 위한 새로운 DiT 기반 프레임워크를 제출했습니다.
2. 심 아티팩트의 근본 원인 분석: VAE의 제로 패딩이 심 아티팩트의 원인임을 규명하고, 훈련 단계의 원칙적인 해결책으로서 순환 잠재 인코딩을 도입했습니다.
3. 최첨단 성능(SOTA): 이미지 및 비디오 생성 벤치마크 모두에서 우수한 결과를 달ian하며, 참값(ground-truth) 카메라 정보를 사용하는 베이스라인들을 능가합니다.
4. 제로샷 기하학적 이해: 모델은 명시적인 메타데이터를 사용하지 않고도 경쟁력 있는 정확도로 제로샷 카메라 FoV 및 방향 추정 능력을 보여주며, 깊은 기하학적 대응 관계를 학습했음을 증명합니다.

실험 결과

파노라마 이미지 생성

Laval Indoor 및 SUN360 데이터셋에서 평가한 결과, 360Anything은 시각적 품질 지표(FID, KID, FAED) 측면에서 CubeDiff, PanoDiffusion, Diffusion360을 포함한 베이스라인들을 능가했습니다.

• FAED 개선: 모델은 SOTA 대비 FAED 오차를 거의 50% 감소시켜, 훨씬 더 나은 전역 기하 구조와 360° 일관성을 보여주었습니다.
• 정성적 결과: 입력 FoV가 90°와 다를 때 물체를 늘려버리는 큐브맵 기반 방식들과 달리, 360Anything은 FoV와 방향을 정확히 추론하여 왜곡 없는 물체를 생성합니다.

파노라마 비디오 생성

시뮬레이션 및 실제 카메라 궤적을 사용하는 Argus 데이터셋에서 평가되었습니다.

• 지표: 360Anything은 PSNR, LPIPS, FVD 및 VBench 지표(이미지 품질, 미적 품질, 모션 부드러움)에서 최고의 점수를 기록했습니다.
• 일관성: 모델은 큰 카메라 움직임에도 불구하고 수직을 유지하고 왜곡이 없는 안정적인 표준화된 비디오를 생성하는 반면, 베이스라인들은 종종 회전되거나 왜곡된 출력을 생성합니다.
• 3D 재구성: 생성된 파노라마 비디오는 3D 가우시안 스플래팅(3DGS)을 통한 고품질 3D 장면 재구성을 가능하게 하여, 플라이스루(fly-through) 탐사에 적합한 강력한 기하학적 일관성을 입증했습니다.

제로샷 카메라 캘리브레이션

오직 아웃페인팅(outpainting)을 위해서만 학습되었음에도 불구하고, 모델은 제로샷 카메라 파라미터 추정에서 경쟁력 있는 결과를 달성했습니다:

• FoV 추정: NYUv2, ETH3D, iBims-1에서 상위 3위 안에 들었으며, 여러 지도 학습(supervised) 베이스라인들을 능가하고 전문화된 SOTA 방식(DUSt3R, MoGe)에 근접한 성능을 보였습니다.
• 방향 추정: MegaDepth 및 LaMAR에서 롤(roll) 및 피치(pitch) 추정에 있어 대부분의 지도 학습 베이스라인보다 뛰어난 성능을 보였으며, SOTA인 GeoCalib보다 오차가 약 0.5도 정도 높았습니다.

의의 및 주장

본 논문은 고품질 파노라마 생성을 위해 명시적인 기하학적 정렬이 불필요함을 주장합니다. 디퓨전 트랜스포머의 표현력을 활용하고 과업을 시퀀스-투-시퀀스 문제로 다룸으로써, 360Anything은 캘리브레이션이 불가능한 "인 더 와일드" 시나리오에서도 견고함을 달성합니다.

본 연구는 다음을 입증합니다:

1. 데이터 기반 학습을 통한 기하학적 관계의 습득은 명시적이고 종종 노이즈가 섞인 기하학적 사전 지식에 의존하는 방법보다 뛰어날 수 있습니다.
2. 심 아티팩트는 단순한 추론 시점의 문제가 아니라 잠재 공간에서의 아키텍처 문제이며, 순환 잠재 인코딩을 통해 해결될 수 있습니다.
3. 프레임워크는 명시적인 감독 없이도 카메라 파라미터를 추론하고 3D 일관성을 유지(3DGS 재구성 가능)할 수 있는 깊은 기하학적 이해를 보유하고 있습니다.

저자들은 이러한 접근 방식이 원근 전용 생성기와 캘리브레이션 의존형 파이프라인의 한계를 넘어, 몰입형 3D 세계 생성을 위한 모델 및 데이터 스케일링을 가능하게 한다고 결론짓습니다.