💻 computer science

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

이 논문은 새롭게 구축된 100만 개 샘플의 데이터셋과 기하학적 인지 사전 학습 기술을 활용하여, 우수한 기하학적 일관성과 전역적 응집성을 보장하는 동시에 다양한 인컨텍스트 파노라마 생성 작업에서 최첨단 성능을 달성하는 2단계 프레임워크인 Canvas360을 소개한다.

원저자: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방 안의 완벽한 360도 파노라마를 평평한 종이 위에 그리려고 한다고 상상해 보세요. 문제는 무엇일까요? 평면 지도를 구체(sphere)에 둘러쌀 때, 위와 아래 부분이 마치 이상하게 녹아내린 치즈 피자처럼 찌그러지고 늘어난다는 점입니다. 대부분의 AI 이미지 생성기는 이를 해결하기 위해 특수한 "큐브(cube)" 맵이나 3D 기법을 사용하지만, 이 논문의 저자들인 Canvas360은 그러한 방식조차 여전히 기하학적 구조를 어색하게 만든다고 주장합니다. 그들은 만약 진정으로 이음새가 없고 왜곡 없는 파노라마 세계를 원한다면, 단순히 이미지를 보는 것을 넘어 공간의 깊이와 형태 자체를 이해해야 한다고 말합니다.

그렇다면 그들은 어떻게 이 문제를 해결했을까요? 그들은 마스터 건축가가 된 다음 다재다능한 화가가 되는 방식의 2단계 훈련 파이프라인을 구축했습니다.

1단계: 기하학 부트캠프 (The Geometry Boot Camp)
먼저, 팀은 AI 모델에게 세상을 2D가 아닌 3D로 보는 법을 가르쳤습니다. 단순히 사진만 보여준 것이 아니라, 모든 이미지에 깊이 지도(depth map)(모든 물체가 얼마나 멀리 있는지 보여주는 설계도)를 쌍으로 연결했습니다. 그들은 이 쌍을 이룬 샘플 100,000개를 모델에 입력했습니다.

모델이 사진과 설계도를 혼동하지 않도록 하기 위해, 그들은 영리한 트릭을 사용했습니다. 깊이 지도에 "위치 오프셋(positional offset)"을 부여했는데, 이는 마치 극장에서 각자 다른 좌석 번호를 받는 것처럼 모델이 옆에 있는 사진과 자신이 같은 것이 아님을 알게 하는 것과 같습니다. 또한 "유사성 손실(similarity loss)"이라는 특별한 규칙을 추가하여, 사진과 깊이 지도가 서로 너무 닮아지기 시작하면 모델을 꾸짖음으로써 두 데이터가 서로 뚜렷하게 구분되도록 강제했습니다.

가장 멋진 부분은 **속도 순환 패딩(velocity circular padding)**을 도입했다는 점입니다. 비디오 게임 세상에서 화면 오른쪽 끝으로 걸어 나갔을 때 즉시 왼쪽에서 나타나는 상황을 상상해 보세요. 저자들은 파노라마의 왼쪽과 오른쪽 가장자리가 실제로는 구체 위의 이웃이라는 점을 AI가 이해하도록 만들었습니다. 그들은 단순히 가장자리를 복사해서 붙여넣은 것이 아니라, 가장자리에서의 "속도(변화의 방향)"가 반대편으로 완벽하게 흘러 들어가야 한다는 것을 모델에게 가르쳤습니다. 이는 모델이 보이지 않는 이음새를 유지하는 법을 배우는 데 도움이 되었습니다.

2단계: 다재다능한 화가 (The Versatile Painter)
모델이 기하학을 이해하게 된 후, 그들은 두 번째 단계인 **인컨텍스트 생성(in-context generation)**을 가르치는 단계로 넘어갔습니다. 즉, 이제 AI는 깊이 지도 없이도 기존 이미지와 텍스트 프롬프트만으로 온갖 마술을 부릴 수 있게 되었습니다. 그들은 100만 개의 고품질 샘플이 담긴 Canvas360Dataset이라는 거대한 새로운 데이터셋으로 모델을 훈련시켰습니다.

이 데이터셋은 네 가지 특정 작업을 수행하기 위해 합성된 90만 개의 새로운 예시로 구축되었습니다:

스타일 전이(Style Transfer): 사진을 연필 스케치나 유화로 바꾸는 작업 (200,000개 샘플).
아웃페인팅(Outpainting): 원래의 경계 너머로 시야를 확장하는 작업 (250,000개 샘플).
인페인팅(Inpainting): 이미지의 빈 구멍을 채우는 작업 (250,000개 샘플).
편집(Editing): 물체(예: 소파)를 제거하거나 새로운 물체를 추가하는 작업 (200,000개 샘플).

저자들은 각 작업마다 별도의 모델을 훈련시키거나 오래된 "큐브 맵" 방식에 의존해야 한다는 생각에 명시적으로 반대합니다. 대신, 기하학을 바탕으로 사전 훈련된 단일 통합 모델이 이 모든 일을 더 잘 수행할 수 있다고 제안합니다.

결과는 어땠을까요?
결과는 강력한 개선을 보여줍니다. 그들이 모델을 테스트했을 때, 모델은 FAED(파노라마가 기하학적 구조에 얼마나 충실한지를 측정하는 지표)라는 특정 지표에서 최고 점수를 받았으며, 다른 품질 검사에서도 매우 우수한 성적을 거두었습니다. 71명의 사람이 10개의 이미지를 관찰한 사용자 조사에서, Canvas360은 가장 매끄러운 경계와 최고의 전반적인 품질을 가진 모델로 선택되었습니다.

저자들은 이전 방식들이 파노라마를 편집할 때 종종 흐릿한 가장자리를 남기거나 물체를 왜곡시킨 반면, Canvas360은 3D 구조를 온전히 유지해냈다고 언급했습니다. 그들이 세상의 모든 문제를 해결했다고 주장하는 것은 아니지만, 실험 결과는 AI에게 처음부터 세상의 구형 구조를 존중하도록 가르침으로써 훨씬 더 일관되고 현실적인 파노라마 이미지를 생성하는 도구를 만들었음을 시사합니다.

기술 요약: Canvas360 – 기하학적 인지 사전 학습을 통한 인컨텍스트 파노라마 생성 향상

문제 정의

텍스트-투-파노라마(text-to-panorama) 생성 기술은 크게 발전했지만, 인컨텍스트 파노라마 생성(사용자가 제공한 이미지를 조건으로 하는 편집, 인페인팅, 아웃페인팅 및 스타일 전이)은 독특한 과제에 직면해 있습니다. 지배적인 등거리 원통 투영(Equirectangular Projection, ERP) 표현 방식은 본질적으로 위도에 따른 왜곡을 유발하며, 이는 편집 과정에서 기초가 되는 3D 장면 구조의 기하학적 일관성을 유지하는 것을 어렵게 만듭니다.

기존 방법들은 왜곡 인지 설계(예: 큐브맵 또는 3D 구형 위치 임베딩)를 통해 이를 완화하려고 시도하지만, 경험적 관찰에 따르면 ERP 파노라마 상에서 직접 작동할 때 여전히 기하학적 일관성을 유지하는 데 어려움을 겪는 것으로 나타납니다. 또한, 이 분야는 인컨텍스트 파노라마 작업에 특화된 대규모 고품질 학습 데이터의 부족으로 인해 발전에 제약을 받고 있습니다. 핵심적인 미해결 질문은 다음과 같습니다: 구형 기하학 하에서 기하학적 일관성을 보존하기 위해 깊이 사전 정보(depth priors)를 어떻게 공식화할 수 있는가?

방법론

저자들은 **기하학적 인지 사전 학습(geometry-aware pretraining)**과 **통합 인컨텍스트 미세 조정(unified in-context fine-tuning)**을 결합한 2단계 프레임워크인 Canvas360을 제안합니다.

1. 기하학적 인지 사전 학습 (1단계)

강력한 공간 및 기하학적 사전 정보를 주입하기 위해, 모델은 플로우 트랜스포머(Flow Transformer) 아키텍처를 사용하여 대규모 깊이 증강 데이터셋에서 사전 학습됩니다.

병렬 깊이 생성 (Parallel Depth Generation): 모델은 RGB 파노라마와 구형 깊이 맵(spherical depth maps)을 동시에 생성합니다. 깊이는 카테시안 Z축이 아닌 카메라 중심으로부터의 방사형 거리(구형 공간)에 대응하는 명시적인 기하학적 사전 정보로 취급됩니다.
토큰 단위 결합 및 위치 오프셋 (Token-wise Concatenation & Positional Offsets): RGB와 깊이 잠재 변수(latents)는 토큰 수준에서 결합됩니다. 두 모달리티가 혼동되는 것을 방방지하기 위해, 3D 회전 위치 임베딩(RoPE)의 첫 번째 차원에 상수 오프셋을 적용하여 깊이 토큰을 RGB 토큰으로부터 위치 공간상에서 분리합니다.
속도 순환 패딩 (Velocity Circular Padding): 구형 연속성과 경계 일관성을 강제하기 위해, 저자들은 속도 순환 패딩을 도입합니다. 단순히 경계 열을 복사하는 표준 패딩과 달리, 이 방법은 트랜스포머 연산 전에 경계 토큰(0° 및 360°)의 *속도장(velocity fields)*을 그들의 순환적 대응물과 동기화합니다. 이는 모델이 경계 일관성이 있는 속도를 예측하도록 명시적으로 감독하여 매끄러운 이음매 정렬을 보장합니다.
유사도 손실 규제 (Similarity Loss Regularization): RGB와 깊이 예측이 퇴보하거나 지나치게 유사한 출력으로 붕괴되는 것을 방지하기 위해 유사도 손실이 추가됩니다. 이는 두 모달리티의 예측된 속도장 사이의 과도한 상관관계를 처벌하여, 서로 구별되는 모달리티 특유의 표현을 장려합니다.

2. 통합 인컨텍스트 미세 조정 (2단계)

사전 학습된 모델을 바탕으로, 네 가지 다운스트림 작업인 스타일 전이, 인페인팅, 아웃페인팅, 편집을 위한 통합 프레임워크를 학습시킵니다.

깊이 제거 (Depth Removal): 미세 조정 중에는 깊이 입력이 폐기됩니다. 모델은 오직 RGB 기반의 인컨텍스트 조건(마스킹된 이미지 또는 전체 참조 이미지)과 텍스트 프롬프트에 의존하며, 사전 학습 중에 학습된 공간 구조를 암묵적으로 계승합니다.
통합 표현 (Unified Representation): 모든 작업은 토큰 수준 결합을 사용하는 공유 학습 튜플 하에 공식화됩니다. 컨텍스트 토큰과 타겟 토크은 위치 오프셋( $T_c$ )에 의해 분리되어, 모델이 공간적 대응 관계를 유지하면서도 의미론적 역할을 구분할 수 있게 합니다.

3. 데이터 파이프라인: Canvas360Dataset

데이터 부족 문제를 해결하기 위해, 저자들은 Canvas360Dataset이라는 100만 샘플 규모의 데이터셋을 구축했습니다.

시드 세트 (Seed Set): Matterport3D, 웹 리소스 및 최첨단 생성 모델에서 추출한 10만 개의 고품질 RGB-깊이 파노라마.
합성 파이프라인: 네 가지 다운스트림 작업을 위한 90만 개의 추가 쌍(paired) 샘플을 생성하는 확장 가능한 파이프라인:
- 스타일 전이 (200K): FLUX.2-dev와 스타일 특화 프롬프트를 사용하여 합성되었습니다.
- 아웃페인팅 (250K): 무작위 카메라 파라미터(yaw, pitch, FoV)를 샘핑하여 원근 뷰 마스크와 역투영을 생성함으로써 만들어졌습니다.
- 인페인팅 (250K): 무작위 직사각형 마스크를 사용하여 생성되었으며, 글로벌 장면 프롬프트와 로컬 영역 프롬프트(VLM에 의해 생성됨)를 모두 활용합니다.
- 편집 (200K): VLM 및 그라운딩 모델(Florence2, GroundingDino)을 사용하여 객체를 국지화한 후, FLUX.2를 이용한 객체 삭제/추가 및 NanoBanana를 통한 정교화 과정을 거쳐 합성되었습니다.

주요 결과

광범한 실험을 통해 Canvas360이 기본적인 텍스트-투-파노라마 생성 및 인컨텍스트 작업 모두에서 우수한 성능을 달성함을 입증했습니다.

정량적 성능: 텍스트-투-파노라마 검증 세트에서, Canvas360은 기존의 DiT360, HunyuanWorld, SMGD 등의 방법보다 현저히 높은 FAED 점수(파노라마 특화 충실도 지표)를 기록하며 최고 성능을 달성했습니다. 또한 IS, QA 미학, NIQE 점수에서도 앞서 나갔으며, FID 및 BRISQUE에서는 경쟁력 있는 수치를 보였습니다.
정성적 개선: 시각적 비교 결과, Canvas3 "Canvas360은 블러(blur), 아티팩트 또는 기하학적 불일치 편집 문제를 겪는 베이스라인 모델들과 비교하여 더 선명한 디테일, 정확한 극 지역 왜곡(polar distortions), 그리고 매끄러운 경계 정렬을 생성함을 보여주었습니다.
사용자 연구: 71명의 참가자를 대상으로 한 연구에서, Canvas360은 경계 연속성(31.1%), 파노라마 인지 능력(34.1%), 전반적인 품질(35.9%) 부문에서 가장 높은 선호도 점수를 얻어 Matrix-3D, HunyuanWorld, DiT360을 능가했습니다.
절제 연구 (Ablation Studies): 병렬 깊이 생성, 위치 오프셋 또는 유사도 손실을 제거하면 기하학적 왜곡, 불안정한 학습(출력이 너무 어두워짐), 또는 퇴보된 모달리티 현상이 발생합니다. 속도 순환 패딩은 경계 연속성을 위해 필수적임이 확인되었습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

Canvas360 프레임워크: 깊이 증강 사전 학습으로부터 기하학적 인지 사전 정보를 인컨텍스트 생성으로 성공적으로 전이하여, 다운스트림 작업 시 명시적인 기하학적 감독 없이도 공간적 일관성과 기하학적 충실도를 향상시키는 2단계 접근 방식을 제시합니다.
기하학적 인지 사전 학습 전략: 구형 연속성과 구별되는 모달리티 표현을 강제하기 위해 유사도 손실과 속도 순환 패딩을 활용하는 병렬 RGB-깊이 생성의 새로운 방법을 사용합니다.
Canvas360Dataset: 네 가지 뚜렷한 인컨텍스트 작업을 포괄하는 100만 규모의 데이터셋을 공개하며, 저자들은 이것이 현재까지 가장 포괄적인 데이터셋임을 밝히며 파노라마 생성의 대규모 모델 스케일링을 가능하게 합니다.
통합된 성능: 단일 모델이 강력한 일반화 능력을 갖춘 상태에서 다양한 작업(인페인팅, 아웃페인팅, 편집, 스타일 전이)을 효과적으로 처리할 수 있음을 입증하였으며, 작업 범위와 모델링 유연성 모두에서 기존 방법들을 능가했습니다.

저자들은 결론적으로, Canvas360이 기하학적 일관성과 데이터 부족 문제를 효과적으로 해결함으로써 파노라마 생성의 미래 스케일링과 광범위한 응용을 위한 강력한 토대를 마련했다고 밝히고 있습니다.