기술 요약: PanoCtrl을 통한 언어와 구형 공간의 연결

문제 정의

파노라마 이미지 생성은 VR(가상 현실) 및 AR(증강 현실)과 같은 몰입형 애플리케이션에서 매우 중요합니다. 투영 이미지(perspective images)와 달리, 파노라마는 360° 관찰자 중심의 공간을 나타내며, 방향성 표현(예: "왼쪽", "앞", "뒤")이 공간적 이해의 핵심입니다. 그러나 기존의 텍스트-투-파노라마(text-to-panorama) 방식은 암시적인 공간 추론에 크게 의존하며, 객체 수준의 방향성 묘사를 구형 파노라마 장면 내에 충실히 구현하는 데 어려움을 겪습니다.

두 가지 주요 과제가 발전을 저해하고 있습니다:

1. 정렬 격차(Alignment Gap): 자아 중심적(egocentric) 방향 언어와 파노라마에 사용되는 등방위 투영(Equipartangular Projection, ERP) 공간 사이에는 근본적인 불일치가 존재합니다. ERP의 왜곡과 구형 래랩 어라운드(wrap-around) 연속성으로 인해 "왼쪽"이나 "오른계"와 같은 개념을 모델링하는 것은 유클리드 이미지 평면보다 훨씬 더 복적으로 만듭니다.
2. 제어의 한限制(Control Limitations): 기존의 제어 가능한 생성 방법들은 고정된 레이아웃이나 바운딩 박스를 가진 투영 이미지를 위해 설계되었습니다. 이들은 기하학적 왜곡 때문에 파노라마에 직접 적용하기 어렵습니다. 또한, 수동으로 지정된 공간 조건을 요구하는 것은 언어 기반 상호작용의 유연성을 저해하며, (텍스트를 파싱한 후 생성하는) 분리된 파이프라인은 언어 이해와 이미지 생성 사이의 불일치를 초래할 수 있습니다.

방법론: PanoCtrl

저자들은 자연어와 구형 파노라마 공간을 명시적으로 연결하도록 설계된 객체 중심 프레임워크인 PanoCtrl을 제안합니다. 이 프레임워크는 엔드투엔드(end-to-end)로 작동하며, 디퓨전 트랜스포머 백본에 통합된 두 가지 주요 모듈인 PanoParse와 PanoControl로 구성됩니다.

1. PanoParse: 텍스트-투-구형 파싱 (Text-to-Spherical Parsing)

PanoParse는 구조화되지 않은 텍스트 프롬프트를 구조화된 객체 수준의 구형 조건으로 변 변환합니다. 생성 모델이 공간적 격차를 암시적으로 해결하도록 맡는 대신, PanoParse는 이 작업을 구형 공간에서의 집합 예측(set prediction) 문제로 정식화합니다.

• 입입력: 텍스트 인코더에서 추출된 텍스트 특징.
• 메커니즘: 학습 가능한 객체 쿼리(object queries)를 사용하는 트랜스포머 디코더를 사용하여 객체 인스턴스 집합을 예측합니다.
• 출력: 각 객체에 대해 다음을 예측합니다:
  • 시맨틱 카테고리(Semantic Category): 객체의 클래스.
  • 구형 BFoV (Bounding Field-of-View): 중심 경도($\theta$), 중심 위도($\phi$), 그리고 수평/수직 각도 범위($\alpha, \beta$)로 정의됩니다.
• 학습: 파서는 분류 및 로컬라이제이션 손실(bin classification 및 offset regression)을 활용하여 정답 구형 주석(ground-truth spherical annotations)에 대해 이분 매칭(bipartite matching, DETR 스타일)을 통해 감독됩니다.

2. PanoControl: 객체 인식 디퓨전 가이던스 (Object-Aware Diffusion Guidance)

PanoControl은 파싱된 객체 조건을 디퓨전 과정에 주입하여 정확한 공간적 접지(spatial grounding)를 보장합니다. 이는 이중 브랜치 설계를 채택합니다:

• 객체 조건 구축: 파싱된 특징(시맨틱 및 기하학적 특징)을 MLP를 통해 통합된 제어 토큰으로 결합합니다.
• 객체 인식 어텐션 주입: 객체 토큰을 게이트 어텐션(gated attention)을 통해 디퓨전 트랜스포머의 텍스트 및 이미지 토큰 스트림 모두에 주입합니다. 이를 통해 객체 묘사와 생성된 콘텐츠 사이의 시맨틱 바인딩을 보장합니다.
• 공간 잔차 향상(Spatial Residual Enhancement): ERP 공간에서 명시적인 영역 수준 가이던스를 제공하기 위해, 이 브랜치는 다음을 수행합니다:
  1. 예측된 BFoV를 기반으로 ERP 토큰 그리드에서 로컬 특징을 샘플링합니다.
  2. QKV 변환과 어텐션을 통해 이러한 로컬 특징을 향상시킵니다.
  3. 향상된 특징을 잔차 융합(residual fusion)을 통해 글로벌 토큰 그리드로 다시 집계합니다.
     이 브랜치는 자아 중심적 묘사와 ERP 표현 사이의 위치 불일치 문제를 직접 해결합니다.

3. 학습 목표 (Training Objectives)

프레임워크는 공동 목표를 가지고 엔드투엔드로 학습됩니다:

• 파싱 손실 ($L_{parse}$): 객체 시맨틱 및 구형 위치의 정확성을 감독합니다.
• 디퓨전 손실 ($L_{diff}$): 표준 글로벌 디노이징 손실과 객체-영역 손실 ($L_{obj}$)을 결합합니다. 객체-영역 손실은 정답 BFoV 영역에 대해 마스크드 손실(masked loss)을 적용하여, 모델이 특정 객체 영역에 더 많은 디노이징 용량을 할당하도록 강제함으로써 로컬 충실도를 높입니다.

주요 기여

1. PanoCtrl 프레임워크: 텍스트를 구조화된 객체 수준의 구형 조건(BFoV)으로 변환하고 이를 디퓨전 트랜스포머에 통합함으로써, 자연어와 구형 공간을 명시적으로 연결하는 객체 중심 프레임워크를 제안했습니다.
2. 이중 브랜치 제어: 구조화된 조건 예측을 위한 PanoParse와 객체 인식 어텐션 및 공간 잔차 향상을 주입하는 PanoControl을 도입하여 정밀한 방향성 접지를 가능하게 했습니다.
3. PanoGround 데이터셋: 12,688개의 ERP 파노라마 이미지와 37,980개의 객체 수준 구형 주석, 그리고 다양한 방향성 묘사를 포함하는 새로운 데이터셋을 구축하여 제어 가능한 파노라마 생성의 벤치마크를 마련했습니다.

실험 결과

저자들은 PanoGround 벤치마크에서 최신 방법들(예: LayerPano3D, DiT360, HunyuanWorld)을 대상으로 PanoCtrl을 평가했습니다.

• 공간 정렬 (Spatial Alignment): PanoCtrl은 모든 공간 지표에서 최첨단 성능을 달성했습니다:
  • 객체 존재율 (OPR): 98.59% (차순위 모델보다 13.26% 상회).
  • 영역-텍스트 정렬 (RTA): 36.91 (DiT360보다 9.23 상회).
  • 구형 로컬라이제이션 오차 (SLE): 25.34° (가장 강력한 경쟁 모델의 47.63°보다 현저히 낮음).
• 이미지 품질: 이 방법은 강력한 성능을 보여주었으며, 비교된 모든 방법 중 최고의 FID(46.86), FAED(2.77), CLIP Score(32.54)를 달성했습니다. Inception Score(IS)는 3.35로 DiT360이 달성한 3.37보다 약간 낮았으나 그 차이는 미미합니다. 전반적으로, 이러한 결과는 명시적인 객체 수준의 구형 제어가 지각적 사실성이나 시맨틱 일관성을 희생하지 않으면서도 공간적 정확도를 향상시킨다는 것을 보여줍니다.
• 절제 연구 (Ablation Studies): 실험을 통해 파싱 모듈과 이중 브랜치 제어(어텐션 + 공간 잔차)가 모두 필수적임을 확인했습니다. 파싱 손실이나 객체-영역 손실을 제거하면 성능이 크게 저하되었습니다. 최적의 공간 블렌딩 계수는 0.7로 나타났으며, 8개의 객체 쿼리가 표현 능력과 안정성 사이의 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 PanoCtrl이 자아 중심적 방향 언어와 구형 파노라마 표현 사이의 불일치를 효과적으로 해결한다고 주장합니다. 구형 좌표계에서 객체 수준의 공간 조건을 명시적으로 모델링하고 이를 디퓨전 과정에 직접 통합함으로써, 이 방법은 이미지 품질을 저하시키거나 수동 레이아웃 사양을 요구하지 않고도 정확한 방향성 접지를 달성합니다. 저자들은 이 연구가 객체 수준의 구형 감독 공백을 메우는 새로운 PanoGround 데이터셋에 의해 뒷받침되며, 몰입형 콘텐츠 제작을 위해 텍스트-투-파노라마 생성을 더욱 제어 가능하고 신뢰할 수 있게 만드는 중요한 단계라고 자리매김하고 있습니다.