1. 문제 정의 (Problem)

기존의 텍스트 - 이미지 (Text-to-Image, T2I) 생성 모델들은 자연어만으로 정밀한 카메라 시점 (Viewpoint) 제어를 수행하는 데 큰 어려움을 겪고 있습니다.

• 자연어의 모호성: "뒤에서 본 모습", "왼쪽 30 도", "정면에서 45 도 아래"와 같은 기하학적 지시는 자연어 표현상 모호하고 이산적 (discrete) 이며, 모델이 이를 정확히 해석하기 어렵습니다.
• 현재 모델의 한계: 기존 모델들은 지시사항을 무시하거나, 편향된 표준 각도 (canonical angles) 로 수렴하거나, 시도마다 일관되지 않은 기하학적 구조를 생성하는 '할루시네이션' 현상이 빈번합니다.
• 기존 접근법의 부족:
  • 3D 인식 생성 모델이나 신규 뷰 합성 (Novel View Synthesis) 기술들은 텍스트 외의 추가 입력 (예: 깊이도, 다중 뷰 이미지) 이 필요하여 유연성이 떨어집니다.
  • View-NeTI 나 Compass Control 과 같은 토큰 기반 방법들은 특정 객체에 과적합 (overfitting) 되거나, 국소적 영역에만 집중하여 전체 장면의 기하학적 이해를 방해하고, 보편적인 일반화 능력이 부족합니다.

2. 방법론 (Methodology)

저자들은 텍스트 프롬프트에 명시적인 카메라 시점 정보를 통합하기 위해 학습 가능한 뷰포인트 토큰 (Learnable Viewpoint Tokens) 을 도입한 프레임워크를 제안합니다.

가. 객체 중심 카메라 파라미터화 (Object-Centric Parameterization)

• 객체를 원점에 고정하고 정면이 세계 좌표계의 양의 x 축을 향하도록 설정하여 '좌/우', '전/후' 개념을 일관되게 정의합니다.
• 카메라 시점을 5 개의 파라미터로 분해하여 표현합니다:
  1. 방위각 (Azimuth, $\theta_{az}$): 카메라의 수평 회전 각도.
  2. 고도 (Elevation, $\theta_{el}$): 카메라의 수직 각도.
  3. 반경 (Radius, $r$): 객체 지름 단위로 정규화된 거리.
  4. 피치 (Pitch, $\theta_{pitch}$): 카메라의 상/하 기울기.
  5. 요 (Yaw, $\theta_{yaw}$): 카메라의 좌/우 기울기.

나. 뷰포인트 토큰 인코딩 (Viewpoint Token Encoding)

• 위 5 가지 파라미터를 MLP(다층 퍼셉트론) 를 통해 학습 가능한 임베딩 토큰으로 변환합니다.
  • 방위각은 주기성을 처리하기 위해 사인/코사인 함수로 인코딩됩니다.
  • 나머지 파라미터는 정규화 후 직접 사용됩니다.
• 생성된 뷰포인트 토큰은 텍스트 임베딩과 연결되어 T2I 모델의 입력으로 함께 처리되며, 어텐션 메커니즘을 통해 텍스트 의미와 기하학적 정보가 결합됩니다.

다. 데이터셋 구성 (Two-Part Dataset Design)

과적합을 방지하고 기하학적 정확성과 사실성을 동시에 확보하기 위해 두 가지 데이터셋을 혼합하여 학습합니다.

1. 대규모 렌더링 데이터셋 (Rendered Dataset):
   • 3D 모델 (동물, 차량, 인물, 가구 등 3,111 개) 을 다양한 각도에서 렌더링한 데이터 (약 37 만 장).
   • 역할: 강력한 기하학적 지도 (Geometric Supervision) 제공.
2. 포토리얼리스틱 증강 데이터셋 (Photorealistic Augmented Dataset):
   • 렌더링된 객체를 상업적 이미지 생성 모델 (Nano Banana) 로 배경과 질감을 사실적으로 변환한 데이터 (약 6,600 장).
   • 역할: 사실적인 배경, 조명, 객체 외관 다양성 유지 및 텍스트 프롬프트 정렬 능력 보존.

3. 주요 기여 (Key Contributions)

1. 최고 수준의 카메라 제어 정확도: 이미지 품질과 텍스트 프롬프트 충실도를 유지하면서, 방위각, 고도, 거리, 피치, 요 등 5 가지 카메라 파라미터 모두에서 기존 방법 (Compass Control, ControlNet 등) 보다 우수한 정확도를 달성했습니다.
2. 전체 장면 이해 기반 학습: 객체 컷아웃이 아닌 전체 장면 (배경 포함) 을 학습하여, 객체와 배경 간의 일관된 기하학적 관계를 유지하고 전역적 (Global) 인 장면 이해를 가능하게 했습니다.
3. 강력한 일반화 능력: 학습 데이터에 없는 새로운 객체 카테고리 (예: 유니콘, 고스트, 신화적 생물 등) 에 대해서도 과적합 없이 정확한 시점 제어가 가능합니다. 이는 뷰포인트 토큰이 객체 정체성 (Identity) 과 분리된 (disentangled) 기하학적 표현을 학습했음을 의미합니다.
4. 범용 아키텍처: Harmon, Stable Diffusion 2.1/3.5 등 다양한 T2I 백본 모델에 적용 가능하며, 추가적인 3D 참조 입력 없이 텍스트 프롬프트만으로 작동합니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 방위각 오차: Compass Control(31.07°) 대비 본 방법 (18.11°) 이 현저히 낮음.
  • CLIP 점수 및 GenEval: 텍스트 - 이미지 정렬도 (Prompt Alignment) 에서 Compass Control 보다 높은 점수를 기록하여, 시점 제어 시에도 텍스트 의미 유지가 우수함을 입증.
  • 어려운 시점 (Back-view, High-elevation): 기존 방법들이 급격히 성능이 저하되는 극단적인 각도에서도 높은 정확도를 유지.
• 정성적 평가:
  • Santa Claus, Dolphin, Rabbit 등 학습에 없던 객체에 대해 Compass Control 은 학습된 다른 객체 (사자, 신발, 테디베어 등) 로 잘못 생성하는 과적합 현상을 보인 반면, 본 방법은 프롬프트에 맞는 객체를 정확한 시점으로 생성함.
  • 배경과 객체의 조명, 그림자, 원근감이 일관되게 표현됨.

5. 의의 및 결론 (Significance)

이 연구는 텍스트 - 이미지 생성 모델에 명시적인 3D 카메라 구조를 내재화할 수 있음을 증명했습니다.

• 자연어와 3D 기하학의 통합: 자연어 프롬프트에 파라미터화된 토큰을 추가함으로써, 복잡한 3D 지시를 단순한 텍스트로 표현하고 모델이 이를 정확히 이해하도록 만들었습니다.
• 실용성 향상: 추가적인 깊이도나 3D 모델 입력 없이도 정밀한 시점 제어가 가능해져, 실제 응용 (게임, 영화, 디자인 등) 에서의 활용도가 높아집니다.
• 미래 방향: 텍스트 - 비전 잠재 공간 (Latent Space) 에 3D 구조를 부여함으로써, 기하학적 인식을 갖춘 차세대 생성형 AI 시스템으로의 발전 가능성을 제시합니다.

요약하자면, 이 논문은 학습 가능한 뷰포인트 토큰과 하이브리드 데이터셋 전략을 통해 텍스트 기반 이미지 생성의 정밀한 카메라 제어를 실현하고, 기존 방법들의 과적합 및 일반화 문제를 해결한 획기적인 접근법입니다.