One2Scene: Geometric Consistent Explorable 3D Scene Generation from a Single Image

이 논문은 단일 이미지로부터 기하학적 일관성을 갖춘 탐험 가능한 3D 장면을 생성하기 위해 파노라마 생성, 3D 기하학적 구조 구축, 그리고 새로운 뷰 생성이라는 세 단계로 이루어진 One2Scene 프레임워크를 제안합니다.

핵심

원샷으로 만드는 3D 세계: 'One2Scene' 이야기

이 논문은 **"사진 한 장만 있으면, 그 안의 장면을 자유롭게 돌아다니며 볼 수 있는 3D 세계를 어떻게 만들 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 기술들은 사진 한 장을 보고 3D 장면을 만들려 할 때, 카메라를 조금만 돌려도 벽이 뚫리거나 물체가 기괴하게 늘어나는 등 **'왜곡'**이 심하게 발생했습니다. 마치 거울에 비친 상을 보고 뒤에서 그 물체를 그리려다 보니, 뒤쪽이 어떻게 생겼는지 몰라서適당하게 그려 넣다가 엉망이 되는 것과 비슷합니다.

저희가 제안한 **'One2Scene(원투씬)'**은 이 문제를 해결하기 위해 세 가지 단계로 나누어 접근합니다. 마치 집을 짓는 과정을 생각하면 이해하기 쉽습니다.

---

1 단계: 360 도 파노라마로 '전체 지도' 그리기

"한 장의 사진만으로는 부족하니까, 주변을 모두 훑어보자!"

먼저, 입력된 사진 한 장을 바탕으로 360 도 파노라마 이미지를 생성합니다.

• 비유: 당신이 좁은 방에 서서 한 장의 사진을 찍었습니다. 하지만 이 사진만으로는 방의 전체 구조를 알 수 없습니다. 그래서 AI 가 상상력을 발휘해 방의 앞, 뒤, 좌, 우, 천장, 바닥까지 모두 포함된 거대한 360 도 파노라마 지도를 먼저 그려냅니다.
• 효과: 이제 우리는 장면을 바라보는 시점이 한곳에 갇히지 않고, 360 도 모두를 볼 수 있는 '초기 지도'를 갖게 됩니다.

2 단계: 2D 지도를 3D '골격'으로 세우기

"평면 지도를 입체적인 뼈대로 변신시키기"

파노라마는 여전히 '평면 (2D)'입니다. 이를 바탕으로 3D 공간을 만들려면 깊이 (Depth) 정보가 필요합니다. 여기서 One2Scene 은 **6 개의 작은 창 (Anchor Views)**을 만들어냅니다.

• 비유: 360 도 파노라마를 6 개의 정육면체 면 (큐브맵) 으로 잘라냅니다. 마치 주사위를 펼쳐서 각 면을 따로 보는 것과 같습니다.
• 핵심 기술: 이 6 개의 면이 겹치는 부분 (2.5 도 정도) 을 이용해, 마치 스테레오 안경을 쓴 것처럼 깊이 정보를 계산합니다. 그리고 이 정보를 바탕으로 **3D 가우시안 (3D Gaussian)**이라는 '입체 점들'로 이루어진 **강력한 3D 골격 (Scaffold)**을 0.5 초 만에 빠르게 만듭니다.
• 중요한 점: 이 골격은 단순히 그림이 아니라, 실제 물체의 위치와 모양을 정확히 잡은 '철근 구조' 역할을 합니다. 그래서 나중에 카메라를 아무리 움직여도 건물이 무너지지 않습니다.

3 단계: 골격을 이용해 '실사 같은' 장면을 채우기

"뼈대에 살을 붙여 생동감 있는 장면을 완성하기"

이제 3D 골격이 준비되었으니, 이 골격을 이용해 사용자가 원하는 어떤 각도에서도 볼 수 있는 고화질 이미지를 생성합니다.

• 비유: 이제 우리가 만든 튼튼한 3D 골격 (철근) 위에, AI 가 고화질 벽지와 인테리어를 입힙니다.
• Dual-LoRA 전략: AI 는 두 가지 정보를 동시에 봅니다.
  1. 원래 사진: 선명하지만 깊이 정보가 모호한 '고화질 피부'.
  2. 3D 골격에서 렌더링된 이미지: 선명하지는 않지만 깊이와 구조가 확실한 '뼈대'.
     이 두 정보를 섞어서 (Dual-LoRA) 새로운 각도의 장면을 만들면, 구조는 틀어지지 않으면서도 화질은 선명한 장면을 얻을 수 있습니다.
• 메모리 조건: 장면을 계속 돌려보면서 (예: 360 도 회전) 앞뒤로 돌아왔을 때, 이미 본 장면과 똑같이 보이게 하기 위해 '기억' 기능을 추가했습니다.

---

왜 이 기술이 특별한가요? (기존 기술 vs One2Scene)

• 기존 기술 (WonderJourney, DreamScene360 등):

  • 문제점: 카메라를 많이 움직이면 벽이 뚫리거나, 물체가 길게 늘어나거나, 문이 사라지는 등 기하학적 왜곡이 심합니다. 마치 점토를 너무 많이 잡아당기면 모양이 망가진 것과 같습니다.
  • 원인: 3D 구조를 미리 정립하지 않고, 매번 새로운 이미지를 그릴 때마다 '추측'에 의존하기 때문입니다.

• One2Scene 의 해결책:

  • 해결: 먼저 **3D 골격 (Scaffold)**을 튼튼하게 세운 뒤, 그 위에 이미지를 입힙니다.
  • 결과: 카메라가 아무리 멀리 이동하거나 회전해도, 건물은 무너지지 않고, 물체의 크기와 위치는 일정하게 유지됩니다. 마치 건물의 철근을 먼저 세운 뒤 외벽을 칠하는 것과 같아서, 어떤 각도에서 보더라도 실제 사진처럼 자연스럽고 사실적입니다.

요약

One2Scene은 "사진 한 장을 보고 3D 세계를 만들 때, 먼저 **튼튼한 3D 뼈대 (골격)**를 빠르게 만들고, 그 위에 고화질 이미지를 입히는 방식"을 사용합니다. 덕분에 기존 기술들이 겪던 왜곡과 오류 없이, 사용자가 자유롭게 돌아다니며 볼 수 있는 실제 같은 3D 장면을 만들어냅니다.

이 기술은 게임, 영화, 메타버스 등 우리가 가상 공간에서 더 현실적으로 경험할 수 있는 미래를 여는 중요한 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 3D 생성 및 재구성 방법론은 다음과 같은 한계를 가지고 있습니다:

• 기하학적 왜곡 및 아티팩트: 단일 이미지에서 시작하여 시점이 크게 이동하거나 장시간 탐색할 때, 기존 방법들 (예: WonderJourney, DreamScene360) 은 심한 기하학적 왜곡과 노이즈 아티팩트를 발생시킵니다.
• 3D 일관성 부재: 비디오 생성 모델을 활용하거나 반복적인 인페인팅 (inpainting) 기반 접근법은 전역적인 기하학적 일관성을 유지하지 못하며, 누적 오차로 인해 장면 구조가 붕괴되거나 의미론적 드리프트 (semantic drift) 가 발생합니다.
• 확장성 부족: 희소 뷰 (sparse views) 기반 재구성 방법은 관측되지 않은 영역을 합리적으로 렌더링하는 데 어려움을 겪으며, 대규모 탐색 가능한 3D 장면 생성에는 적합하지 않습니다.

이러한 문제들을 해결하기 위해 단일 이미지로부터 기하학적으로 일관되고, 사실적이며, 자유롭게 탐색 가능한 3D 장면을 생성하는 것이 핵심 과제입니다.

2. 방법론 (Methodology)

One2Scene은 이 잘 정의되지 않은 (ill-posed) 문제를 세 가지 처리 가능한 하위 작업으로 분해하여 해결합니다. 전체 파이프라인은 전경 (Panorama) 생성 → 3D 기하학적 발판 (Scaffold) 구축 → 새로운 뷰 합성의 3 단계로 구성됩니다.

3.1 전경 (Panorama) 생성 및 앵커 뷰 (Anchor Views) 추출

• 입력 확장: 단일 이미지의 정보 부족을 극복하기 위해, Hunyuan-Pano-DiT 와 같은 전용 모델을 사용하여 입력 이미지를 360° 전경 (panoramic cubemap) 으로 변환합니다. 이는 전역적인 시각적 단서를 제공합니다.
• 앵커 뷰 투영: 생성된 전경을 6 개의 큐브맵 (cubemap) 뷰로 투영하여 '앵커 뷰'를 생성합니다. 이는 단일 이미지 기반의 단안 깊이 추정 문제를, 다중 뷰 스테레오 매칭 (Multi-view Stereo) 문제로 재정의하는 데 사용됩니다.

3.2 순방향 3D 기하학적 발판 (Feed-forward 3D Geometric Scaffold) 구축

• 3D 가우스 스플래팅 (3DGS) 네트워크: 생성된 앵커 뷰들을 기반으로, 일반화 가능한 순방향 (feed-forward) 3D 가우스 스플래팅 네트워크를 사용하여 명시적인 3D 기하학적 발판을 구축합니다.
• 양방향 특징 융합 모듈 (Bidirectional Fusion Module):
  • 큐브맵 뷰 간의 겹침 영역이 매우 작기 (약 2.5 도) 때문에 기존 다중 뷰 모델 (예: VGGT) 은 성능이 저하됩니다.
  • 이를 해결하기 위해 C2E (Cube-to-Equirectangular) 및 E2C (Equirectangular-to-Cube) 변환 모듈을 도입하여 겹침 영역의 특징을 정렬하고, **잔차 연결 (Residual Connection)**을 통해 전역적 기하학적 일관성을 유지하면서 뷰별 세부 정보를 보존합니다.
• 결과: 0.5 초 내에 기하학적으로 정확하고 고품질의 3D 발판 (3DGS 파라미터: 위치, 불투명도, 공분산, 색상) 을 생성합니다.

3.3 3D 발판 유도 새로운 뷰 합성 (Scaffold-Guided Novel View Synthesis)

• 조건부 합성: 최종 단계에서는 생성된 3D 발판에서 렌더링된 뷰 (기하학적 정보 풍부하지만 아티팩트 존재 가능) 와 원본 앵커 뷰 (화질은 좋으나 기하학적 모호성 존재) 를 동시에 조건으로 사용합니다.
• Dual-LoRA 전략: 서로 다른 특성을 가진 두 가지 조건 (고화질 앵커 뷰 vs. 기하학적 발판 렌더링 뷰) 을 효과적으로 융합하기 위해, SEVA 아키텍처 기반에 Dual-LoRA 전략을 도입합니다. 각 조건을 별도의 LoRA 모듈로 처리한 후 3D 어텐션 메커니즘을 통해 통합하여, 임의의 카메라 위치에서 사실적이고 일관된 뷰를 생성합니다.
• 메모리 조건 (Memory Condition): 긴 시퀀스 생성 시 시간적/공간적 일관성을 유지하기 위해, 이전 프레임 중 가장 유사한 카메라 포즈를 가진 프레임을 메모리 조건으로 추가합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 (One2Scene): 단일 이미지에서 탐색 가능한 3D 장면을 생성하기 위해, 전경 생성, 3D 발판 구축, 합성이라는 3 단계로 문제를 체계적으로 분해한 프레임워크를 제안했습니다.
2. 강력한 3D 발판 구축: 단안 전경 깊이 추정 문제를 다중 뷰 스테레오 문제로 재정의하고, 양방향 융합 모듈을 통해 희소 뷰에서도 기하학적으로 일관된 3D 발판을 실시간 (0.5 초) 에 구축하는 순방향 3DGS 모델을 개발했습니다.
3. Dual-LoRA 기반 합성: 기하학적 발판과 고화질 입력 뷰의 정보를 효과적으로 결합하여, 대규모 시점 이동에서도 기하학적 모호성을 해결하고 사실적인 새로운 뷰를 생성하는 방법을 제시했습니다.
4. SOTA 성능 달성: 전경 깊이 추정, 순방향 360° 재구성, 탐색 가능한 3D 장면 생성 등 다양한 벤치마크에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

One2Scene 은 다양한 벤치마크 (WorldScore, DL3DV, Matterport3D 등) 에서 다음과 같은 결과를 보였습니다:

• 탐색 가능한 3D 장면 생성:

  • 기하학적 안정성: 회전 오차 (RotError), 이동 오차 (TransError), 카메라 운동 일관성 (CamMC) 지표에서 SEVA, VMem 등 기존 방법보다 월등히 낮은 오차를 기록했습니다. 특히 루프 클로저 (loop-closure) 상황에서 기하학적 붕괴가 발생하지 않았습니다.
  • 시각적 품질: NIQE(4.43), Q-Align(4.13), CLIP-I(89.95) 점수에서 모든 경쟁 모델을 상회하며, 사실적이고 의미론적으로 일관된 장면을 생성했습니다.
  • 비교: DreamScene360 과 WonderJourney 는 큰 시점 이동 시 왜곡이 발생하지만, One2Scene 은 물리적으로 타당한 기하학적 구조를 유지합니다.

• 순방향 360° 재구성:

  • 정확도: Matterport3D 와 Stanford2D3D 데이터셋에서 제로샷 (Zero-shot) 및 파인튜닝 (Finetune) 설정 모두에서 기존 전경 깊이 추정 방법 (BiFuse, UniFuse 등) 보다 우수한 정확도를 보였습니다.
  • 효율성: H20 GPU 에서 0.5 초, H100 GPU 에서 0.1 초 내에 고품질 3D 발판을 생성하여, AnySplat 보다 5.6 배 빠른 속도를 기록했습니다.

• Ablation Study:

  • Dual-LoRA 전략, 메모리 조건, 양방향 융합 모듈이 각각 시각적 품질과 기하학적 일관성에 결정적인 기여를 함을 입증했습니다.

5. 의의 및 결론 (Significance)

One2Scene 은 단일 이미지로부터 기하학적으로 일관된 3D 장면을 실시간에 가깝게 생성할 수 있는 새로운 패러다임을 제시합니다.

• 기술적 혁신: 순방향 3DGS 와 다중 뷰 스테레오 매칭의 결합을 통해 대규모 시점 이동에서도 발생하는 기하학적 붕괴 문제를 해결했습니다.
• 응용 가능성: 비디오 게임, 시각 효과 (VFX), 혼합 현실 (MR), 3D 장면 이해 등 고품질 3D 콘텐츠가 필요한 다양한 분야에서 즉시 활용 가능한 기술적 기반을 제공합니다.
• 미래 전망: 이 연구는 생성형 AI 가 단순한 이미지 생성을 넘어, 물리적으로 타당하고 자유롭게 탐색 가능한 3D 세계를 구축하는 단계로 도약했음을 보여줍니다.

요약하자면, One2Scene 은 단일 이미지 입력의 정보 부족을 3D 기하학적 발판 구축으로 보완하고, 이를 통해 장기적이고 대규모 시점 이동에서도 안정적인 3D 장면 생성을 가능하게 한 획기적인 연구입니다.