CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

이 논문은 참조 이미지를 기반으로 각 객체 인스턴스에 대해 높은 충실도와 일관성을 갖춘 3D 실내 장면 텍스처링을 가능하게 하는 'CustomTex'라는 새로운 프레임워크를 제안하며, 의미론적 제어와 픽셀 수준의 향상을 분리하는 이중 증류 기법을 통해 기존 방법들의 한계를 극복합니다.

핵심

CustomTex: 3D 방을 '실물 사진'으로 완벽하게 꾸며주는 마법사

이 논문은 CustomTex라는 새로운 기술을 소개합니다. 쉽게 말해, **"3D로 만든 빈 방에, 우리가 원하는 사물 (소파, 벽, 책상 등) 의 실제 사진을 보여주면, 그 사진과 똑같은 질감과 무늬를 입혀주는 기술"**입니다.

기존의 기술들이 겪었던 문제와 CustomTex 가 어떻게 해결했는지, 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존 기술의 문제점)

지금까지 3D 방을 꾸밀 때 주로 **텍스트 (글자)**로 지시를 내렸습니다. 예를 들어 "나무 질감의 소파를 만들어줘"라고 입력하면 AI 가 그걸로 그림을 그립니다.

하지만 이 방식에는 큰 문제가 두 가지 있었습니다:

1. 정확도 부족: "나무 소파"라고 해도, AI 는 어떤 나무인지, 어떤 무늬인지 정확히 모릅니다. 마치 "빨간색 사과를 그려줘"라고 했을 때, AI 가 빨간색이 아닌 초록색 사과를 그리거나, 모양이 이상한 사과를 그리는 것과 비슷합니다.
2. 품질 저하: AI 가 만든 질감은 마치 물감으로 그린 그림처럼 보입니다. 실제 사진처럼 선명하지 않고, 흐릿하거나 (Blurry), 그림자가 너무 강하게 박혀 있어서 (Baked-in shading), 조명만 바꾸면 어색해집니다. 마치 사진에 그림자가 박혀서 다른 배경에 붙일 수 없는 스티커 같은 느낌입니다.

2. CustomTex 의 해결책: "사진으로 지시하기"

CustomTex 는 **"글자" 대신 "사진"**을 사용합니다.

• 소파를 꾸미고 싶다면 소파 사진을 보여줍니다.
• 벽을 꾸미고 싶다면 벽지 사진을 보여줍니다.

그리고 이 기술은 두 가지 마법 같은 과정을 동시에 수행합니다.

🎨 마법 1: "누가 어디에 앉을지 정하기" (의미 수준 학습)

AI 는 방 안에 있는 각 사물 (소파, 의자, 벽 등) 이 어떤 사진과 짝을 맞춰야 하는지 정확히 파악합니다.

• 비유: 파티에 초대된 손님들 (각 사물) 이 각각 자신의 사진 (참고 이미지) 을 들고 왔을 때, AI 는 "아, 이 소파는 이 사진의 소파와 똑같이 만들어야 하고, 이 벽은 저 벽지 사진과 똑같아야 해"라고 정확하게 매칭해 줍니다.
• 이 과정에서 **크로스 어텐션 (Cross-attention)**이라는 기술을 써서, 소파 사진의 특징이 소파에만, 벽 사진의 특징이 벽에만 딱 떨어지도록 합니다.

🔍 마법 2: "고화질로 다듬기" (픽셀 수준 학습)

단순히 모양만 맞추는 게 아니라, 사진처럼 선명하고 깔끔하게 만들어줍니다.

• 비유: 처음에 AI 가 그린 그림이 조금 흐릿하거나 질감이 매끄럽지 않다면, **고화질 사진 보정기 (Super-Resolution)**를 거쳐서 주름을 펴고, 결을 선명하게 다듬어 줍니다.
• 중요한 점은 이 보정 과정이 그림을 그리는 과정 (학습) 중에 함께 일어나기 때문에, 결과물이 처음부터 선명하다는 것입니다. 나중에 보정하는 것보다 훨씬 자연스럽습니다.

3. 이 기술의 핵심 장점

1. 실물 같은 질감: AI 가 만든 질감이라기보다, 실제 사진을 찍어서 입힌 것처럼 선명하고 디테일합니다.
2. 그림자 없는 깔끔함: 기존 기술들은 AI 가 그림자를 너무 강하게 그려서, 조명만 바꾸면 어색해졌습니다. 하지만 CustomTex 는 그림자가 없는 '색깔과 질감'만 추출해서 입혀줍니다. 그래서 어떤 조명 환경에서도 자연스럽게 보입니다.
3. 한 번에 전체 방 꾸미기: 소파 하나만 그리는 게 아니라, 방 전체의 모든 사물을 한 번에, 각각 다른 사진으로 맞춰서 통일감 있게 꾸며줍니다.

4. 결론: 3D 디자인의 새로운 시대

기존의 기술이 "글자로 지시해서 대충 비슷하게 그리는" 방식이었다면, CustomTex 는 "사진을 보여주고 똑같이 만들어주는" 방식입니다.

마치 가상 현실 (VR) 이나 게임에서, 우리가 좋아하는 실제 인테리어 사진을 보여주면 AI 가 그걸 그대로 3D 방에 적용해 주는 것과 같습니다. 이제 3D 공간을 꾸밀 때 더 이상 "어떤 나무 질감일까?"라고 고민할 필요 없이, 원하는 사진을 보여주면 끝입니다.

이 기술은 건축 시각화, 영화 제작, 가상 현실 등 실제처럼 생생한 3D 공간을 만들어야 하는 모든 분야에 큰 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 실내 장면 텍스처링 방법론은 다음과 같은 한계를 가지고 있습니다:

• 정밀한 제어 부족: 텍스트 기반 (Text-driven) 방법은 유연성은 제공하지만, 개별 객체 (인스턴스) 단위의 세밀한 시각적 특성 (예: 직물의 특정 무늬, 나무의 결 등) 을 정밀하게 제어하기 어렵고 모호합니다.
• 화질 및 아티팩트: 기존 방법들은 생성된 텍스처가 흐릿하거나, 원치 않는 그림자가 고정된 ("baked-in" shading) 형태를 띠며, 아티팩트가 많아 고품질 렌더링에 부적합한 경우가 많습니다.
• 참조 이미지의 활용 한계: 단일 참조 이미지를 전역적으로 적용하는 방식은 전체적인 스타일에는 적합할 수 있으나, 장면 내 여러 객체 (소파, 책상, 벽 등) 에 각각 다른 참조 이미지를 적용하여 세밀한 매칭을 이루는 데는 실패합니다.

2. 제안 방법 (Methodology: CustomTex)

저자들은 CustomTex라는 새로운 프레임워크를 제안하여, 참조 이미지 (Reference Images) 를 기반으로 3D 실내 장면의 각 객체 인스턴스별로 고충실도 (High-fidelity) 텍스처를 생성합니다.

핵심 아키텍처 및 프로세스

1. 입력: 텍스처가 입혀지지 않은 3D 장면 메시 (Mesh) 와 각 객체 인스턴스에 대한 참조 이미지 집합.

2. 이중 증류 (Dual-Distillation) 전략:

   • 시맨틱 레벨 증류 (Semantic-level Distillation):
     • 목적: 생성된 텍스처가 참조 이미지와 의미론적 (Semantic) 으로 일치하도록 보장.
     • 기술: 인스턴스 교차 주의 (Instance Cross-Attention) 메커니즘을 갖춘 변분 스코어 증류 (Variational Score Distillation, VSD) 를 활용합니다.
     • 작동 방식: 렌더링된 RGB 이미지와 깊이 (Depth) 이미지를 기반으로, 각 객체의 마스크 (Mask) 를 사용하여 해당 객체의 참조 이미지 특징 (Feature) 을 정확히 위치시킵니다. 이를 통해 소파는 소파 참조 이미지, 벽은 벽 참조 이미지와 일치하도록 학습됩니다.
   • 픽셀 레벨 증류 (Pixel-level Distillation):
     • 목적: 텍스처의 시각적 선명도 (Sharpness) 와 고주파수 디테일을 향상시키고, 그림자 고정 (Baked-in shading) 을 제거.
     • 기술: 사전 학습된 초해상도 (Super-Resolution, SR) 확산 모델을 증류하여 사용합니다.
     • 효과: 시맨틱 구조를 유지하면서 고해상도 디테일을 추가하여 흐릿함을 제거합니다.

3. 최적화 프레임워크:

   • 두 가지 증류 과정 (시맨틱 및 픽셀) 을 단일 VSD 최적화 프레임워크 내에서 통합합니다.
   • LoRA (Low-Rank Adaptation) 모델을 사용하여 사전 학습된 확산 모델 (Depth-to-Image 및 SR 모델) 의 지식을 효율적으로 전이하고, 텍스처 필드 (Texture Field) 와 LoRA 파라미터를 교대로 최적화합니다.
   • 텍스처 표현: Instant-NGP 에서 영감을 받은 다중 해상도 해시 그리드 (Multi-resolution Hash Grid) 를 사용하여 UV 공간에서 암시적 (Implicit) 텍스처를 표현합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 텍스처 생성 프레임워크: 여러 개의 참조 이미지를 프롬프트로 사용하여 3D 실내 장면의 인스턴스 단위 (Instance-level) 맞춤형 텍스처링을 가능하게 함.
2. 이중 증류 학습 접근법: 시맨틱 콘텐츠의 정확성을 유지하면서 픽셀 수준의 충실도 (Fidelity) 를 향상시키는 효과적인 학습 전략 제시.
3. 인스턴스 유도 VSD: 참조 이미지에 존재하는 여러 모드 (Multi-modes) 를 포착하고, 객체 마스크를 통해 정확한 위치 정렬을 수행하는 새로운 증류 방식 개발.
4. 고품질 결과: 기존 최첨단 (SOTA) 방법들에 비해 선명도가 높고, 아티팩트가 적으며, 불필요한 그림자가 고정되지 않은 텍스처 생성.

4. 실험 결과 (Results)

• 정량적 평가:
  • Image-to-Texture: CLIP-I, CLIP-FID, Q-Align IQA/IAA 등 모든 지표에서 기존 방법 (Paint3D, HY3D-2.1, SceneTex 등) 보다 최상위 성능을 기록했습니다. 특히 참조 이미지와의 분포 유사성과 시각적 품질에서 우위를 보였습니다.
  • Text-to-Texture: 텍스트 프롬프트를 기반으로 한 생성에서도 높은 의미적 충실도 (CLIP-T) 와 이미지 품질 (IS, Q-Align) 을 달성했습니다.
• 정성적 평가:
  • 소파, 의자, 벽 등 각 객체가 참조 이미지와 정확히 일치하는 것을 확인했습니다.
  • 기존 방법들에서 흔히 발생하는 흐릿함 (Blurriness), 아티팩트, 그리고 원치 않는 그림자 (Baked-in shading) 가 현저히 감소했습니다.
  • 사용자 연구 (User Study) 에서 시각적 품질과 프롬프트 일관성 모두에서 가장 높은 점수를 받았습니다.
• Ablation Study:
  • 픽셀 레벨 증류 (LSR) 의 중요성: 증류 과정 없이 사후 처리 (Post-processing) 로 SR 을 적용하는 것보다 증류 과정에 통합하는 것이 화질 향상 효과가 훨씬 큽니다. UV 텍스처는 자연 이미지가 아니므로 일반적인 SR 모델로는 품질 향상이 어렵기 때문입니다.
  • 다중 참조 (Multi-ref) 의 필요성: 모든 참조 이미지를 하나로 합치는 방식보다 개별 객체별 참조 이미지를 사용하는 것이 인스턴스 간 일관성을 유지하는 데 필수적입니다.
  • 특징 레벨 마스크 (Feature-level Mask): 노이즈 레벨이 아닌 특징 (Feature) 레벨에서 마스크를 적용해야 조명 안정성과 객체 정렬이 잘 이루어집니다.

5. 의의 및 결론 (Significance)

• 실용성: 3D 실내 장면의 외관을 편집하는 데 있어 텍스트 프롬프트보다 더 직관적이고 정밀한 이미지 기반 (Image-driven) 접근법을 제공합니다.
• 고충실도 렌더링: 생성된 텍스처는 조명 조건이 다른 환경에서도 재사용 가능하도록 그림자가 고정되지 않아, VR/AR, 건축 시각화, 영화 제작 등 고품질 3D 콘텐츠 제작에 직접 활용 가능합니다.
• 한계 및 향후 작업: 현재 4K 해상도 생성에 상당한 계산 비용이 소요되며, 주로 반사율 (Albedo) 텍스처링에 집중되어 있어 법선 (Normal) 이나 거칠기 (Roughness) 맵 생성은 향후 연구 과제로 남았습니다.

요약하자면, CustomTex는 참조 이미지를 통해 3D 실내 장면의 각 객체에 대해 세밀하고 고품질의 텍스처를 생성할 수 있는 혁신적인 프레임워크로, 기존 텍스트 기반 방법의 모호성과 화질 한계를 극복했습니다.