🤖 AI

Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment

Native3D는 통합된 메시-텍스처 결합 표현을 활용하고 새로운 3D 표현 정렬 손실(3D Representation Alignment Loss)을 통해 우수한 기하학적 및 질감 충실도를 달agi 위해 2D 중간 단계를 건너뛰는 최초의 엔드 투 엔드 3D 장면 생성 프레임워크를 도입합니다.

원저자: Yibo Liu, Ziwei Zhang, Haozhou Pang, Menghao Li, Lanshan He, Gan Qi

게시일 2026-06-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yibo Liu, Ziwei Zhang, Haozhou Pang, Menghao Li, Lanshan He, Gan Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거실을 새로 디자인하고 싶다고 상상해 보세요. 과거에는 컴퓨터에 "소파를 옮겨줘"라거나 "만화 스타일의 벽을 추가해줘"라고 요청하면, 컴퓨터는 아주 까다로운 번역 게임을 수행해야 했습니다. 먼저 사용자의 요청을 2D(평면 그림처럼)로 이해하려고 시도한 다음, 그 평면 이미지를 3D 공간으로 늘리고 뒤트는 과정을 거쳐야 했기 때문입니다. 이는 마치 종이에 집을 먼저 그린 다음, 그 종이를 입체적인 3D 모양으로 툭 튀어나오게 만들려고 애쓰는 것과 같습니다. 이 과정에서 종이의 벽이 뒤틀리거나, 가구가 흐릿하게 보이거나, 컴퓨터가 3D의 규칙을 놓치는 바람에 소파가 공중에 둥둥 떠 있는 현상이 자주 발생하곤 했습니다.

Native3D는 이러한 "평면 종이" 단계를 완전히 건너뛰는 새로운 도구입니다. 2D 이미지를 3D로 변환하는 대신, 형태와 질감을 동시에 이해하며 바닥부터 직접 3D 공간을 구축합니다.

다음은 이 기술이 어떻게 작동하는지, 그리고 왜 다른 방식과 다른지에 대한 간단한 설명입니다.

1. "통합 설계도" (메쉬-텍스처 결합 모델링)

전통적인 3D 모델링은 집을 지을 때 먼저 나무 골조(기하학적 구조/메쉬)를 세운 다음, 별도로 도배사를 불러 벽지를 붙이는 것과 같습니다. 만약 골조가 조금이라도 움직이면 벽지가 찢어지거나 어색해 보일 수 있습니다.

Native3D는 골조와 벽지를 하나의 분리할 수 없는 단위로 취급합니다. 이 시스템은 방의 형태와 벽의 색상/패턴을 동시에 파악하는 특별한 "두뇌"(트랜스포머)를 사용합니다. 이를 통해 벽을 움직일 때 벽지가 완벽하게 함께 늘어나도록 보장하며, 새로운 의자를 추가할 때 처음부터 올바른 질감을 가진 채 공간에 딱 들어맞게 합니다.

2. "직접 번역기" (2D 우회 없음)

대부분의 다른 AI 도구들은 2D 그림을 그리는 데 전문가인 '사전 학습된 화가'들을 활용하려고 합니다. 3D 공간을 만들기 위해 이 도구들은 3D 데이터를 2D 그림처럼 보이게 강제하고, 그 위에 화가가 그림을 그리게 한 뒤, 다시 3D로 되돌리려 노력합니다. 이는 마치 3D 조각상을 2D 화가에게 설명하고 그 화가가 깊이감을 제대로 이해하기를 바라는 것과 같습니다. 이 과정에서 3D 구조가 왜곡되거나 디테일이 뭉개지는 "도메인 격차(domain gap)" 문제가 자주 발생합니다.

Native3D는 "3D"를 모국어로 구사합니다. 화가의 도움을 받기 위해 데이터를 2D 형태로 강제하지 않습니다. 대신, 3D 형태를 직접 생성하도록 학습된 강력한 엔진(디퓨전 트랜스포머라고 불림)을 사용합니다. 이는 평면 캔버스에 그림을 그리는 법만 아는 화가가 아니라, 3D 공간을 직관적으로 이해하는 건축가를 고용하는 것과 같습니다.

3. "품질 관리 검사관" (3D REPA Loss)

훌륭한 건축가가 있더라도 때로는 디테일이 흐릿해질 수 있습니다. 이를 해결하기 위해 저자들은 3D REPA Loss라고 불리는 특별한 "품질 관리 검사관"을 추가했습니다.

레고 세트를 조립한다고 상상해 보세요. 여러분에게는 최종 완성 사진(목표)과 지금 만들고 있는 부품들이 있습니다. 검사관은 완성된 레고 집을 보고 목표 사진과 비교하는데, 이때 두 가지를 동시에 체크합니다.

전체적인 모습: 방 전체가 제대로 보이는가?
미세한 디테일: 특정 의자의 질감이 선명하고 정확한가?

만약 컴퓨터가 의자를 덩어리처럼 뭉툭하게 만들려고 하면, 검사관은 "아니, 이건 실제 의자의 질감과 맞지 않아"라고 말하며 AI가 이를 수정하도록 유도합니다. 이를 통해 최종 결과물이 단순히 막연한 형태에 그치지 않고, 선명하고 고품질의 디테일을 갖추도록 보장합니다.

무엇을 할 수 있나요?

논문에 따르면 이 시스템은 간단한 텍스트 명령을 바탕으로 네 가지 주요 작업을 수행할 수 있습니다.

추가 (Add): "구석에 소파를 놓아줘." (AI는 구석이 어디인지, 소파가 3D로 어떻게 생겼는지 정확히 압니다).
이동 (Move): "침대를 반대편으로 옮겨줘." (AI는 바닥이나 벽을 망가뜨리지 않고 침대를 이동시킵니다).
제거 (Remove): "테이블을 치워줘." (AI는 테이블을 제거하고 그 자리에 있던 바닥을 자연스럽게 채워 넣습니다).
스타일 변경 (Style): "방 전체를 만화처럼 만들어줘." (AI는 방의 구조를 유지하면서 모든 사물의 질감과 색상을 변경합니다).

핵심 요약

저자들은 Native3D를 다른 방법들과 비교 테스트하였으며, Native3D가 더 깨끗하고 일관된 3D 공간을 생성한다는 것을 발견했습니다. 2D 도구를 3D 작업에 억지로 적용할 때 발생하는 "글리치(glitchy)" 현상(예: 물체가 공중에 떠 있거나 벽이 뒤틀리는 현상)을 겪지 않습니다.

요약하자면, Native3D는 물리 법칙과 디자인 원리를 본래부터 이해하고 있는 숙련된 건축가와 같습니다. 덕 여러분이 단순히 "이 방을 이렇게 만들어줘"라고 말하기만 해도, 컴퓨터가 평면적인 아이디어를 3D 현실로 바꾸기 위해 추측할 필요 없이, 구조적으로 견고하고 시각적으로 선명한 결과를 얻을 수 있습니다.

기술 요약: Native3D

문제 정의

고품질 3D 실내 장면의 자동 생성 및 편집은 전문 지식, 고가의 소프트웨어, 긴 제작 시간 등을 포함한 전통적인 워크플로우의 장벽에 직면해 있습니다. 딥 생성 모델이 이 분야을 발전시켰음에도 불구하고, 기존 방식들은 2D와 3D 표현 사이의 근본적인 **도메인 격차(domain gap)**로 인해 어려움을 겪고 있습니다.

현재의 방법들은 일반적으로 두 가지 패러다임으로 나뉘며, 두 방식 모두 결정적인 한계를 가지고 있습니다:

순수 2D 접근 방식: 이를 2D 픽셀 공간의 문제로 취급합니다. 명시적인 3D 기하학적 제약이 부족하여, 다른 각도에서 볼 때 시점 간 불일치, 블러링 아티팩트, 눈에 띄는 이음새가 발생합니다. 이들은 3D 구조, 깊이 또는 공간적 위상에 대해 본질적으로 추론할 수 없습니다.
하이브리드 2D-3D 접근 방식: 2D 확산 모델을 사용하여 편집한 후 3D 기하 구조(예: NeRF 또는 3D Gaussian Splatting을 통해)를 재구성합니다. 이 방식은 2D 편집과 3D 재구성 사이의 일관성 전파에 어려움을 겪으며, 종종 2D 사전 지식(prior)과 3D 요구 사항 사이의 내재적 불일치로 인해 미세한 정렬 오류, 느린 수렴, 기하학적 왜곡을 초래합니다.

핵심 과제는 2D 중간 표현에 대한 의존성을 배제하면서도 계산적 실용성과 편집의 다재다능함을 해치지 않고 **강력한 다시점 일관성(multi-view consistency)**과 **기하학적 충실도(geometric fidelity)**를 달est하는 것이며, 이는 현재 2D 중간 표현에 대한 의존성으로 인해 저해되고 있습니다.

방법론: Native3D

저자들은 2D 중간 표현을 완전히 우회하도록 설계된 최초의 엔드 투 엔드 3D 네이티브 생성 프레임워크인 Native3D를 제안합니다. 이 방법은 3D 메쉬 기하 구조와 텍스처 정보 상에서 직접 작동합니다.

1. 통합 메쉬-텍스처 결합 표현 (Unified Mesh-Texture Joint Representation)

기하 구조와 외형 사이의 단절을 해결하기 위해, Native3D는 두 가지를 동시에 모델링하는 통합 표현을 도입합니다:

입력: 3D 장면 $S$ 는 장면 내 모든 $N$ 개 객체의 메쉬 그리드( $M_i$ )와 텍스처 특징( $T_i$ )의 합집합으로 표현됩니다.
인코더: 트랜스포머(Transformer) 아키텍처를 기반으로 하는 계층적 특징 인코더를 사용합니다. 개별 객체의 메쉬와 텍스처를 처리하기 위해 사전 학습된 HunYuan3dShapeVAE에서 변형된 로컬 인코더를 사용하며, 이어서 self-attention을 사용하여 객체 간 관계를 모델링하고 글로벌 장면 특징을 집계하는 어댑터 네트워크($Adpt$)를 사용합니다.
출력: 이 결합된 표현은 글로벌 시맨틱 정보, 로컬 기하학적 세부 사항 및 정밀한 공간적 위치를 포착합니다.

2. 3D 확산 프로세스 (3D Diffusion Process)

생성 핵심은 **확산 트랜스포머(Diffusion Transformer, DiT)**를 활용합니다:

아키텍처: 시스템은 HunYuanDiT를 백본으로 채택하고 **플로우 매칭(Flow Matching)**을 샘플러로 사용합니다.
프로세스: 확산 프로세스는 고수준의 3D 특징 공간에서 직접 수행됩니다. 이를 통해 2D-3D 교차 도메인 변환으로 인한 정보 손실을 제거합니다.
컨디셔닝(Conditioning): 자연어 설명은 조건부 제어 신호 역할을 하여, 사용자가 umT5 인코더에 의해 생성된 텍스트 임베딩을 통해 복잡한 작업(예: "소파 추가", "침대 제거", "카툰 스타일 적용")을 지정할 수 있게 합니다.
디코딩: 특별히 설계된 디코더는 DiT 모듈의 출력을 표준 3D 메쉬 및 텍스처 표현으로 재구성합니다.

3. 3D REPA 손실 (3D REPA Loss, Representation Alignment)

로컬 디테일의 충실도를 높이고 시맨틱 일관성을 보장하기 위해, 저자들은 **3D 표현 정렬 손실(3D REPA Loss)**을 제안합니다:

메커니즘: 이 손실은 개선된 대조 학습(contrastive learning) 메커니즘을 사용합니다. 프리징된(frozen) Direct3D 인코더를 사용하여 생성된 결과물과 실제 데이터(ground truth) 샘플 모두에서 다단계 시맨틱 표현을 추출합니다.
- 생성된 모델의 경우, 글로벌 장면 특징을 추출합니다.
- 실제 데이터의 경우, 장면 수준의 글로벌 특징과 객체 수준의 로컬 특징을 모두 추출합니다.
정렬: 이 손로스(loss)는 수정된 InfoNCE 손실을 사용하여 잠재 공간(latent space)에서 이러한 다중 스케일 표현을 정렬합니다. 이는 모델이 개별 객체 특징의 변별력을 유지하면서 장면 수준에서의 시맨틱 일관성을 확보하도록 유도합니다.
정규화: 분포 불일치로 인한 학습 불안정성을 완화하기 위해, 전체 최적화 목적 함수에 잠재 공간 정규화 항( $\ell_2$ -norm 제약)이 추가됩니다.

주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

Native3D 프레임워크: 아키텍처 수준에서 도메인 격차 문제를 제거하기 위해 2D 중간 표현을 완전히 우회하는 최초의 엔드 투 엔드 3D 생성 프레임워크입니다.
통합 특징 표현: 메쉬 기하 구조와 텍스처 외형을 결격 모델링하는 새로운 결합 메커니즘을 통해, 단일 3D 네이티브 파이프라인 내에서 글로벌 레이아웃과 로컬 디테일을 동시에 포착할 수 있게 합니다.
3D REPA Loss: 다단계 시맨틱 표현을 정렬하여 기하학적 및 텍스처 충실도를 크게 향상시키고, 모델이 글로벌 일관성을 유지하면서 디테일을 정확하게 복원하도록 가이드하는 새로운 손실 함수입니다.

실험 결과

저자들은 **추가(Add), 제거(Remove), 이동(Move), 스타일 변경(Style)**의 네 가지 카테고리에 걸친 편집 지침을 포함하는 9,001개의 방 쌍(3D-FRONT에서 유도됨) 데이터셋을 통해 Native3D를 평가했습니다.

정량적 성능

전반적인 품질: Native3D는 비교 대상 방법들(Text2tex, SceneTex, RoomTex, RoomPainter) 중 가장 높은 CLIP 점수(CS) (32.1)를 기록하여, 우수한 시맨틱 이해도와 텍스트 프롬프트와의 정렬을 입증했습니다. 또한 평균 순위(1.6)에서도 가장 높은 성적을 거두었습니다.
편집 능력: 구조적 편집 작업(지시 준수, 편집 품질, 디테일 보존 측정)을 평가하는 ImgEdit-Bench 평가에서 Native3D는 다음과 같이 최첨단(SOTA) 성능을 달성했습니다:
- 추가(Add): 4.01 (차순위 모델 2.87 대비)
- 제거(Remove): 4.14 (2.99 대비)
- 이동(Move): 2.61 (2.24 대비)
- 스타일(Style): 3.63 (RoomTex가 4.14로 더 높았으나 경쟁력 있는 수치임)
절제 연구(Ablation Studies): 3D 특징 정렬 또는 3D REPA Loss를 제거하면 성능이 크게 떨어지고 시각적 아티팩트(예: 객체 침투, 지시 불이행)가 발생하는 것을 확인하여, 이러한 구성 요소들의 필요성을 검증했습니다.

정성적 관찰

시각적 결과는 다음과 같은 모델의 능력을 보여주었습니다:

대상 객체를 깔끔하게 제거하면서 하부 표면을 재구성함.
적절한 공간 관계와 조명 일관성을 유지하며 객체를 재배치함.
근본적인 레이아웃과 기하 구조를 유지하면서 텍스처와 재질을 변경하는 스타일 전이를 적용함.

의의 및 주장

본 논문은 Native3D를 2D 사전 지식과 3D 생성 사이의 도메인 격차를 메우는 혁신적인 솔루션으로 규정합니다. 3D에서 네이티브하게 작동함으로써 이 방법은 다음을 제공합니다:

강력한 다시점 일관성: 2D 기반 방법에서 흔히 나타나는 시점 간 불일치와 아티팩트를 제거합니다.
기하학적 및 텍스처 충실도: 통합 메쉬-텍스처 모델링과 3D REPA Loss를 통해 구조적 무결성과 미세한 디테일을 보존합니다.
다재다능한 편집: 복잡한 장면 수정(추가, 제거, 재배치 및 스타일화)을 위한 직관적이고 자연어 기반의 제어를 가능하게 합니다.

저자들은 이 방법이 구조적 및 시맨틱 정확도 면에서는 뛰어나지만, 특히 조명 및 카메라 파라미터와 관련하여 포토리얼리스틱 렌더링 및 도메인 일반화 측면에서 개선의 여지가 남아 있다고 결론지었습니다. 그럼에도 불구하고, 이 프레임워크는 인테리어 디자인, 가상 현실 콘텐츠 제작 및 전문 3D 디자인 워크플로우를 위한 유망한 방향을 제시합니다.