기술 요약: CompoSE

문제 정의

고품질 3D 콘텐츠 생성 및 편집은 컴퓨터 그래픽스 분야에서 여전히 핵심적인 과제로 남아 있습니다. 최근의 생성형 AI 방법들은 고수준 입력 (텍스트, 이미지, 또는 전역 경계 상자) 으로부터 3D 형태를 합성할 수 있지만, 구성적 합성 및 편집 기능은 부족합니다. 기존 접근 방식들은 일반적으로 단일 모놀리식 객체를 통해 사용자 의도를 모델링하거나 2D 이미지 조건화에 의존하는데, 이는 부분 기하학을 얽히게 하여 국소적이고 세분화된 편집을 방해합니다. 구체적으로, 현재 방법들은 합성을 유도하기 위해 부분 분리 입력(예: 개별 객체 부분에 대한 별도의 경계 상자) 을 수용할 수 없으며, 객체의 나머지 부분의 정체성과 스타일을 유지하면서 개별 부분을 편집 (교체, 크기 조정, 삭제) 하는 것을 지원하지 않습니다. 또한, 기존 방법 중 어느 것도 부분 수준의 텍스트 프롬프트 없이 거친 레이아웃 가이드로부터 부분 의미론과 대칭성을 직접 추론하는 것을 지원하지 않습니다.

방법론: CompoSE

저자들은 거친 기하학적 원시 형태 (예: 방향이 있는 경계 상자) 와 전역 텍스트 프롬프트로부터 부분 분리 3D 객체를 합성하는 새로운 방법인 CompoSE(부분 인식 제어를 통한 3D 형태의 구성적 합성 및 편집) 를 소개합니다.

핵심 아키텍처

이 방법은 로컬 및 글로벌 처리를 교대로 수행하도록 설계된 Diffusion Transformer(DiT) 아키텍처를 활용합니다:

• 로컬 블록: 개별 원시 형태에 대한 공간 레이아웃 정보를 독립적으로 처리합니다. 이는 특정 입력 상자와 공유된 텍스트 임베딩을 조건으로 하여 각 합성된 부분의 기하학에 대한 고정밀 제어를 제공합니다.
• 글로벌 블록: 모든 부분에 걸쳐 문맥적 단서와 텍스트 정보를 집계합니다. 이는 전체 객체에 걸쳐 스타일적 일관성, 구조적 유효성, 그리고 전역 비율의 조화를 보장합니다.
• 조건부 메커니즘: 모델은 부분 수준의 기하학적 조건과 전역 텍스트 프롬프트를 융합합니다. 개별 부분에 대한 텍스트 프롬프트가 필요 없이, 전역 의미론이 부분에 어떻게 분포하고 부분들이 어떻게 상호작용하여 일관된 전체를 형성하는지 학습합니다.

표현 및 인코딩

• 3D 형태 표현: 모델은 사전 훈련된 VAE(TripoSG) 의 잠재 공간에서 작동합니다. 정답 3D 부분은 잠재 부호 거리 함수 (SDF) 표현으로 매핑됩니다.
• 입력 기하학 인코딩: 단순 MLP 를 통해 경계 상자 파라미터 (중앙, 범위, 방향) 를 인코딩하는 대신, CompoSE 는 3D 부분에 사용되는 동일한 SDF 기반 형태 인코더를 사용하여 각 입력 상자를 인코딩합니다. 점과 법선은 상자 표면에서 샘플링되어 잠재 임베딩을 생성합니다. 이는 조건부 신호 (상자) 와 대상 기하학 간의 잠재 공간 정렬을 보장하여 입력 레이아웃에 대한 준수를 크게 향상시킵니다.

편집 기능

CompoSE 는 두 가지 주요 기술을 통해 국소적이고 세분화된 편집을 가능하게 합니다:

1. 부분 잠재 고정: 일부 부분을 편집하면서 다른 부분을 보존하기 위해, 수정되지 않은 부분의 잠재 변수는 각 확산 시간 단계에서 참조 형태에서 복원하여 고정합니다. 이는 수정되지 않은 부분을 제자리에 잠가 기하학과 의미론을 유지합니다.
2. KV 재주입 (정체성 보존 크기 조정): 스타일을 보존해야 하는 기하학적 조정 (예: 크기 조정) 의 경우, 이 방법은 참조 형태에서 어텐션 키와 값을 캐시합니다. 편집 중에는 이러한 캐시된 값을 수정된 잠재에서 재계산된 값과 시간 단계 의존적으로 혼합합니다. 이는 시각적 정체성을 고정하여 기하학적 변화가 부분의 스타일이나 질감을 변경하지 않도록 보장합니다.

데이터 파이프라인

부분 분할된 형태와 해당 텍스트 - 레이아웃 쌍을 포함하는 기존 데이터셋이 없기 때문에, 저자들은 완전 자동화된 데이터 처리 파이프라인을 개발했습니다:

• 분할: 원시 3D 메시는 저수준 세그먼트로 분해된 후, 볼륨 휴리스틱에 기반하여 점진적으로 병합되어 의미론적으로 의미 있는 부분을 생성합니다.
• 레이아웃 추출: 각 부분 세그먼트에 대해 방향이 있는 경계 상자 (OBB) 가 계산됩니다.
• 캡션 생성: 비전 - 언어 모델 (InternVL3-8B) 이 렌더링된 다중 뷰 이미지에서 전역 텍스트 프롬프트를 생성하며, 색상/질감의 관련 없는 세부 사항을 피하면서 기하학과 부분 설명에 중점을 둡니다.

주요 기여

1. 최초의 부분 분리 합성: 거친 부분 레이아웃으로부터 부분 분리 3D 형태를 합성하는 최초의 방법으로, 사용자 입력 레이아웃에 대한 강력한 준수를 보장하고 개별 부분에 대한 높은 제어를 제공하는 새로운 조건부 기술을 특징으로 합니다.
2. 다용도 구성적 편집: 개별 객체 부분의 교체, 추가, 삭제, 그리고 스타일 보존 크기 조정을 포함한 일련의 편집 기능을 가능하게 합니다.
3. 자동화된 데이터 파이프라인: 수동 부분 분할 또는 부분 수준 텍스트 주석이 필요 없이 대규모 3D 형태 데이터셋으로 훈련을 가능하게 하는 완전 자동화 파이프라인입니다.

결과 및 평가

저자들은 Objaverse 데이터셋의 보이지 않는 부분 레이아웃과 프롬프트에 대해 CompoSE 를 평가했으며, Fantasia3D, Coin3D, Spice-E, SpaceControl 등의 베이스라인과 비교했습니다.

• 정량적 지표: CompoSE 는 가이드 합성에서 기존 접근 방식을 크게 능가했습니다. Ours2048 변형은 우수한 시각적 품질을 나타내는 최고의 Object-FID(12.77) 와 Part-FID(14.41) 를 달성했습니다. 또한 가장 높은 Part-IoU(0.840) 를 달성하여 입력 레이아웃과의 강력한 정렬을 입증했으며, 더 큰 모델들 사이에서 최고의 CLIP-Score(31.07) 를 기록했습니다.
• LLM 기반 평가: 레이아웃 준수, 프롬프트 준수, 품질, 기하학에 대한 판정자로 GPT-4o 를 사용한 결과, CompoSE 는 모든 축에서 평균 순위 1.69 를 달성하여 모든 베이스라인을 크게 능가했습니다.
• 편집 성능: 정체성 보존 리스케일링 작업에서 CompoSE 는 이방성 스케일링 (0.55) 과 부분 교체 (0.64) 에 비해 훨씬 높은 F-점수 ($\tau=0.05$에서 0.70) 를 달성하여 편집 중 기하학적 정체성을 유지하는 능력을 확인했습니다.
• 추론 시간: 이 방법은 부분 수 ($N_p$) 에 따라 유연하게 확장됩니다. 512 해상도에서 8 개의 부분이 있더라도 최적화 기반 베이스라인보다 빠릅니다.

중요성 및 한계

이 논문은 CompoSE 가 구성적 합성 및 편집을 가능하게 함으로써 개별 부분을 조작하면서도 전역 일관성을 유지할 수 있게 하여 전문 콘텐츠 제작의 중요한 격차를 해소한다고 주장합니다. 저자들은 부분 레이아웃과 같은 풍부한 구조화된 가이드를 생성형 AI 에 제공하는 것이 컴퓨터 그래픽스 도구상자의 표준이 될 수 있으며, 거친 프록시 메시로부터 시뮬레이션 준비 자산의 합성을 가능하게 할 수 있다고 제안합니다.

저자들이 인정하는 한계는 다음과 같습니다:

• 아티팩트: 부분 세그먼트에 대한 VAE 의 분포 외 특성으로 인해 부분 경계에서 약간의 아티팩트 (예: z-fighting) 가 발생할 수 있습니다.
• 물리적 타당성: 이 방법은 물리적 안정성 (예: 접촉 부재 또는 비대칭성) 을 보장하지 않습니다.
• 확장성: 현재 아키텍처는 글로벌 어텐션 블록의 계산 비용으로 인해 형태당 최대 8 개의 부분으로 제한됩니다.
• 사용자 입력: 사용자는 여전히 입력 경계 상자를 수동으로 정의해야 합니다. 저자들은 텍스트 - 구조 모델이 향후 이를 자동화할 수 있다고 언급합니다.