기술 요약: Arbor: 제어 가능한 3D 에셋 생성을 위한 명시적 기하학적 조건화 (Explicit Geometric Conditioning)

문제 정의

현재의 텍스트 및 이미지 조건부 3D 생성 방식은 설득력 있는 에셋을 만들어내지만, 객체가 점유해야 할 특정 공간 영역, 피해야 할 영역, 또는 접촉해야 할 영역을 직접적으로 제어하는 기능이 부족합니다. 전문적인 워크플로우(예: 게임 제작)에서 아티스트들은 생성이 시작되기 전부터 의자의 좌석 영역(seating envelope), 움직임을 위한 여유 공간(clearance), 또는 접촉면을 노출해야 하는 부품과 같은 구체적인 공간 요구 사항을 알고 있는 경우가 많습니다. 그러나 프롬프트와 이미지는 이러한 제약 조건을 전달하기에 부적절하며, 이로 인해 아티스트가 수많은 프롬프트를 반복 시도하고 수동으로 정밀 작업을 수행해야 하는 "슬롯머신(slot machine)" 방식의 워크플로우를 초래합니다. 기존의 3D 제어 방법들은 주로 기존 에셋을 편집하거나, 부분적인 기하 구조를 완성하거나, 샘플링 시점에 추론을 유도하는 데 집중되어 있으며, 전체 객체를 생성하는 과정에서 밀집되고 유형화된 국소 기하학적 요구 사항(hull, avoidance, touch)을 지정할 수 있는 네이티브 인터페이스를 제공하지 않습니다.

방법론

Arbor는 텍스트 조건부 잠재 3D 생성에 결합되는 학습 가능한 어태치먼트(attachment)를 도입하여, 명시적인 제약 메쉬를 네이티브 제어 신호로 변환합니다. 이 시스템은 동결된(frozen) 텍크스트 조건부 백본(구체적으로 생성용 TRELLIS 1과 인코딩용 TRELLIS 2를 사용하는 TRELLIS 패밀리) 상에서 작동하며, 백본의 가중치를 수정하지 않고 기하학적 제약을 주입합니다.

1. 제약 표현 (Constraint Representation)

Arbor는 사용자가 3D 메쉬로 지정하는 세 가지 유형의 공간 제약을 정의합니다:

• Hull Regions (외곽 영역): 생성된 기하 구조가 반드시 존재해야 하는 볼륨 (예: 좌석).
• Avoidance Regions (회피 영역): 비어 있어야 하는 볼륨 (예: 여유 공간).
• Touch Regions (접촉 영역): 객체가 과도하게 벗어나지 않으면서 반드시 접촉해야 하는 표면 (예: 지면과 만나는 다리).

2. 인코딩 파이프라인 (Encoding Pipeline)

이 밀집된 메쉬를 생성기의 압축된 잠재 공간(latent space)에 통합하기 위해:

• 인코더 재용도 설정 (Encoder Repurposing): Arbor는 TRELLIS 2(T2)의 동결된 인코더 스택을 활용합니다. T2는 이미지 조건부 생성을 위해 설계되었으나, Arbor는 이를 제약 메쉬를 처리하도록 재용도 설정합니다.
• 신호 주입 (Signal Injection): 제약 메쉬는 정렬된 형상 및 재질 필드를 복셀 그리드 상의 형태로 변환됩니다. 결정적으로, 보조 속성 채널(원래 재질 파라미터를 위한 것)은 표면 법선(surface normals)과 함께 제약 유형(hull, avoid, touch)을 나타내는 이진 플래그를 인코딩하도록 재용도 설정됩니다.
• 토큰 생성 (Token Generation): 동결된 T2 인코더는 이러한 필드를 압축되고 희소한(sparse) 32차원 토큰으로 매핑합니다. 이 토큰들은 T1 생성기의 너비에 맞게 투영되며, 학습된 3D 위치 임베딩(positional embeddings)과 함께 증강됩니다.

3. 기하 라우터 및 어댑터 (Geometry Router and Adapter)

핵심 과제는 밀집된 제약 토큰을 생성기의 희소한 잠재 구조에 효율적으로 주입하는 것입니다. Arbor는 **기하 라우터(Geometry Router)**와 **잔차 어댑터(Residual Adapter)**를 통해 이를 해결합니다.

• 라우팅 (Routing): 생성기의 잠재 쿼리 격자(16³ 그리드)를 그룹으로 분할합니다. 각 그룹에 대해, 라우터는 공간적 근접성(앵커 포인트를 사용한 Top-K 선택)을 기반으로 가장 관련성이 높은 로컬 제약 토큰을 선택하고, 학습된 글로벌 요약 토큰(global summary tokens) 세트를 추가합니다. 이를 통해 각 잠재 영역은 자신의 공간적 위치와 관련된 제약 증거만을 받게 됩니다.
• 어댑터 주입 (Adapter Injection): 경량 잔차 브랜치(residual branch)가 동결된 생성기의 각 트랜스포머 블록(텍스트 크로스 어텐션 이후, 피드 포워드 네트워크 이전)에 삽입됩니다. 이 어댑터는 텍스트 조건부 은닉 상태와 라우팅된 기하 컨텍스트 사이의 크로스 어텐션을 수행하여, 제약 신호를 잔차 업데이트로서 주입합니다.
• 학습 (Training): 어댑터, 라우터, 투영 레이어 및 요약 모듈만 학습됩니다. 백본(T1)과 인코더(T2)는 동결된 상태를 유지합니다. 모델은 백본의 표준 플로우 매칭(flow-matching) 목적 함수를 사용하여 최적화되며, 기본 학습 설정에서 명시적인 제약 준수 손실(constraint compliance losses)은 사용되지 않습니다.

주요 기여 (Key Contributions)

1. 명시적 기하 제어 인터페이스: 유형화된 영역(hull, touch, avoidance)을 직접 3D 메쉬로 지정할 수 있는 통합 시스템을 제공하여, 아티스트가 생성 과정을 공동 저작(co-author)할 수 있게 합니다.
2. 조건으로서의 인코딩된 기하 구조: 동결된 기하 인코더를 재용도 설정하여 제약 메쉬와 유형화된 신호를 로컬 구조를 보존하면서 모델의 입력 역할을 하는 압축된 잠재 토큰으로 변환할 수 있음을 입증했습니다.
3. 기하 라우터 및 어댑터: 로컬 제약 증거를 특정 잠재 영역에 할당하고, 라우팅된 잔차 브랜치를 통해 이 증거를 동결된 3D 생성기에 주입함으로써, 생성기의 다양성을 해치지 않으면서 밀집된 기하 제어를 가능하게 하는 새로운 아키텍처를 제안했습니다.

평가 및 결과

저자들은 절차적 생성(자동) 및 수동 작성(수동) 제약 벤치마크를 모두 사용하여 Toys4K 데이터셋에서 Arbor를 평가했습니다.

• 제약 준수 (Constraint Adherence): Arbor는 Hull, Avoidance, Touch 제약을 준수하는 데 있어 베이스라인(기본 TRELLIS 모델, Gradient 및 SpaceControl과 같은 샘플링 시점 조향 방법, Spice-E와 같은 완성 기반 방법 포함)보다 성능이 월등히 뛰어납니다.
• 사용자 선호도 (User Preference): 쌍체 비교 사용자 연구(27명의 참가자, 404회의 시행)에서 Arbor 변형 모델들은 기본 TRELLIS 모델 및 기타 베이스라인보다 선호되었습니다. 표준 Arbor 모델은 비교의 45.9%에서 승리했으며, 모든 Arbor 변형을 합쳤을 때는 59.2%까지 상승했습니다.
• 품질 및 다양성 (Quality and Variation): 샘플링 시점의 조향 방법들이 종종 기하학적 품질을 저하시키거나 형태를 붕괴시키는 것과 달리, Arbor는 읽기 가능한 객체 구조를 유지하며 기본 사전 확률(prior)의 생성적 다양성을 보존합니다.
• 지표 (Metrics): Arbor는 높은 "Control Score"(제약 준수, 볼륨 일치, 시각적 유사성의 조화 평균)를 달려, 과도하게 채우거나 프롬프트의 의미적 의도를 잃지 않으면서도 제약을 만족할 수 있음을 보여주었습니다.
• 어블레이션 (Ablations): 실험을 통해 로컬 라우팅이 제약 준수의 주요 메커니즘임을 확인했습니다(글로벌 요약 없이도 IoU의 84.3%를 유지). 또한 글로벌 요약은 객체 수준의 컨텍스트를 제공하는 데 필요했습니다. 신호 스트림(유형화된 플래그) 역시 핵심적인 것으로 나타났으며, 이를 제거했을 때 성능이 크게 하락했습니다.

의의 및 주장

이 논문은 Arbor가 3D 에셋 생성에서 누락된 인터페이스를 제공하며, 생성기의 형상 생성 다양성을 방해하지 않고도 명시적인 볼륨 제어를 가능하게 한다고 주장합니다. 제약을 단순한 타겟 증거(target evidence)나 글로벌 사전 확률(global priors)이 아닌, 유형화된 로컬 요구 사항으로 취급함으로써, Arbor는 아티스트가 특정 공간적 동작(예: "움직임을 위한 공간 확보" 또는 "접촉면 노출")을 직접 정의할 수 있게 합니다.

저자들은 Arbor를 3D 에셋 생성을 실제 제작 환경에서 더욱 신뢰할 수 있게 만드는 단계로 규정합니다. 애니메이션과 상호작용에는 정확한 상호작용 표면이 필요하기 때문입니다. 현재 시스템은 희소 구조(sparse structure) 단계에서는 성공적으로 가이드하지만, 이후의 정밀화 단계(표면 디테일 및 재질)를 제어하거나 제약과 프롬프트 간의 의미적 충돌(예: 특정 볼륨이 기능적으로 "좌석"이어야 함을 보장하는 것)을 완전히 해결하지는 못한다고 언급했습니다. 이 연구는 더 풍부한 파트 레이블(part labels)을 도입하고, 라우팅된 어태치먼트를 이후의 생성 단계로 확장하는 것을 향후 연구 방향으로 제시합니다.