Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

기술 요약: 공간 압축을 넘어선 인터페이스 중심 생성 상태: 오픈 월드 3D 구조를 위한

문제 제기
현재 3D 생성 모델링 접근법은 대부분 토큰화를 공간 압축 작업으로 간주합니다. PolyGen, MeshGPT, BPT와 같은 방법들은 기하학을 컴팩트한 이산 시퀀스로 매핑하여 자기회귀 생성을 용이하게 합니다. 이러한 방법들은 깔끔하고 단일 구성 요소인 CAD 객체 (예: ShapeNet) 에서는 효과적이지만, 교차하는 구성 요소, 노이즈가 있는 위상, 그리고 약한 정형 구조를 특징으로 하는 오픈 월드 애셋 (예: Objaverse-LVIS) 에서는 압축 중심 토큰이 어려움을 겪습니다.

식별된 핵심 한계는 표현 불일치입니다: 압축 중심 토큰은 국소 형태, 구성 요소 정체성, 그리고 조립 관계를 수동적인 잠재 스트림에 얽매게 합니다. 결과적으로 디코딩 과정에서 이러한 중요한 변수들은 암시적이며 본질적으로 주소 지정이 불가능합니다. 이로 인해 유효하지 않은 이음새, 구성 요소 간 간섭, 그리고 자세 누출과 같은 구조적 오류가 발생합니다. 여기서 모델은 유효한 부착과 충돌 또는 관련 없는 인접 표면 사이를 구분하지 못합니다.

방법론: C2LT-3D
본 논문은 토큰화를 수동적인 압축 코드가 아닌 운영 상태의 구성으로 간주하는 인터페이스 중심 생성 상태인 **구성 요소 조건부 정형 국소 토큰 (C2LT-3D)**을 제안합니다. 이 표현은 생성 상태를 공간 압축의 특정 실패 모드를 타겟팅하는 세 가지 고유한 변수로 분해합니다:

1. 정형 국소 기하학: 자세 누출을 해결하기 위해, 이 방법은 양자화 전에 국소 표면 차트를 결정론적 정형 프레임 (회전 $R_i$, 자세 $T_i$, 크기 $s_i$) 으로 인코딩합니다. 이는 로컬 프레임을 안정화시켜 코드북이 자세 변형이 아닌 형태를 포착하도록 합니다. PointNeXt 스타일 인코더와 유한 스칼라 양자화 (FSQ) 는 정규화된 이웃을 기하학 ($t_{geo}$) 및 경계 ($t_{bnd}$) 토큰 스트림으로 매핑합니다.
2. 분할 조건부 컨텍스트: 구성 요소 간 간섭을 방지하기 위해, 모델은 비지도 거대 구성 요소 소유권을 부드러운 구조적 편향으로 주입합니다. 연결 구성 요소와 기하학적 분할을 사용하여 시스템은 분할 힌트 ($p_i$) 를 생성합니다. 컨텍스트 Transformer 는 쌍별 편향 ($b_{part}$) 을 적용하여 동일한 분할의 지지와 인접 구성 요소 간섭을 구분하고, 컨텍스트가 부여된 토큰 ($h_i$) 을 생성합니다.
3. 관계적 이음새 사전: 유효하지 않은 국소 부착을 해결하기 위해, 이음새 헤드는 인접 지지체 간의 후보 가장자리를 점수화합니다. 이 헤드는 호환성 ($\hat{C}_{ij}$), 상대 변환 정밀 ($\Delta\hat{T}_{ij}$), 그리고 충돌 위험 ($\hat{y}^{coll}_{ij}$) 세 가지 변수를 예측합니다. 이를 통해 모델은 표면 유사성만으로 유효성을 추론하는 대신, 디코딩 중에 물리적 호환성을 평가하고 변환을 정밀화할 수 있습니다.

운영 상태 및 디코딩
생성 상태는 국소 토큰, 분할 힌트, 그리고 엣지 변수를 포함하는 이산 관계 그래프 $G_{C2LT}$로 정의됩니다. 디코딩은 제약된 상태 전이의 시퀀스로 프레임됩니다:

• 객체 실현: 결정론적이고 학습되지 않은 매핑이 국소 - 전역 불일치를 해결합니다. 이는 디코딩된 점을 최종 객체 공간으로 투영하지만, 가장 가까운 구조적 지지체가 동일한 비지도 구성 요소에 속하는 경우에만 (마진 $m$으로 강제됨) 점을 유지합니다. 이는 별도의 사후 구조 복구 모듈 없이도 구성 요소 간 누출을 억제합니다.
• 잠재 수리: 이음새 사전은 조립 연산자로 작용합니다. 생성된 부착이 유효하지 않은 경우, 모델은 노출된 상태 변수를 사용하여 후보 부모를 순위 매기고 변환을 정밀화할 수 있으며, 이는 표면 재구성 전에 구조적 개입을 가능하게 합니다.

주요 기여

1. 패러다임 전환: 본 논문은 오픈 월드 3D 토큰화를 기하학, 소유권, 그리고 부착 관계를 명시적으로 분리한 운영 생성 상태의 구성으로 공식화합니다.
2. 분해된 표현: C2LT-3D 는 압축 중심 토큰의 고유한 실패 모드를 타겟팅하는 정형 기하학, 분할 컨텍스트, 관계적 이음새라는 컴팩트한 분해를 도입합니다.
3. 실행 가능한 잠재 변수: 이 방법은 이산 상태가 시맨틱 부분 주석이나 외부 언어 사전 지식 없이도 부착 검증, 잠재 수리, 그리고 제약된 디코딩을 위해 실행 가능할 수 있음을 입증합니다.
4. 평가 프로토콜: 저자들은 1,024 개의 보이지 않는 다중 구성 요소 Objaverse-LVIS 애셋에 대해 고정된 객체 평가 프로토콜을 수립하여, 표준 기하학 지표와 함께 구조 민감도 지표 (구성 요소 분리 점수, 구성 요소 간 오염률) 를 사용합니다.

결과
오픈 월드 다중 구성 요소 애셋에서 제로샷으로 평가된 결과 (ShapeNet 에서 학습됨), C2LT-3D 는 압축 중심 베이스라인 (BPT) 과 공간 전용 제거 실험 (VQ-Patch) 보다 우수한 구조적 견고성을 보여줍니다:

• 구조적 견고성: C2LT-3D 는 더 낮은 구성 요소 간 오염률 (VQ-Patch 의 0.0727 대비 0.0141) 과 더 높은 구성 요소 분리 점수 (0.9608 대비 0.9780) 를 달성하여, 명확한 구성 요소 경계의 더 나은 보존을 나타냅니다.
• 기하학적 충실도: 이는 두 베이스라인 모두보다 챔퍼 거리 (0.0268) 와 하우스도르프 거리 (0.2282) 를 개선합니다.
• 잠재 수리: 국소 기하학이 유효하지 않은 부모를 오해하게 하는 적대적 수리 작업에서, 학습된 이음새 사전은 Valid@1 이 0.6669 로, 기하학적 최근접 이웃 베이스라인 (0.1221) 과 밀집 지지 검증기 (0.2456) 를 크게 능가합니다.
• 제어된 직렬화: 고정된 경량 디코더를 통해 직렬화될 때, 전체 C2LT-3D 상태는 최고의 구조적 FID (0.2893) 와 구성 요소 교차 품질을 산출하여, 상태 변수가 컴팩트하고 제약된 디코딩과 호환됨을 확인시킵니다.

의의 및 주장
본 논문은 오픈 월드 3D 생성 표현이 재구성 충실도뿐만 아니라, 그 이산 상태가 조립 수준의 구조적 추론을 위해 실행 가능한지에 따라 평가되어야 한다고 주장합니다. 핵심 결과는 표현론적입니다: 소유권과 부착 유효성을 명시적 변수로 노출시킴으로써, C2LT-3D 는 순수하게 압축된 수동 토큰 스트림으로는 불가능한 검증, 수리, 그리고 표적 개입을 가능하게 합니다. 저자들은 이를 상태 변수의 선택이 디코딩 후 복구가 아닌 생성 과정에 내재된 구조적 연산을 결정하는 인터페이스 설계 문제로 위치시킵니다. 이 작업은 모든 메쉬 생성기를 대체한다고 주장하는 것이 아니라, 복잡하고 오픈된 환경에서 구조적 추론을 지원하는 표현을 위한 기반을 제공한다고 주장합니다.