Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization

Owner3D 기술 요약: 학습이 필요 없는 국소적 3D 스타일화를 위한 소유권 가이드 방식의 스타일 쓰기

문제 정의

국소적 3D 스타일화(Localized 3D stylization)는 나머지 표면의 기하학적 구조와 외형은 보존하면서, 3D 객체의 특정 의미론적 부분(예: 의자 시트 또는 지붕)의 외형만을 수정하는 것을 목표로 합니다. 대규모 재구성 모델(LRMs)은 희소한 이미지로부터 효율적인 피드포워드(feed-forward) 방식의 3D 자산 생성을 가능하게 하지만, 이 프레임워크 내에서 국소적 스타일화를 적용하는 데에는 세 가지 결정적인 과제가 존재합니다:

1. 스타일 누출(Style Leakage): LRM에서 스타일은 렌더링 전 중간 외형 표현(appearance representations)에 주입됩니다. 결과적으로, 최종 이미지 마스킹을 사용하더라도 타겟이 아닌 영역으로 원치 않는 스타일이 전파되는 것을 막을 수 없습니다.
2. 경계 모호성(Boundary Ambiguity): 압축된 트리플레인(triplane) 표현은 서로 다른 표면 영역 간에 외형 특징을 공유합니다. 의미론적 경계 근처에서는 타겟 부분과 비타겟 부분이 제한된 표현 용량을 두고 경쟁하게 되어, 특징 선택의 모호함이 발생합니다.
3. 불완전한 가시성(Incomplete Visibility): 가시성이 불완전할 때 텍스처 쿼리의 "소유권(ownership)"을 결정하는 것이 어려우며, 이는 텍스처 판독(readout) 과정에서 신뢰할 수 없는 특징 선택으로 이어집니다.

후기 교차 주의(late cross-attention)에 스타일 키를 주입하는 기존 방식들은 본질적으로 전역적(global)이며, 정밀한 부분 단위 제어에 어려움이 있습니다. 최적화된 장면 표현에 의존하거나 반복적인 최적화를 사용하는 다른 접근 방식들은 피드포워드 재구성의 효율성과 확장성을 갖추지 못했습니다.

방법론

Owner3D는 국소적 외형 제어를 LRM 재구성 프로세스에 직접 통합하는 학습이 필요 없는(training-free) 프레임워크입니다. 이 모델은 고정된 LRM 백본(구체적으로 InstantMesh-Large) 위에서 작동하며, 세 가지 핵심 모듈을 통해 추론 파이프라인을 수정합니다.

1. 소유권 가이드 스타일 쓰기 (Ownership-Guided Style Writing)
이 모듈은 스타일 주입을 타겟 부분과 관련된 디코더 쿼리로 제한합니다.

• 소유권 추정: 콘텐츠 전용 LRM 패스를 통해 기하학적 구조를 재구성하여 표면 소유권을 추정합니다. SAM 3를 사용하여 타겟 세그멘테이션을 수행하고 깊이 일관성 검사를 사용하여 각 3D 포인트에 대한 표면 소유권 점수를 계산합니다. 이는 트리플레인 셀에 투영되어 "쓰기 마스크($W_k$)"와 "3D 소유권 필드($M_{3D}$)"를 생성합니다.
• 게이트형 스타일 주 injection (Gated Style Injection): 마지막 6개의 외형 디코더 레이어에서, 프레임워크는 콘텐츠 상대적 스타일 잔차($\Delta = Y^s - Y^c$)를 계산하여 스타일 참조에 의해 도입된 외형 변화를 분리합니다. 이 잔차는 소유권 맵($g_i$)에 의해 게이팅된 후 은닉 상태(hidden state)에 더해집니다:
  $$H_i^{\ell+1} = \mathcal{F}_\ell(H_i^\ell + Y_i^{c,\ell} + \alpha g_i \Delta_i^{s,\ell})$$
  이를 통해 스타일이 타겟 소유 쿼리에만 기록되도록 보장하며, 별도의 전역 스타일 및 콘텐츠 표현을 유지할 필요 없이 단일한 국소 스타일 트리플레인을 생성합니다.

2. 경계 이중 슬롯 (Boundary Dual Slots)
경계 근처에서 타겟 및 비타겟 표면이 동일한 로컬 트리플레인 지원(support)을 공유함에 따라 발생하는 트리플레인 용량 문제를 해결하기 위해, Owner3D는 희소한 로컬 용량 확장을 도입합니다.

• 탐지: 트리플레인 셀의 로컬 이웃에 타겟 소유 영역과 보존 대상 영역이 모두 포함된 경계 위치를 식별합니다.
• 이중 저장: 이러한 활성 경계 위치에서 시스템은 두 개의 별도 특징 소스를 유지합니다: 로컬 스타일화된 특징을 저장하는 "스타일 슬롯(style slot)"과 원래의 재구성 특징을 저장하는 "보존 슬롯(preserve slot)"입니다. 이를 통해 공유된 트리플레인 셀이 상충하는 특징들 사이에서 절충안을 강요하는 상황을 방지합니다.

3. 표면 우선 텍스처 판독 (Surface-First Texture Readout)
렌더링 중에 프레임워크는 소유권 증거를 바탕으로 각 표면 쿼리에 대해 가장 신뢰할 수 있는 외형 특징을 계층적으로 선택합니다.

• 우선순위 로직: 시스템은 표면 소유권(가시적인 소스 뷰에서 유도됨)을 일차적인 증거로 우선시합니다. 사용 불가능할 경우 3D 소유권 필드($M_{3D}$)로 넘어가고, 마지막으로 트리플레인 쓰기 마스크를 활용합니다.
• 특징 선택: 결정된 소유권 점수와 쿼리가 경계 슬롯에 해당하는지 여부에 따라 렌더러는 적절한 특징(스타일화된 특징, 보존된 특징, 또는 모호한 구역에서의 급격한 전환을 피하기 위한 기본 특징)을 선택합니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. Owner3D 프레임워크: 피드포워드 재구성 파이프라인 내에서 제어 가능한 부분 단위 편집을 가능하게 하며, 기존 베이스라인에 비해 비타겟 누출을 크게 줄이는 학습이 필요 없는 국소적 3D 스타일화 프레임워크입니다.
2. 소유로 가이드된 스타일 쓰기: 별도의 전역 스타일 및 콘텐츠 표현을 유지할 필요 없이, LRM에서 참조 스타일 주입을 국소화하면서 단일한 국소 스타일 트리플레인을 유지하는 패러다임을 제시합니다.
3. 경계 이중 슬롯: 공유된 트리플레인 지원으로 인한 외형 모호성을 극복하여, 경계 근처의 타겟 및 비타겟 영역에 대해 독립적인 로컬 특징 표현을 가능하게 하는 메커즘입니다.
4. 표면 우선 텍스처 판독: 표면 소유권 증거를 우선시하고 가시성이 불완전한 경우 3D 및 트리플레인 단서를 점진적으로 활용하는 강력한 특징 회복 전략입니다.

실험 결과

저자들은 Google Scanned Objects (GSO) 및 PartNet에서 구축된 벤치마크를 통해 49개의 3D 객체와 16개의 스타일 참조를 대상으로 Owner3D를 평가했습니다. 이 방법은 Gaussian-splatting 기반, NeRF 기반 및 이미지 공간 스타일화 방법과 비교되었습니다.

• 성능: Owner3D는 최고의 스타일 충실도(Style Fidelity) 점수(0.1545)와 가장 낮은 누출(Leakage) 점수(0.0042)를 달성했습니다.
• 누출 감소: StyleSplat 및 LAENeRF와 비교했을 때, Owner3D는 외형 누출을 각각 86.4% 및 89.9% 감소시켰습니다.
• 효율성: 이 방법은 매우 효율적이어서 객체-스타일 쌍당 단 31.10초가 소요되며, 수 분이 걸리는 다른 3D 베이스라인들을 능가합니다.
• 소멸 연구(Ablation): 게이트 혼합(gated mixing)이나 경계 이중 슬롯과 같은 구성 요소를 제거하면 스타일 국소화가 크게 저하되고 비타겟 특징 드리프트가 증가하여, 각 모듈의 필요성을 입증했습니다.

의의 및 주장

본 논문은 Owner3D를 대규모 재구성 모델에서의 제어 가능한 외형 편집을 위한 실용적인 솔루션으로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 학습이 필요 없는 동작: LRM을 미세 조정하거나 추가적인 3D 모델을 훈련하지 않고도 고품질의 국소적 스타일화를 달 Ach성합니다.
• 소유권의 통합: 고정된 재구성 프로세스에 소유권 가이드를 성공적으로 통합하여, 기존의 전역 주입 방식에는 결여되었던 렌더링 전 스타일 쓰기 조절 능력을 구현했습니다.
• 강건성: 트리플레인 공유 및 불완전한 가시성이라는 특정 과제를 해결하여, 타겟 영역이 스타일화되는 동안에도 비타겟 영역이 보존되도록 보장합니다.

저자들은 Owner3D가 스타일 충실도, 외형 보존, 다중 뷰 일관성 사이에서 우수한 균형을 제공하며, 국소적 3D 편집을 위한 확장 가능한 경로를 제시한다고 결론짓습니다. 향후 연구로는 개선된 영역 제어 및 더 풍부한 외형 표현 탐색이 언급되었습니다.