기술 요약: SplatPainter

문제 정의

3D 가우시안 스플래팅(3DGS)이 사실적인 3D 에셋 제작에 혁신을 가져왔지만, 대화형 외관 정밀화 및 편집(interactive appearance refinement and editing) 측면에서는 여전히 결정적인 공백이 존재합니다. 기존의 워크플로우는 다음과 같은 세 가지 주요 과제에 직면해 있습니다:

1. 정체성 보존(Identity Preservation): 현재의 방식들은 편집을 적용할 때 원본 에셋의 정체성과 복잡한 구조적 세부 사항을 유지하는 데 실패하는 경우가 많으며, 이는 "정체성 드리프트(identity drift)"나 의도치 않은 전역적 변화로 이어집니다.
2. 정밀도 및 제어력(Precision and Control): 중간 다중 뷰 생성이나 확산 모델(diffusion models)에 의존하는 접근 방식은 "공간적 편집 누출(spatial edit leakage)" 문제를 겪기 쉽습니다. 즉, 국소적 편집이 의도하지 않은 영역까지 번지거나, 재구성된 결과물이 흐릿하여 사용자의 특정 의도를 반영하지 못하는 경우가 발생합니다.
3. 지연 시간(Latency): 반복적인 확산 샘플링이나 장면별 최적화에 기반한 최첨단 방식들은 속도가 매우 느려(종종 수백 초 소요), 실시간 상호작용에 필요한 유동적인 창작 과정을 저해합니다.

따라서 익숙한 2D 도구를 사용하여 정밀하고 미세한 조정을 수행하면서도, 원래의 3D 구조를 엄격하게 보존하고 상호작용 가능한 속도로 작동하는 프레임워크가 필요합니다.

방법론

SplatPainter는 3DGS 에셋의 연속적이고 고충실도인 편집을 위해 설계된 상태 인식 피드포워드(state-aware feedforward) 프레임워크입니다. 이 방식은 파괴적인 다중 뷰 재생성이나 장면별 최적화를 거칠 필요 없이, 2D 이미지 공간의 편집으로부터 가우시안 속성의 업데이트를 직접 예측함으로써 이를 우회합니다. 파이프라인은 두 가지 주요 단계로 구성됩니다:

1. 압축적이고 특징이 풍부한 3DGS 표현 (단계 I)

효율적인 편집을 가능하게 하기 위해, 이 방법은 먼저 입력된 3DGS 에셋을 압축되고 구조화된 잠재 표현(latent representation)으로 변환합니다:

• 가우시안 LRM 초기화: 입력된 3DGS를 정준 뷰(canonical viewpoints)에서 렌더링하고 가우시안 대규모 재구성 모델(Gaussian LRM)을 통해 처리하여, 밀도가 높고 특징이 풍부한 가우시안 클라우드를 생성합니다.
• 복셀화(Voxelization): 밀집된 가우시안 클라우드를 인접한 가우시안들을 국소 복셀 셀로 그룹화하여 규칙적인 잠재 그리드로 재구성합니다.
• 국소 복셀 트랜스포머(Local Voxel Transformer): 트랜스포머 기반 모듈이 각 복셀 내의 정보를 압축합니다. 이 모듈은 셀프 어텐션(self-attention)을 통해 복셀 내부 관계를 집계한 후, 불투명도(opacity)를 기준으로 가장 중요한 상위 $K$개의 가우시안을 선택하여 크로스 어텐션 메커니즘의 쿼리로 활용함으로써 정보를 추출합니다. 그 결과, 글로벌 컨텍스트를 유지하면서도 메모리 오버헤드를 줄인 압축되고 구조화된 복셀 잠재값 세트가 생성됩니다.

2. 테스트 타임 트레이닝(TTT)을 통한 정밀화 (단계 II)

상호작용형 편집을 위한 핵심 혁신은 모델을 상태 인식(state-aware)하게 만드는 **테스트 타임 트레이닝(TTT)**의 사용입니다:

• 빠른 가중치 vs 느린 가중치(Fast vs. Slow Weights): 정밀화 네트워크는 "느린 가중치"(고정된 백본)와 "빠른 가중치"(적응 가능한 매핑 네트워크)를 포함하는 트랜스포머 블록으로 구성됩니다.
• 적응 메커니즘: 사용자가 새로운 2D 편집(예: 확대된 뷰 또는 페인트 스트로크)을 제공하면, 모델은 새로운 입력 토큰을 사용하여 자기 지도 학습 손실(self-supervised loss)에 대한 단일 단계의 경사 하강법을 수행하여 빠른 가중치를 업데이트합니다.
• 반복 적용: 적응이 완료되면, 업데이트된 빠른 가중치는 이미지 토큰과 3D 복셀 잠재값 모두에 병렬로 적용됩니다. 이를 통해 네트워크는 원본 에셋의 지식을 덮어쓰지 않으면서 실시간으로 새로운 외관 정보를 통합할 수 있습니다.
• 국소적 vs 전역적 업데이트:
  • 국소적 편집(Local Edits): 레이 트레이싱(Ray tracing)을 통해 편집된 뷰에 해당하는 가시적인 복셀을 식별합니다. 업데이트는 이 복셀들에만 적용되며, 토큰 세트가 확장되어 미세한 구조를 도입합니다.
  • 전역적 편집(Global Edits): 업데이트된 빠른 가중치가 모든 가우시안 토큰에 적용되어, 기하학적 구조를 보존하면서도 일관된 전역적 변화(예: 재조명)를 가능하게 합니다.

주요 기여

1. 새로운 피드포워드 편집 프레임워크: SplatPainter는 상호작용형 3DGS 편집을 위한 상태 인식 피드포워드 모델을 도입합니다. TTT를 활용하여 파괴적인 재생성 없이 2D 편집을 반복적으로 통합하여 가우시안 속성을 직접 업데이트합니다.
2. 다양한 응용 분야: 통합된 아키텍처는 다음과 같은 다양한 작업을 지원합니다:
   • 고충실도 국소 디테일 정밀화: 희소하거나 확대된 뷰로부터 누락된 세부 사항을 복구합니다.
   • 상호작용형 창의적 편집: 사용자의 페인트 오버(paint-overs), 그래피티 또는 생성적 편집(예: Nano Banana 활용)을 통합하면서 에셋의 정체성을 엄격하게 보존합니다.
   • 일관된 전역 재조명(Global Relighting): 소수의 재조명 뷰를 바탕으로 전체 장면에 걸쳐 조명 변화를 전파합니다.
3. 상호작용 가능한 속도의 최첨단 성능: 광범위한 실험을 통해 SplatPainter가 시각적 품질과 속도 모두에서 기존 방식보다 크게 뛰어남을 입증했습니다. 최적화 기반 베이스라인이 수백 초가 걸리는 데 반해, Splat-Painter는 약 0.3초의 국소 편집 시간을 기록하며 상호작용 가능한 속도로 작동합니다.

실험 결과

저자들은 Objaverse 및 TexVerse 데이터셋을 사용하여 세 가지 주요 작업에 대해 SplatPainter를 평가했습니다:

• 국소 정밀화(Local Refinement): 본 방법은 직접 재구성(GS-LRM), 피드포워드 밀집화(GenDen), 최적화 기반 접근 방식(3DGS, SRGS)보다 우수한 PSNR, SSIM, LPIPS 점수를 달성했습니다. 결정적으로, 최적화 방식이 300~500초가 소요되는 데 반해, 본 방법은 편집당 약 0.3초 만에 이 품질을 달성했습니다.
• 창의적 편집(Creative Editing): VoxHammer 및 VineDresser3D와의 비교에서 SplatPainter는 훨씬 더 나은 정체성 보존 능력을 보여주었습니다. 베이스라인 방식들은 "공간적 누출"과 전역적 정체성 드리프트(예: 특정 영역을 편집할 때 얼굴 구조가 왜곡됨)를 보였으나, SplatPainter는 편집되지 않은 영역을 원본과 비트 단위로 동일하게 유지했습니다. 편집되지 않은 영역에 대한 정량적 지표에서 SplantPainter는 VoxHammer의 13.86 대비 33.02의 PSNR을 기록했습니다.
• 전역 재조명(Global Relighting): 본 방법은 재구성 정확도(4개 뷰 사용 시 PSNR 25.03, ReLitLRM은 21.68)에서 ReLitLRM과 3DGS 최적화를 능가했으며, 색조 불일치 없이 더 일관된 쉐이딩을 생성했습니다.
• 절제 연구(Ablation Studies): 2단계 파이프라인이 검증되었습니다. 1단계는 최소한의 품질 손실로 공격적인 압축(가우시안 수를 약 70% 감소)을 달성하며, 2단계는 디테일을 효과적으로 정밀화함을 보여주었습니다. 또한 TTT 업데이트 메커니즘이 일관성을 유지하는 데 있어 표준 크로스 어텐션 베이스라인보다 우수함이 입증되었습니다.

의의 및 주장

본 논문은 SplatPainter가 비파괴적이고, 빠르며, 정밀한 대안을 제공함으로써 현재의 3D 편집 워크플로우의 근본적인 한계를 해결한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 격차 해소: 예술가가 직관적인 2D 도구를 사용하여 3D 에셋을 정밀하게 다듬을 수 있는 유동적인 실시간 창작 워크플로우를 가능하게 하며, 이는 기존 3DGS 생태계에서 결여되었던 기능입니다.
• 에셋 정체성 보존: 상태 인식 적응을 통해 가우시안 표현에 직접 작용함으로써, 생성형 및 최적화 기반 방식에서 흔히 발생하는 "정체성 드리프트" 문제를 해결합니다.
• 확장성: 피드포워드 방식 덕분에 즉각적인 피드백이 가능하여, 게임에서 이커머스에 이르는 산업 분야에서 실시간 3D 콘텐츠 제작을 실현하기 위한 실질적인 솔루션이 됩니다.

저자들은 현재의 설계가 외관 업데이트에 집중하고 있으며 새로운 기하학적 구조를 도입하지는 않는다는 점을 명시하며, 기하학적 편집을 향후 연구 방향으로 남겨두었습니다.