기술 요약: CoIn - 가우시안 스플래팅 가이드를 통한 포괄적 2D-3D 인페인팅 (CoIn - Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance)

1. 문제 정의

3D 장면 인페인팅은 폐쇄(occlusion), 센서 노이즈 또는 제한된 시점으로 인해 손상된 영역을 재구성하는 데 매우 중요합니다. 최근 방식들은 효율적인 3D 편집을 위해 가우시안 스플래팅(3DGS)을 활용하고 있지만, 기존 접근 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 3D 우선 파이프라인 (3D-First Pipelines): 인페인팅 전에 3D 장면을 먼저 재구성하는 방식(예: IMFine, 3DGIC)은 정밀한 다중 뷰 세그멘테이션 마스크에 크게 의존합니다. 뷰 간의 불일치한 마스크는 기하학적 불일치, 타겟이 아닌 영역의 과도한 제거, 잘못된 3D 세그멘테이션을 초래합니다. 또한, 이러한 방식들은 주로 객체 제거 작업에 국한되어 있으며 객체 삽입 작업에는 어려움을 겪습니다.
• 2D 우선 파이프라인 (2D-First Pipelines): 2D 인페인팅을 먼저 수행한 후 3D 일관성을 강제하는 방식(예: MVInpainter)은 특정 데이터셋에 대한 미세 조정이나 추가적인 정확한 3D 라벨을 필요로 하는 경우가 많습니다. 가이드가 없는 순수 2D 인페인팅은 다중 뷰 이미지 간의 심각한 불일치를 야기하여, 최종 3D 재구성 시 부정확한 기하 구조와 흐릿함(blurriness)을 발생시킵니다.
• 일반적 한계: 현재의 솔루션들은 임의의 형태를 가진 마스크를 지원하거나, 다양한 작업(제거 및 삽입 모두)을 처리하며, 복잡한 볼륨 최적화나 막대한 계산 비용 없이 엄격한 다중 뷰 일관성을 유지하는 데 어려움을 겪고 있습니다.

2. 방법론

저자들은 CoIn을 제안합니다. 이는 2D 인페이팅 모델과 3D 가우시안 스플래팅(3DGS)을 다단계 일관성 파이프라인을 통해 연결하는 새로운 프레임워크입니다. 전통적인 3D 우선 방식과 달리, CoIn은 2D와 3D 표현 사이의 양방향 정보 흐름에 의해 강화된 2D 우선 전략을 채택합니다.

파이프라인 개요

이 방법은 네 가지 단계로 작동합니다:

1. 초기 2D 인페인팅 (Initial 2D Inpainting): 사전 학습된 Stable Diffusion (SD) 모델이 모든 입력 뷰에 대해 초기 인페이팅된 이미지를 생성합니다. 이를 통해 임의 형태의 마스크와 객체 삽입과 같은 다양한 작업을 사용할 수 있지만, 결과물은 뷰 간의 일관성이 부족합니다.
2. 조대 단계 (Coarse Stage - Reference Adaptive GS): 초기 2D 결과로부터 3D 가우시안 스플래팅 장면을 재구성합니다. 장면을 안정화하고 선택된 참조 뷰(reference view)와 정렬하기 위해, 저자들은 **특징 어텐션을 이용한 참조 적응형 GS (Ref-GS)**를 도입합니다.
   • 적응형 가중치 (Adaptive Weights): 렌더링 손실에 뷰별 가중치를 적용하여, 참조 뷰의 가중치는 높이고 불일치하는 뷰의 가중치는 낮춥니다.
   • 특징 어텐션 (Feature Attention): 인페이팅 영역 내의 앵커 특징들을 인접한 앵커들로부터의 단방향 어텐션을 통해 업데이트하여 텍스처의 응집력을 높입니다.
   • 깊이 정규화 (Depth Regularization): 단안 깊이 추정기(monocular depth estimator)를 사용하여 깊이 손실을 적용함으로써 기하학적 안정성을 확보합니다.
3. 가이드 단계 (Guidance Stage - Consistency Loss Guidance): 재구성된 3D 장면은 2D 인페이팅 과정을 가이드하여 다중 뷰 일관성을 강제합니다.
   • GS 기반 참조 특징 워핑 (GS-based Reference Feature Warping): 참조 뷰와 현재 뷰의 특징들을 3D 포인트 클라우드로 투영한 후 중간 시점으로 재투영합니다.
   • 에너지 함수 (Energy Function): 고주파 특징(DINO)을 위한 코사인 유사도와 RGB 특징을 위한 L2 유사도를 사용하여 일관성 손실을 공식화합니다. 이 에너지 함수는 (FreeDoM에서 영감을 받아) 디퓨전 디노이징 과정 중에 최소화되며, 생성된 이미지가 3D 기하 구조와 일치하도록 보장합니다.
4. 미세 단계 (Fine Stage - Texture Enhancement): 3D 장면을 정교화하기 위해 **텍스처 강화 디스크리미네이터 (TE-D)**가 사용됩니다. 작은 이미지 패치들에 대해 적대적으로 학습된 TE-D는 이전 단계에서 구축된 기하 구조를 유지하면서, 초기 2D 인페이팅 출력으로부터 고주파 텍스처 디테일을 GS 렌더링으로 전달합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. CoIn 프레임워크: 생성적 2D 합성(generative 2D synthesis)과 명시적 3D 재구성을 매끄럽게 통합하여, 임의 형태의 마스크와 다양한 작업(제거 및 삽입)을 지원하는 포괄적인 파이프라인입니다.
2. 참조 적응형 GS (Ref-GS): 각 뷰에 적응형 가중치를 할당하여 참조 시점을 향해 3DGS 장면을 최적화하고, 구조적 응집력을 유지하기 위해 특징 어텐션을 활용하는 새로운 모듈입니다.
3. 일관성 손실 가이드 (CLG): GS 기반 참조 특징 워핑을 활용하여 디퓨전 디노이징 과정 동안 3D 일관성을 강제함으로써, 2D 생성과 3D 기하 구조 사이의 간극을 메우는 메커니즘입니다.
4. 텍스처 강화 디스크리미네이터 (TE-D): 실제 이미지 패치의 분포를 학습함으로써 생성된 패치의 흐릿함을 완화하고, 광도적 사실성(photometric realism)을 크게 향상시키는 적대적 구성 요소입니다.

4. 실험 결과

저자들은 SPIn-NeRF 및 IMFine 데이터셋에서 CoIn을 평가하였으며, 3DGIC, GScream, MVIP-NeRF, IMFine을 포함한 최신 베이스라인들과 비교하였습니다.

• 정량적 성능: CoIn은 두 데이터셋 모두에서 대부분의 지표(LPIPS, PS형, PSNR, FID)에 대해 최첨단(state-of-the-art) 성능을 달성했습니다. 특히, CoIn의 경우 세그멘테이션 마스크를 사용하는 것과 바운딩 박스 마스크를 사용하는 것 사이의 성능 차이가 미미하여 마스크 형태에 대한 견고함을 입증했습니다.
• 객체 삽입: 객체 삽입 작업에서 CoIn은 시맨틱 정렬(CLIPdir) 및 다중 뷰 일관성, 시각적 품질, 아티팩트 부재에 관한 사용자 선호도 조사에서 베이스라인(Gaussian Editor, Infusion)보다 우수한 성능을 보였습니다.
• 절제 연구 (Ablation Studies): 핵심 구성 요소(Ref-GS, CLG, 또는 TE-D) 중 하나라도 제거하면 성능이 크게 저하되었습니다. 구체적으로, TE-D가 없으면 지나치게 매끄러운 텍스처가 나타났고, CLG가 없으면 일관되지 않은 결과와 아티팩트가 발생했습니다.
• 정성적 분석: 시각적 결과에서 CoIn은 인페이팅되지 않은 영역을 성공적으로 보존하고 엄격한 다중 뷰 일관성을 가진 고충실도 콘텐츠를 생성한 반면, 3D 우선 방식들은 불일치한 마스크로 인해 실패하는 경우가 많았고, 다른 2D 우선 방식들은 기하학적 불안정성을 보였습니다.

5. 의의 및 주장

본 논문은 CoIn이 2D와 3D 도메인 사이의 양방향 정보 흐름을 효과적으로 활용함으로써 3D 장면 인페인팅의 과제를 해결하는 포괄적인 솔루션을 나타낸다고 주장합니다.

• 유연성: 정밀한 세그멘테이션이 필요하고 제거 작업에 국한된 3D 우선 파이프라인과 달리, CoIn은 임의 형태의 마스크를 지원하며 제거와 삽입 작업을 모두 처리할 수 있습니다.
• 일관성: 참조 특징 워핑을 통해 2D 생성 과정에 3D 사전 지식(priors)을 통합함으로써, CoIn은 순수 2D 다중 뷰 인페이팅에서 흔히 발생하는 뷰 간 불일치 문제를 극복합니다.
• 효율성: 이 프레임워크는 효율적인 최적화 과정(장면당 약 2.5시간)을 통해 고품질의 결과를 얻으며, 암시적 NeRF 기반 방식과 관련된 막대한 계산량과 긴 학습 시간을 피합니다.

저자들은 Co-In이 2D 생성 모델의 시맨틱 유연성과 3D 가우시안 스플래팅의 기하학적 엄밀함 사이의 간극을 효과적으로 메움으로써, 3D 편집 작업의 새로운 기준을 세운다고 결론짓습니다.