기술 요약: 3D 가우시안 스플래팅의 고유 성분 분해 및 편집

1. 문제 정의

이미지 색상을 확산 반사율(albedo, 질감)과 쉐이딩(조명/그림자)으로 분리하는 고유 이미지 분해(intrinsic image decomposition)는 이미지 편집을 위한 근본적인 작업입니다. 이를 통해 사용자는 기저의 조명 조건을 변경하지 않고도 물체의 색상과 질감을 수정할 수 있습니다. 이는 2D 이미지, 비디오, Neural Radiance Fields(NeRF)를 대상으로 광범위하게 연구되어 왔으나, 이를 **3D 가우시안 스플래팅(3DGS)**으로 확장하는 데에는 독특한 과제들이 존재합니다.

기존의 3DGS 고유 분해 접근 방식은 일반적으로 단일한 가우시안 프리미티브 세트에 고유량(albedo, shading, residuals)을 추가하는 방식을 취합니다. 그러나 이러한 단일 구조(monolithic) 방식은 다음과 같은 이유로 어려움을 겪습니다. 각 고유 성분이 서로 다른 공간 해상도를 요구하며 뚜렷하게 다른 특성을 보이기 때문입니다:

• Albedo는 고주파 디테일(질감)을 포함하는 경우가 많지만, 균일한 영역에서는 기하학적 단서가 부족합니다.
• Shading은 날카로운 가장자리(강한 그림자)를 포함하지만, 그 외의 영역에서는 대개 부드럽습니다.
• Residuals는 시점 의존적 효과를 포착합니다.

단일 가우시안 세트는 이러한 레이어들의 다양한 공간적 요구 사항에 동시에 적응할 수 없으므로, 재구성 및 편집 능력이 최적화되지 못합니다. 또한, 3DGS를 직접 편집하면 조명과 질감이 얽히게 되어, 그림자나 하이라이트를 왜곡하지 않고 표면의 색상을 변경하는 것이 어려워집니다.

2. 방법론

저자들은 복사 휘도장을 세 개의 독립적인 가우시안 프리미티브 세트로 분리하는 파이프라인을 제안합니다: Albedo($G_A$), Shading($G_S$), 그리고 시점 의존적 잔차($G_R$)를 위한 것입니다. 이미지 형성 모델은 다음과 같이 정의됩니다:
$$I = A \times S + R$$
여기서 $I$는 관측된 이미지, $A$는 albedo, $S$는 shading, $R$은 residual입니다.

2.1 모델링

모든 프리미티브에서 시점 의존적 색상을 위해 구면 조화 함수(Spherical Harmonics, SH)를 사용하는 표준 3DGS와 달리, 이 방법은 표현 방식을 맞춤화합니다:

• Albedo 및 Shading 가우시안 ($G_A, G_S$): 이들은 시점 독립적인 양을 나타내므로 단순한 RGB 삼중항($c \in \mathbb{R}^3$)을 사용합니다.
• Residual 가우시안 ($G_R$): 시점 의존적 효과를 모델링하기 위해 구면 조화 함수를 사용합니다.
• 개별 최적화: 각 세트는 독립적으로 최적화되어, 각 레이어의 주파수 및 기하학적 요구 사항에 따라 프리미티브의 수와 분포가 적응할 수 있도록 합니다.

2.2 재구성 파이프라인

재구성 과정은 세 가지 주요 단계로 진행됩니다:

1. 데이터 기반 Albedo 추정:

   • 입력 비디오는 DiffusionRenderer(비디오 확산 모델)에 의해 처리되어 모든 프레임에 대해 시간적으로 일관된 albedo 맵을 예측합니다.
   • 긴 비디오를 처리하기 위해 저자들은 Brick Diffusion을 사용하여 중첩된 청크(chunk)에 걸쳐 디노이징 과정을 교차 배치함으로써, 매끄러운 전환을 보장하고 경계 아티팩트를 방지합니다.
   • 비디오를 서브샘플링하여 3D 재구성을 위한 다중 뷰 데이터셋을 생성합니다.

2. Albedo 필드 재구성 ($G_A$):

   • Albedo 가우시안은 예측된 albedo 이미지를 사용하여 최적화됩니다.
   • 과제: Albedo 이미지는 기하학적 단서(구간별로 일정한 색상)가 부족한 경우가 많아 3D 배치가 어렵습니다.
   • 해결책: 최적화는 단안 깊이 추정(Depth Anything V2로부터 추출)과 프리미티브가 평평해지고 날카로운 경계를 형성하도록 유도하는 스케일 정규화(scale regularization) 항을 사용하여 정규화됩니다. 이는 입력 albedo 맵에 질감이 부족함에도 불구하고 albedo 필드가 장면의 기하학적 구조를 따르도록 보장합니다.

3. Shading 및 Residual 재구성 ($G_S, G_R$):

   • $G_A$가 고정되면, 모델 $I = A \times S$를 사용하여 shading 필드를 먼저 최적화합니다.
   • 그 다음 residual 필드를 최적화하여 비확산(non-diffuse) 효과를 포착합니다.
   • 정규화: 어두운 albedo 영역에서 shading이 임의로 커지는 것을 방지하기 위해, shading 가우시안이 중립적인 색상을 유지하도록 유도하는 "회색도(grayness)" 정규화가 적용됩니다.
   • 초기화: Residual 가우시안은 입력 이미지와 합성된 확산 렌더링(diffuse render) 사이의 차이가 큰 위치에 생성됩니다.

2.3 편집 워크플로우

시스템은 조명을 보존하면서 albedo 레이어를 대화형으로 편집할 수 있게 합니다:

1. 사용자 입력: 사용자가 특정 뷰에서 표면을 선택하고 새로운 질감이나 색상을 칠합니다.
2. 프록시 표면(Proxy Surface): 3DGS의 깊이는 재투영(reprojection)에 신뢰할 수 없으므로, 시스템은 기여하는 가우시안들에 대한 RANSAC을 사용하여 선택된 표면에 프록시 평면을 맞춥니다.
3. 다중 뷰 합성: 편집된 질감을 근처의 여러 시점에서 프록시 평면에 렌더링하여 "편집된" albedo 이미지 세트를 생성합니다.
4. 재최적화: 편집된 albedo 가우시안($G_A$)을 이 합성된 뷰들을 사용하여 재최적화합니다. 프록시 평면에 새로운 가우시안을 생성하여 편집으로 도입된 고주파 디테일을 포착합니다.
5. 결과: 최종 장면은 새로운 질감을 가진 채 임의의 시점에서 탐색할 수 있으며, 원래의 shading과 그림자($G_S$ 및 $G_R$에 저장됨)는 그대로 유지됩니다.

3. 주요 기여

1. 분리된 가우시안 표현: albedo, shading, residual을 위한 세 가지 별도의 가우시안 세트를 사용하여 휘도장을 표현하는 새로운 방식이며, 이를 통해 각 레이어가 신호의 특성에 맞춰 프리미티브 분포를 적응할 수 있게 합니다.
2. 비디오 확산 기반 재구성: 비디오 확산 사전 지식(DiffusionRenderer)을 사용하여 시간적 일관성을 보장하고, 깊이 및 스케일 제약을 통해 정규화함으로써 다중 뷰 사진으로부터 고유 필드를 재구성하는 방법입니다.
3. 고유 편집 워크플로우: 레이어를 분리하고 다중 뷰 일관성을 위해 프록시 기반 재투영을 활용함으로써, 조명과 그림자를 유지하면서 3D 장면의 표면 질감과 색상을 편집할 수 있는 시스템을 제공합니다.

4. 결과 및 평가

본 방법은 세 개의 실제 장면과 하나의 합성 장면(그라운드 트루스 포함)에서 평가되었습니다.

• 분해 품질: 합성 장면에서 본 방법은 기존의 역 렌더링(inverse rendering) 방법들(GI-GS, R3GS)에 비해 더 높은 품질의 albedo 재구성을 달eric(PSNR 29.4 vs. 13.7) 했으나, 더 많은 프리미티브를 필요로 했습니다. 본 방법은 질감을 shading으로부터 성공적으로 분리해낸 반면, 경쟁 방법들은 albedo 레이어에 shading 아티팩트를 남기는 경우가 많았습니다.
• 편집 능력: ReCoGS 및 SplatShop과의 비교 편집 작업에서, 제안된 방법은 그림자를 변경하지 않고 질감을 수정하는 데 탁월한 능력을 보여주었습니다.
  • ReCoGS는 색상을 변경할 때 원래의 패턴을 제거하지 못하고 질감 정보를 유지했습니다.
  • SplatShop은 질감과 그림자 모두를 덮어썼습니다.
  • 제안된 방법은 원래의 질감을 제거하고 새로운 질감을 적용하면서도 원래의 그림자와 쉐이딩 효과를 성공적으로 유지했습니다.
• 성능: 최적화 및 추론 과정에서 세 개의 별도 필드를 렌더링해야 하므로 vanilla 3DGS보다는 느립니다. 그러나 최종 합성된 결과물에 대해서는 실시간 렌더링 속도(약 96–128 FPS)를 달성합니다.

5. 의의 및 주장

본 논문은 albedo와 shading을 독립적인 가우시안 세트로 분리함으로써 3D 장면에 대한 **물리적으로 타당한 편집(physically plausible editing)**이 가능하다고 주장합니다. 그 의의는 다음과 같습니다:

• 다중 뷰 일관성: 단일 뷰 편집 방식과 달리, 제안된 워크플로우는 깊이 기반 재투영과 다중 뷰 최적화를 활용하여 편집 내용이 다양한 카메라 각도에서도 일관되게 유지되도록 보장합니다.
• 조명 보존: 분리를 통해 얽힌 휘도 필드를 편집할 때 흔히 발생하는 그림자의 "씻겨 나감(washing out)"이나 왜곡 없이 질감을 수정할 수 있습니다.
• 실용성: 복잡한 장면에 대한 전체 역 렌더링의 과도한 계산 비용을 피하기 위해 초기 분해 단계에서 사전 학습된 확산 모델에 의존함으로써, 단순한 객체 편집을 넘어 전체 장면 편집을 가능하게 합니다.

저자들은 3DGS의 "퍼진(fuzzy)" 특성으로 인해 비평면적 편집이 복잡하다는 점, 확산 사전 지식(흐릿할 수 있음)에 대한 의존성, 그리고 현재 조명원을 변경하는 전체 재조명(relighting)보다는 albedo 수정에 집중하고 있다는 점 등 한계점을 인정합니다.