SSR-GS: Separating Specular Reflection in Gaussian Splatting for Glossy Surface Reconstruction

이 논문은 복잡한 조명 환경에서 반사광을 효과적으로 모델링하고 기하학적 사전 지식을 활용하여 광택 표면의 3D 재구성을 혁신적으로 개선한 'SSR-GS' 프레임워크를 제안합니다.

핵심

1. 문제 상황: "거울에 비친 내 얼굴이 진짜 얼굴인 줄 알았다"

기존의 3D 기술 (3DGS) 은 사진을 여러 각도에서 찍어 3D 모델을 만드는 데 매우 뛰어납니다. 하지만 반짝이는 물체를 다룰 때는 큰 실수를 합니다.

• 비유: 거울 앞에 서서 사진을 찍었다고 상상해 보세요. 카메라는 거울에 비친 '나'와 거울 뒤에 있는 '방'을 모두 찍습니다. 기존 기술은 이 반사된 이미지 (거울 속의 나) 를 실제 물체의 표면이라고 착각합니다.
• 결과: 3D 모델을 만들면 거울 표면이 찌그러지거나, 반사된 사물이 실제 물체에 붙어 있는 기괴한 형태가 됩니다. 마치 거울 속의 환영을 실제 벽돌로 쌓아 올린 것처럼요.

2. 해결책 1: "직접 빛"과 "간접 빛"을 분리하는 마법

저자들은 이 문제를 해결하기 위해 빛을 두 가지로 나누어 처리하는 방식을 고안했습니다.

• 직접 반사 (Direct Specular): 거울에 비친 바로 그 순간의 빛입니다.

  • 해법 (Mip-Cubemap): 이걸 처리할 때, 저자들은 **'계단식 지도 (Mip-Cubemap)'**를 사용했습니다.
  • 비유: 거울이 매끄러우면 (광택이 강하면) 주변이 선명하게 비치고, 거칠면 (무광이면) 주변이 흐릿하게 비칩니다. 이 기술은 물체의 거칠기에 따라 선명한 지도나 흐릿한 지도를 자동으로 골라 반사된 이미지를 그립니다. 마치 카메라의 초점을 거울의 상태에 맞춰 자동으로 조절하는 것과 같습니다.

• 간접 반사 (Indirect Specular): 빛이 벽에 튕겨서 다시 거울에 들어오는 복잡한 빛입니다.

  • 해법 (IndiASG): 이 복잡한 빛을 처리하기 위해 **'작은 빛의 구름 (IndiASG)'**을 만들었습니다.
  • 비유: 빛이 여러 번 튀어 오르는 복잡한 경로를 하나하나 계산하는 대신, 미리 학습된 '빛의 패턴'들을 조합해서 간접 빛을 재현합니다. 이렇게 하면 실제 물체의 모양을 왜곡하지 않고도 복잡한 빛 효과를 구현할 수 있습니다.

3. 해결책 2: "눈가림"과 "나침반"으로 길을 잃지 않게 하기

빛이 반사되면 카메라는 혼란스러워져서 "이게 진짜 표면일까, 아니면 반사된 이미지일까?"를 구분하지 못합니다. 이때 두 가지 도구를 사용합니다.

• 시각적 지시자 (Visual Prior - RS):

  • 비유: 여러 각도에서 찍은 사진을 비교했을 때, 반짝이는 부분은 각도마다 모습이 크게 달라집니다. 반면, 실제 물체 표면은 각도가 바뀌어도 비슷하게 보입니다.
  • 이 기술은 "아, 이 부분은 반사된 거구나!"라고 판단하는 **점수 (Reflection Score)**를 매깁니다. 그리고 훈련 과정에서 이 반짝이는 부분의 영향력을 일시적으로 줄여줍니다. 마치 눈가리개를 하고 실제 모양을 먼저 익히는 것과 같습니다.

• 기하학적 나침반 (Geometry Priors - VGP):

  • 비유: 빛이 혼란스러울 때, **깊이 (Depth)**와 **방향 (Normal)**을 알려주는 나침반이 필요합니다.
  • 저자들은 AI 가 미리 학습한 '깊이 지도'와 '표면 방향' 정보를 참고하게 합니다. 빛에 속지 않고 물체의 진짜 윤곽을 잡을 수 있도록 도와주는 보조 장치입니다.

---

요약: 왜 이 기술이 중요할까요?

이 기술 (SSR-GS) 은 반짝이는 물체 (자동차, 유리잔, 금속 장식품 등) 를 3D 로 재구성할 때, 반사된 환영을 실제 물체와 완벽하게 분리합니다.

• 기존 기술: 거울 속의 사물을 실제 벽으로 착각하여 3D 모델을 뭉개버림.
• SSR-GS: "아, 저건 반사된 거야!"라고 구별하고, 빛의 종류 (직접/간접) 에 따라 다르게 처리하며, 나침반 (나침반) 을 통해 진짜 모양을 찾아냅니다.

결국 AR/VR, 로봇, 자율주행 등에서 반짝이는 물체를 정밀하게 인식하고 재현할 수 있게 되어, 훨씬 더 사실적이고 안정적인 3D 세상을 만들 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

최근 3D 가우시안 스프래팅 (3DGS) 은 새로운 뷰 합성 (Novel View Synthesis) 에서 뛰어난 성능을 보였으나, 복잡한 조명 환경下的인 광택 (Glossy) 표면의 정확한 3D 재구성에는 여전히 한계가 있습니다.

• 주요 어려움: 강한 정반사 (Specular Reflection) 와 다중 표면 간 상호 반사 (Multi-surface Interreflections) 가 있는 장면에서, 기존 방법들은 반사된 광선 (Reflected Radiance) 과 확산 성분 (Diffuse Component) 을 완벽하게 분리하지 못합니다.
• 결과적 문제: 이로 인해 빛의 누출 (Light Leakage) 이 발생하고, 고반사 영역에서 표면이 붕괴되거나 기하학적 아티팩트 (Geometric Artifacts) 가 발생하는 등 기하학적 정확도가 떨어집니다.

2. 제안 방법론 (Methodology: SSR-GS)

저자들은 광택 표면 재구성을 위해 SSR-GS라는 프레임을 제안합니다. 이 프레임은 확산 성분과 정반사 성분을 명확히 분리하고, 정반사를 다시 직접 반사와 간접 반사로 나누어 모델링합니다.

가. 확산 및 정반사 성분 분리 (Decoupling)

• 확산 성분 (Diffuse): 광선 (Ray) 을 따라 부피 합성 (Volumetric Compositing) 을 통해 통합합니다.
• 정반사 성분 (Specular): 재질 성분 (Material) 과 입사 조명 (Incident Illumination) 으로 분해하여 물리 기반 표면 렌더링 (PBR) 방식을 적용합니다.

나. 직접 정반사 모델링: Mip-Cubemap

• 문제: 기존 환경 매핑은 표면의 거칠기 (Roughness) 에 따른 반사 로브 (Lobe) 변화를 효율적으로 처리하지 못했습니다.
• 해결: Mip-Cubemap을 도입하여 거칠기 인식 (Roughness-aware) 환경 매핑을 수행합니다.
  • 표면 거칠기 ($r$) 에 따라 미프맵 레벨 ($\ell$) 을 동적으로 선택하여, 거친 표면은 더 흐릿한 (Blurry) 미프맵 레벨을, 매끄러운 표면은 선명한 레벨을 참조합니다.
  • 이는 복잡한 적분 계산을 피하면서도 다중 스케일 환경 샘플링을 가능하게 하여 정확한 반사 렌더링을 구현합니다.

다. 간접 정반사 모델링: IndiASG

• 문제: 다중 반사 (Multi-bounce) 효과인 간접 정반사를 무시하거나 부정확하게 모델링하면 기하학적 추정이 불안정해집니다.
• 해결: IndiASG (Indirect Anisotropic Spherical Gaussian) 모듈을 제안합니다.
  • 고정된 수의 이방성 구형 가우시안 (Anisotropic Spherical Gaussian) 로브를 사용하여 간접 반사 광장을 표현합니다.
  • 신경망 예측기 ($F_\Theta$) 가 표면 점과 반사 방향에서 각 로브의 광도 파라미터를 추정하여, 확산 성분과 분리된 채 복잡한 간접 조명 효과를 포착합니다.

라. 시각적 기하학적 사전 지식 (Visual Geometry Priors, VGP)

복잡한 반사 영역에서의 기하학적 안정성을 높이기 위해 두 가지 사전 지식을 결합합니다.

1. 시각적 사전 지식 (Visual Prior - Reflection Score, RS):
   • 다중 뷰 간의 광도 편차 (Photometric Deviation) 를 기반으로 '반사 점수 (RS)'를 계산합니다.
   • 반사가 지배적인 영역 (높은 RS) 에서는 광도 손실 (Photometric Loss) 의 가중치를 낮추어, 시점에 의존적인 외관 변화가 기하학적 업데이트에 미치는 부정적 영향을 억제합니다.
2. 기하학적 사전 지식 (Geometry Priors - VGGT):
   • VGGT (Visual Geometry Grounded Transformer) 로부터 추론된 깊이 (Depth) 와 법선 (Normal) 정보를 활용합니다.
   • 깊이 일관성 손실과 법선 일관성 손실을 적용하여, 반사로 인한 오차를 보정하고 기하학적 구조를 정규화합니다.

3. 주요 기여 (Key Contributions)

1. Mip-Cubemap 환경 표현: 거칠기 인식 미프맵 계층 구조를 도입하여 직접 정반사를 효율적이고 정확하게 모델링합니다.
2. IndiASG (간접 정반사 모델링): 간접 정반사를 명시적으로 모델링하여 기하학적 안정성을 높이고, 가우시안이 다중 뷰 일관성을 갖는 기하를 더 잘 포착하도록 돕습니다.
3. 시각적 기하학적 사전 지식 (VGP): 반사 점수 (RS) 와 VGGT 기반의 깊이/법선 제약을 결합하여, 반사 영역에서도 안정적인 기하 최적화와 고품질 재구성을 가능하게 합니다.

4. 실험 결과 (Results)

• 데이터셋: ShinySynthetic, GlossySynthetic (합성 데이터), Ref-Real (실제 데이터) 에서 평가되었습니다.
• 성능:
  • 정량적 평가: Chamfer Distance (CD) 와 법선 오차 (MAE) 기준에서 기존 최신 방법들 (Ref-GS, Ref-Gaussian, PGSR, MaterialRefGS 등) 보다 State-of-the-Art (SOTA) 성능을 달성했습니다.
  • 정성적 평가:
    • Car/Coffee: 강한 질감 영역의 표면 요철을 방지하고, 숟가락과 컵 사이의 복잡한 간접 조명 및 그림자 영역을 정확하게 재구성했습니다.
    • Cat: 베이스와 고양이를 깔끔하게 분리하고 수염과 같은 미세 구조를 복원했습니다.
    • Bell/Teapot: 고광택 표면과 객체 내부의 강한 상호 반사 영역에서도 기하학적 아티팩트 없이 고품질 표면을 재구성했습니다.
• Ablation Study: Mip-Cubemap, IndiASG, VGP 의 각 구성 요소가 제거되었을 때 성능이 크게 저하됨을 확인하여, 모든 요소가 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

SSR-GS 는 3D 가우시안 스프래팅을 활용한 광택 표면 재구성의 핵심 난제인 강한 정반사와 복잡한 조명 하에서의 기하학적 왜곡을 해결했습니다.

• 기술적 혁신: 확산과 반사, 그리고 직접/간접 반사를 체계적으로 분리하고 모델링함으로써, 반사된 구조물이 재구성된 표면에 '구워지는 (Baked-in)' 현상을 방지합니다.
• 실용성: AR/VR, 로봇 공학, 자율 주행 등 광택이 있는 물체의 정밀한 3D 모델링이 필요한 분야에서 높은 정확도와 실시간 렌더링 가능성을 동시에 제공합니다.

이 연구는 반사광을 단순히 노이즈로 처리하는 것이 아니라, 물리 기반 렌더링 원리를 적용하여 체계적으로 분리하고 제어함으로써, 기존 3DGS 의 기하학적 한계를 극복한 중요한 진전으로 평가됩니다.