기술 요약: 가우시안 스플래팅(Gaussian Splatting)과 다중 분광 이미징의 통합을 향하여

1. 문제 정의

3D 가우시안 스플래팅(3DGS)은 다중 뷰 RGB 이미지를 활용한 빠르고 고충실도의 3D 재구성을 위한 최첨단 프레임워크로 자리 잡았으나, 이를 다중 분광 데이터(예: Red, Green, Red-Edge, Near-Infrared)로 나이브하게 확장하는 데에는 상당한 어려움이 따른다. 핵심 문제는 개별 분광 밴드가 RGB 이미지에 존재하는 조밀하고 특징이 풍부한 정보를 결여하는 경우가 많다는 점이다. 결과적으로, 각 분광 밴드에 대해 별도의 3DGS 모델을 독립적으로 최적화하면, 밑바탕이 되는 물리적 기하 구조는 모든 모달리티에서 동일함에도 불구하고, 비 RGB 밴드에서 저하되거나 불안정한 기하학적 재구성이 발생한다. 본 논문은 전체적인 충실도를 높이기 위해 "분광 상호 간섭(spectral cross-talk)"의 잠재력을 활용하면서도, 모든 밴드에서 균형 잡힌 재구성 품질을 달anim하기 위한 견고한 다중 분광 데이터 통합 전략의 필요성을 다룬다.

2. 방법론

저자들은 전역적으로 정렬된 희소 포인트 클라우드와 카메라 포즈가 사용 가능하다는 가정하에, 다중 분광 데이터(RGB, Red, Green, Red-Edge, NIR)를 3DGS 파이프라인에 통합하기 위한 세 가지 뚜렷한 전략을 제안하고 평가한다.

2.1. 핵심 전략

1. SEPARATE (분리형): 공유되는 구조나 파라미터 없이 각 분광 밴드에 대해 독립적인 3DGS 모델을 최적화하는 베이스라인 접근 방식이다. 이는 하한선 참조 역할을 하며, 비 RGB 밴드에서 기하학적 아티팩트가 발생하기 쉽다.
2. SPLIT (분할형): 2단계 순차 프로세스이다. 먼저, RGB 데이터만을 사용하여 고품질 3DGS 모델을 최적화한다. 그 후 생성된 기하 구조(평균, 공분산, 불투명도)를 복제하여 각 분광 밴드를 위한 별도의 모델로 분할한다. 각 밴드별 모델은 독립적으로 최적화되어 RGB로부터 유도된 기하 구조가 다른 밴드의 재구성을 가이드하도록 하지만, 상호 간의 영향은 차단한다.
3. JOINT (결합형): 모든 분광 채널을 동시에 최적화하는 통합 파이프라인이다. 이 방식에서는 각 가우시안 프리미티브(primitive)가 모든 분광 채널에 대한 구면 조화 함수(spherical harmonics) 계수를 보유한다. 훈련 중에는 특정 채널이 무작위로 선택되고 해당 밴드로만 장면을 렌더링함으로써, 공유된 구조적 파라미터(기하 구조)와 구별되는 분광 색상 파라미터의 공동 최적화를 가능하게 한다.

2.2. JOINT 전략을 위한 최적화 개선 사항

JOINT 전략을 개선하기 위해 저자들은 다음과 같은 훈련 구성 요소들을 도입하고 절제 연구(ablation)를 수행한다:

• 분광 지연 (SpecDelay): 훈련 초기 단계에서 분광 그래디언트 휴리스틱이 이상치를 유발하는 것을 방지하기 위해, 처음 30,000 반복(iteration) 동안은 RGB 데이터만을 사용하여 견고한 기하 구조를 구축한다. 이후 모든 분광 채널의 공동 최적화가 시작된다.
• 확장된 ADC (ExtADC): 적응형 밀도 제어(Adaptive Density Control, ADC) 밀집화 간격을 표준인 25,000에서 60,000 반복으로 연장하여, 다중 분광 데이터에 의해 도입된 더 큰 훈련 샘플 세트를 더 잘 수용하도록 한다.
• 다중 분광 인지 밀집화 (MSAD): 각 프리미티브별 그래디언트를 각 분광 밴드에 대해 독립적으로 추적하는 휴리스틱이다. 만약 밴드 전반에 걸쳐 누적된 그래디언트 중 하나라도 임계값을 초 exceed하면 분할 또는 복제가 발생하며, 이를 통해 특정 분광 밴드의 높은 세부 사항 요구에 대응하여 밀집화가 이루어지도록 보장한다.
• 분광 불변 기하 구조 (SIG): 구조적 파라미터(위치, 공분산, 불투명도)가 RGB 데이터의 업데이트에 의해서만 고정되고, 비 RGB 밴드는 오직 분광 계수만을 정교화하는 변형 방식이다. 이는 낮은 신호의 분광 채널이 3D 구조를 왜곡하는 것을 방지한다.

저자들은 또한 SpecDelay를 위한 "웜업(warm-up)" 단계를 구현하여, 학습된 RGB 기하 구조를 방해하지 않으면서 새로운 색상 값이 통합될 때 밀집화를 일시 중지함으로써 안정성을 확보한다.

3. 주요 기여

• 통합 패러다임의 체계적 평가: 본 논문은 추가적인 분광 밴드를 3DGS에 통합하기 위한 세 가지 최적화 패러다임(SEPARATE, SPLIT, JOINT)을 공식화하고 비교하여, 독립적인 밴드별 최적화의 한계를 규명하였다.
• 최적화된 JOINT 프레임워크: 저자들은 JOINT 전략을 개선하는 일련의 특정 최적화 기법들(SpecDelay, ExtADC, MSAD, SIG)을 제안하며, 이들이 재구성 품질을 크게 향상시킨다는 것을 보여준다. 이 모듈들의 조합인 JOINT-OPTIMIZED가 가장 효과적인 접근 방식으로 제시된다.
• 분광 상호 간섭(Spectral Cross-Talk) 분석: 본 연구는 분광 밴드 간의 상호 작용이 어떻게 재구성을 개선하는지 정량화한다. 공동 최적화가 비 RGB 밴드뿐만 아니라 RGB 채널 자체의 재구성 품질까지도 향상시켜, 서로의 기하학적 세부 사항을 강화할 수 있음을 입증한다.

4. 실험 결과

방법론은 DJI Mavic 3M 드론으로 캡처된 7개의 야외 장면(RGB, Red, Green, Red-Edge, NIR)을 포함하는 다중 분광 데이터셋을 통해 평가되었다.

• 정량적 성능:
  • SEPARATE 방식은 특히 비 RGB 밴드에서 가장 낮은 성능을 보였으며, 이는 독립적인 최적화가 일관된 기하 구조를 포착하는 데 실패함을 확인시켜 준다.
  • SPLIT 방식은 RGB 기하 구조를 활용함으로써 SEPARATE보다 비 RGB 밴드에서 균형 잡힌 개선을 보였으나, RGB 재구성을 개선하지는 못했다.
  • JOINT-OPTIMIZED (JOINT + SpecDelay + MSAD 조합)는 모든 밴드에 대해 모든 지표(PSNR, SSIM, LPIPS)에서 가장 높은 성능을 달성했다. 특히, RGB 재구성을 RGB 전용 베이스라인 대비 약 0.2–0.3 dB 향상시켰으며, 이는 분광 상호 간섭의 효용성을 입증한다.
• 프리미티브 개수: JOINT-OPTIMIZED 방식은 장면을 고품질로 표현하기 위해 약 2백만 개의 프리미티브를 필요로 했던 반면, SEPARATE 방식은 밴드당 약 1백만 개(총 5백만 개)의 프리미티브를 필요로 했다. MSAD 전략은 높은 세부 사항이 필요한 밴드에서 선택적으로 프리미티브 개수를 증가시켜 공유된 기하 구조를 효과적으로 활용하는 것으로 관찰되었다.
• 절제 연구(Ablation Studies): 절제 연구 결과, SpecDelay가 초기 훈련을 안정화함으로써 가장 극적인 품질 향상을 제공한다는 것이 확인되었다. MSAD는 모든 밴드에서 지표를 더욱 개선하였고, SIG는 일반적으로 비 RGB 밴드에서 만족스럽지 못한 결과를 보였으나, 특정 구성에서는 최고의 RGB 결과를 제공하여 기하학적 유연성과 분광 충실도 사이의 트레이드오프를 시사하였다.

5. 의의 및 주장

본 논문은 다중 분광 데이터를 단일하게 공동 최적화된 3DGS 모델의 구면 조화 색상 성분에 직접 통합하는 것이 실행 가능하고 효과적인 전략임을 주장한다. 주요 의의는 분광 상호 간섭(spectral cross-talk), 즉 공유된 기하 표현에 대한 서로 다른 분광 밴드의 상호 영향이 가시광선 RGB 스펙트럼을 포함한 모든 모달리티의 재구성 품질을 향상시킬 수 있음을 입증한 데 있다.

저자들은 이 접근 방식이 농업 환경에서의 **식물 표현형 분석(plant phenotyping)**이나 **과실 계수(fruit counting)**와 같이 상세한 분광 분석이 필요한 응용 분야를 위한 견고한 다중 모달 3DGS 재구성에 실질적인 통찰을 제공한다고 제안한다. 또한, 기하 구조가 방사 특성에 따라 크게 달라질 수 있는 열적 적외선(thermal infrared) 이미지의 경우 본 방법론이 제한될 수 있음을 언급한다. 본 연구는 기하학적 안정성과 분광 충실도 사이의 균형을 맞추는 훈련 파이프라인을 구축함으로써, 몰입형 시각화 시스템과 같은 미래의 실시간 다중 분광 응용 분야를 위한 토대를 마련한다.