기술 요약: 깊이 추정으로 열 가우시안 스플래팅의 성능 극대화

문제 제기

자율 주행, 로봇 공학, 감시 분야에서 효율적이고 견고한 3D 장면 표현은 필수적입니다. 3D 가우시안 스플래팅 (GS) 은 RGB 데이터를 사용하여 새로운 뷰 합성 (NVS) 에서 최첨단 성능을 달성했으나, 가시광선에 의존하기 때문에 저조도, 안개, 연기 등 열악한 환경에서는 취약합니다. 기존 다중 모달 접근법은 견고성을 높이기 위해 열 데이터를 통합하려 시도하지만, 이러한 방법들은 종종 RGB 와 열 모달리티를 융합하는 데 의존합니다. 이 융합은 다음과 같은 중대한 도전 과제를 도입합니다:

1. 복잡성과 속도: 다중 모달 데이터를 결합하면 훈련 과정이 느려지고 파이프라인이 복잡해집니다.
2. 정렬 문제: 열 카메라와 RGB 카메라는 정밀한 공동 등록 (co-registration) 이 필요하며, 이를 달성하기는 어렵습니다.
3. 의존성: 현재 열 기반 GS 프레임워크는 종종 감독이나 공동 최적화를 위해 RGB 이미지에 여전히 의존하며, 진정한 독립적인 열 표현 시스템을 확립하지 못합니다.
4. 데이터 특성: 열 이미지는 본질적으로 낮은 대비, 희소한 질감, 불균일한 밝기의 고통을 받아 기하학적 제약 없이는 순수 열 감독이 불안정합니다.

저자들은 기존 문헌의 공백을 식별했습니다: 높은 품질과 효율성을 유지하면서 유일하게 열 적외선 데이터 (단일 모달리티) 만을 사용하여 3D 재구성을 성공적으로 수행하는 프레임워크는 존재하지 않습니다.

방법론: 열 - 깊이 가우시안 스플래팅 (TDg)

본 논문은 가시광선에 대한 의존성을 제거하고 열 이미지와 깊이 추정만을 사용하여 복사장 (radiance fields) 을 도출하는 자체 완결형 프레임워크인 TDg를 제안합니다. 핵심 혁신은 이중 래스터화를 통해 최적화되는 통합된 3D 가우시안 표현입니다.

핵심 아키텍처

서로 다른 모달리티를 위한 별도의 모델을 유지하는 대신, TDg 는 장면을 표현하기 위해 단일 세트의 3D 가우시안 $G = \{\mu_i, \Sigma_i, \alpha_i, c_i\}$를 활용합니다.

• 통합 표현: 각 가우시안은 위치 ($\mu$), 공분산 ($\Sigma$), 불투명도 ($\alpha$), 그리고 열 복사 특성($c$) 으로 매개변수화됩니다.
• 이중 렌더링: 최적화 과정에서 통합 모델은 두 가지 출력으로 렌더링됩니다:
  1. 열 이미지: 복사 특성 $c_i$를 사용하여 렌더링.
  2. 깊이 맵: 카메라 공간에서 가우시안 중심의 Z 좌표를 사용하여 렌더링.

핵심 구성 요소

1. 열 - 깊이 추정:

   • Marigold 모델을 포함한 열 유도 깊이 추정기 ($f_\theta$) 가 입력 열 이미지 ($I_{Th}$) 에서 직접 밀집된 깊이 맵 ($D$) 을 예측합니다.
   • 이는 질감이 희소한 영역에서 순수 열 감독의 불안정성을 해결하기 위해 열 복사장의 3D 분포를 제약하는 기하학적 사전 지식을 제공합니다.

2. 손실 함수:

   • 열 손실 ($L_{thermal}$): 픽셀 충실도 ($L_1$), 구조적 유사성 (SSIM), 그리고 부드러움 항 ($L_{smooth}$) 을 결합합니다. 부드러움 항은 대부분의 열 장면이 점진적인 온도 구배를 나타낸다는 물리적 특성을 활용하여 비자연스러운 급격한 온도 변화를 억제합니다.
   • 깊이 손실 ($L_{depth}$): 단안 깊이 추정은 스케일 및 시프트 모호성을 겪기 때문에, 예측된 깊이와 렌더링된 깊이는 모두 $[0, 1]$로 Min-Max 정규화됩니다. 손실은 정규화된 맵 간의 $L_1$ 거리와 SSIM 의 조합입니다.

3. 점진적 공동 최적화:

   • 희소한 열 질감으로 인한 훈련 불안정성을 처리하기 위해 저자들은 점진적 전략을 사용합니다.
   • 초기 훈련: 추정된 깊이 사전 지식을 기반으로 구조적 정확성을 강제하기 위해 깊이 손실 가중치가 높게 설정됩니다.
   • 후기 훈련: 깊이 손실 가중치가 선형적으로 감소 ($w_{decay}$) 하여 모델이 광도적 충실도와 미세한 열 세부 사항에 집중할 수 있도록 합니다.
   • 총 손실은 다음과 같이 공식화됩니다: $L_{total} = L_{thermal} + w_{decay}(t) \cdot \lambda_{depth} \cdot L_{depth}$.

초기화 참고 사항

핵심 렌더링과 최적화는 열 데이터에만 의존하지만, 저자들은 초기 희소 점 구름이 현재 구조로부터의 운동 (SfM/COLMAP) 을 사용하여 RGB 이미지에서 파생된다고 인정합니다. 이는 열 이미지가 표준 SfM 특징 추출에 필요한 고주파 특징이 부족하기 때문에 필요합니다. 그러나 최적화와 복사장 도출은 순수하게 열 기반입니다.

주요 기여

1. 열 - 깊이 가우시안 스플래팅 (TDg): 깊이를 추정하여 아키텍처에 직접 통합한 독창적인 순수 열 기반 GS 접근법.
2. 열 유도 깊이 모듈: 열 이미지에서 추정된 깊이를 사용하여 기하학적 분포를 제약하고 주요 최적화 단계 동안 RGB 감독의 필요성을 제거하는 GS 내에 통합된 모듈.
3. 종합 평가: RGBT-Scenes와 ThermalMix라는 두 가지 최첨단 데이터셋에서 MSMG(Multiple Single-Modal Gaussians) 베이스라인에 대한 TDg 의 엄격한 벤치마킹.

실험 결과

저자들은 RGBT-Scenes 와 ThermalMix 데이터셋의 14 개 장면에서 TDg 를 평가하여 MSMG 베이스라인과 성능을 비교했습니다.

• 렌더링 품질:

  • PSNR: TDg 는 평균 27.42를 달성하여 베이스라인 (27.18) 보다 0.01% 향상되었습니다.
  • SSIM: TDg 는 0.8899를 달성하여 베이스라인 대비 0.034% 개선되었습니다.
  • LPIPS: TDg 는 0.175를 달성하여 베이스라인 대비 1.12% 개선되었습니다 (낮을수록 좋음).
  • 정성적 결과는 특히 저조도 조건 ("Dark Scenes") 에서 더 나은 해상도와 더 적은 아티팩트를 보여주었습니다.

• 훈련 효율성:

  • TDg 는 장면당 평균 12 분 47 초의 훈련 시간을 크게 단축했습니다.
  • 이는 베이스라인 대비 **55%**의 속도 향상입니다.
  • 효율성 향상은 명시적인 공간 기울기를 제공하여 베이스라인에서 흔히 발생하는 "플로터 (floaters)"(빈 공간에서의 과도하고 비효율적인 밀집화) 를 방지하는 깊이 유도 감독에 기인합니다.

• 실패 사례:

  • 무작위 초기화: COLMAP 기반 기하학적 사전 지식이 없으면 모델은 새로운 뷰에 일반화하지 못하여 심각한 과적합 (PSNR 이 약 9.6 으로 하락) 을 초래합니다.
  • 가려진 영역: 360 도 열 촬영이 불가능한 대규모 구조물 (예: 건물) 의 경우 방법이 어려움을 겪으며, 관찰되지 않은 뒷면의 재구성이 열악합니다.

중요성과 주장

본 논문은 TDg 가 핵심 복사장 도출을 위한 RGB 데이터 의존성을 제거함으로써 열 이미징과 효율적인 3D 재구성 간의 간극을 성공적으로 메웠다고 주장합니다.

• 견고성: 이 방법은 가시광선에 독립적인 3D 장면 표현을 가능하게 하여, 조명 조건이 열악하거나 변동적인 감시, 수색 및 구조, 산업 점검에 적합합니다.
• 효율성: 단일 모달리티와 깊이 유도 최적화를 활용함으로써 다중 모달 융합 접근법과 비교하여 수렴을 가속화하고 처리 파이프라인을 단순화합니다.
• 응용 가능성: 생성된 열 복사장은 디지털 트윈으로 활용되거나 기존 것을 풍부하게 만들어, 다중 모달 하드웨어 동기화 없이 새로운 뷰포인트에서 열원 (사람, 기계) 을 식별하고 열 전달 행동을 분석할 수 있게 합니다.

저자들은 열 이미지만으로도 강력한 구조적 신호를 제공하지만, 추정된 깊이의 통합이 최적화 과정을 안내하는 데 필수적이며, 단일 모달리티 프레임워크에서 기하학적 정확성과 광도적 충실도를 효과적으로 균형 있게 맞춘다고 결론지었습니다.