기술 요약: P2GS – 광도 일관성을 갖춘 도시 재구성을 위한 물리적 사전 지향 가우시안 스플래팅

1. 문제 제기

3D 가우시안 스플래팅 (3DGS) 은 자율 주행 시뮬레이션에서 실시간 고품질 렌더링을 위한 강력한 도구로 자리 잡았으나, 광도 불일치라는 근본적인 한계를 안고 있습니다. 기존의 3DGS 는 모든 입력 뷰에서 노출과 톤 매핑이 일관된다고 암묵적으로 가정합니다. 그러나 실제 주행 데이터는 다음과 같은 이유로 이러한 가정을 위반합니다:

• 이질적인 카메라 파이프라인 및 이미지 신호 프로세서 (ISP).
• 카메라별 동적 노출 제어.
• 다양한 야외 조명 조건.

표준 3DGS 가 이러한 데이터로 학습되면, 노출 차이와 센서 노이즈가 학습된 방사장 (radiance field) 에 직접적으로 '구워져' (bakes) 들어갑니다. 그 결과 조명 불일치, 색상 편이, 특히 시뮬레이션에 중요한 정적 배경 영역에서 뷰 간에 보이는 이음새 등 심각한 아티팩트가 발생합니다. 기존 확장 방법들 (예: StreetGS, DrivingGaussian) 은 동적 객체 분리에 초점을 맞추고 있으나, 뷰 간 광도 일관성 문제를 해결하지 못합니다. 또한, 조명을 모델링하려는 이전 시도들 (예: GaussHDR, Luminance-GS) 은 다중 노출 감독을 필요로 하거나, 불안정한 가짜 HDR 합성에 의존하거나, 물리적 근거가 부족한 2D 보정을 적용합니다.

2. 방법론: P2GS

저자들은 HDR 감독 없이 저동적 범위 (LDR) 이미지로부터 노출 불변의 고동적 범위 (HDR) 방사장을 재구성하는 물리적으로 근거를 둔 프레임워크인 P2GS를 제안합니다. 이 방법은 LDR 공간에서의 최적화를 선형 HDR 도메인으로 전환하여, 고유한 장면 방사 (scene radiance) 를 카메라별 광도 반응과 분리합니다.

핵심 구성 요소

1. 선형 HDR 도메인 방사 표현:
   P2GS 는 관측된 LDR 픽셀 값에 직접 구형 조화 (SH) 계수를 피팅하는 대신, 이를 선형 HDR 방사로 최적화합니다. 이는 장면 방사가 카메라 이득과 톤 매핑과 분리된 물리적으로 의미 있는 필드 ($\hat{I}_{linear}$) 를 생성합니다.

2. 뷰별 노출 및 톤 모델링:
   프레임워크는 각 뷰 $i$에 대해 학습 가능한 매개변수를 도입합니다:

   • 노출 스케일 ($e_i$): 카메라 이득을 나타내는 양의 스칼라.
   • 톤 매핑 함수 ($T_i$): 비선형 카메라 반응을 모델링하기 위해 학습 가능한 감마 보정 ($\gamma_i$) 을 통해 근사화됨.
     이미지 형성 모델은 다음과 같이 정의됩니다: $I_i = T_i(e_i \cdot \hat{I}_{linear})$.

3. 불변 방사 원리 (PIR):
   이는 P2GS 의 이론적 초석입니다. 선형 HDR 도메인에서 서로 다른 카메라 뷰 간 관측된 방사 비율은 오직 상대적 노출 스케일에만 의존한다고 주장합니다:
   $$\frac{I^{(i)}_{linear}}{I^{(j)}_{linear}} = \frac{e_i}{e_j}$$
   이 원리는 카메라의 노출 설정과 무관하게 근본적인 장면 방사량이 불변임을 강제합니다.

통합 최적화 전략

P2GS 는 세 가지 항으로 구성된 전체 손실 함수 ($\mathcal{L}_{total}$) 를 최소화하는 통합 최적화 프레임워크를 사용합니다:

1. 광도 재구성 ($\mathcal{L}_{photo}$): 관측된 LDR 이미지와 합성 이미지 (렌더링된 HDR $\to$ 노출 $\to$ 톤 매핑) 간의 오차를 최소화합니다.
2. 상대적 노출 일관성 ($\mathcal{L}_{exp}$): 뷰 쌍 간의 렌더링된 HDR 강도 비율이 추정된 노출 스케일 비율과 일치하도록 PIR 제약을 강제합니다. 이를 통해 방사장이 노출 변동을 흡수하는 것을 방지합니다.
3. 정규화 ($\mathcal{L}_{reg}$):
   • 전역 스케일 모호성을 방지하기 위해 노출 매개변수의 절대 스케일을 고정합니다.
   • 뷰 간 노출 추정치의 과도한 분산을 패널티하여 안정성을 보장합니다.
   • 비물리적 해를 방지하기 위해 sRGB 표준 ($\approx 2.2$) 주변의 톤 매개변수 ($\gamma_i$) 에 소프트 사전 (soft prior) 을 적용합니다.

추론 시, 이 방법은 모든 학습 뷰에 걸쳐 학습된 노출 및 톤 매개변수를 평균화하여 안정적이고 깜빡임이 없는 렌더링을 생성합니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

• P2GS 프레임워크: HDR 감독 없이 작동하며, 노출 및 톤 변이로부터 고유 방사량을 분리하기 위해 불변 방사 원리를 내장한 3DGS 의 명시적 HDR 도메인 확장.
• 통합 최적화: 광도 손실, PIR 기반 제약, 물리적 정규화를 사용하여 HDR 방사, 뷰별 노출, 톤 매핑을 공동으로 최적화하는 완전 미분 가능한 전략.
• 최첨단 성능: 이질적인 ISP 를 가진 다중 카메라 주행 데이터셋에서 재구성 및 신규 뷰 합성 모두에서 기존 베이스라인을 능가하는 우수한 광도 일관성과 HDR 충실도 입증.

4. 실험 결과

저자들은 Waymo Open Dataset(실제 세계) 과 CARLA(합성, 제어된 조명) 에서 P2GS 를 평가했습니다.

• 정량적 성능 (Waymo):

  • P2GS 는 바닐라 3DGS, PVG, Luminance-GS 를 포함한 모든 비교 방법 중 가장 높은 SSIM(0.939) 과 가장 낮은 LPIPS(0.209) 를 달성했습니다.
  • HDR 불일치 점수 (HIS) 와 Std-Luminance가 크게 감소하여 시간적 및 뷰 간 밝기 안정성이 우수함을 나타냈습니다. 특히 P2GS 는 원시 지상 진실 (ground truth) 보다 낮은 불일치 점수를 달성했는데, 이는 표준 방법이 유지하는 데이터셋 유발 조명 노이즈를 P2GS 가 효과적으로 제거함을 시사합니다.
  • 신규 뷰 합성 (NVS) 에서 P2GS 는 일관된 우월성을 유지하며 다양한 조명 조건에 대한 강건성을 입증했습니다.

• 정성적 결과:

  • 베이스라인 방법들 (3DGS, PVG, Luminance-GS) 은 서로 다른 노출을 가진 뷰가 이어지는 곳에서 가시적인 이음새, 색상 편이, 불균일한 그림자를 나타냈습니다.
  • P2GS 는 모든 뷰에 걸쳐 부드럽게 일치하는 밝기와 색상을 가진 광도적으로 균일한 재구성을 생성하여 도로와 벽과 같은 정적 구조물에서의 이음새 아티팩트를 효과적으로 억제했습니다.

• 강건성 (CARLA):

  • 제어된 다양한 ISO 감도 (극단적인 노출 노이즈 시뮬레이션) 를 가진 합성 데이터셋 하에서, P2GS 는 베이스라인들 (예: Luminance-GS 및 아핀 변환된 3DGS) 의 심각한 저하에 비해 성능 저하가 미미했습니다.
  • 이는 P2GS 가 심한 손상 하에서도 노출 변동을 분리하고 뷰 불변 방사장을 보존할 수 있음을 확인시켜 줍니다.

• 애블레이션 연구:
  노출 일관성 손실 ($\mathcal{L}_{exp}$) 이나 정규화 항 ($\mathcal{L}_{reg}$) 중 하나를 제거하면 모든 지표에서 성능이 저하되어, 통합 물리 공식의 필요성이 검증되었습니다.

5. 중요성 및 주장

이 논문은 P2GS 가 광도적으로 안정된 3D 표현의 부재라는 자율 주행 시뮬레이션의 중요한 격차를 해결한다고 주장합니다. 카메라 의존적 왜곡을 실제 장면 방사로부터 분리함으로써 P2GS 는 다음과 같은 것을 가능하게 합니다:

• 신뢰할 수 있는 폐루프 시뮬레이션: 조명 일관성이 가장 중요한 인식 모델 및 시뮬레이터 훈련을 위해 물리적으로 일관된 배경 제공.
• 노출 불변 제어: 표준 3DGS 에서는 불가능한 임의의 노출 스케일 하에서 연속적이고 아티팩트 없는 재렌더링 허용.
• 확장성: 제어된 환경이나 다중 노출 입력 없이 희소하고 대규모의 주행 데이터에서 작동하는 솔루션 제공.

저자들은 P2GS 가 정적 배경에 초점을 맞추고 아직 재료 특성과 외부 조명을 명시적으로 분리하지는 않지만 (향후 방향), 자율 주행에서 대규모 도시 재구성을 위한 강력하고 물리적으로 일관된 기반을 확립했다고 결론지었습니다.