S2R-HDR: A Large-Scale Rendered Dataset for HDR Fusion

이 논문은 Unreal Engine 5 를 활용해 24,000 개의 고품질 HDR 샘플로 구성된 대규모 합성 데이터셋 S2R-HDR 과 도메인 적응 모듈 S2R-Adapter 를 제안하여, 학습 데이터 부족 문제를 해결하고 HDR 융합 모델의 일반화 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

이 논문은 **"S2R-HDR"**이라는 새로운 기술과 데이터를 소개합니다. 이를 쉽게 이해하기 위해 **'사진 찍기'**와 **'요리'**에 비유해 설명해 드리겠습니다.

1. 문제점: 왜 HDR 사진이 어려울까요?

HDR(High Dynamic Range) 이란 아주 밝은 햇빛과 아주 어두운 그림자가 동시에 있는 장면을 찍었을 때, 두 부분 모두 선명하게 보여주는 기술입니다.

하지만 현실에서는 이런 사진을 찍기가 매우 어렵습니다.

• 비유: 마치 거대한 폭포 옆에서 동시에 '어두운 동굴'과 '태양'을 찍으려 하는 것과 같습니다. 카메라는 한 번에 너무 밝거나 너무 어두운 부분을 모두 잡기 힘들어합니다.
• 현실의 문제: 연구진들은 AI 가 이 문제를 해결하도록 가르치기 위해 수많은 '정답이 있는 사진' (데이터) 이 필요합니다. 하지만 실제로 이런 복잡한 장면을 찍으려면 날씨, 조명, 움직이는 사람이나 차 등을 완벽하게 통제해야 하는데, 이는 시간과 돈이 너무 많이 들고, 기술적으로 거의 불가능에 가깝습니다. 기존에 있던 데이터들은 너무 적고, 움직임이 단순해서 AI 가 복잡한 현실을 잘 배우지 못했습니다.

2. 해결책 1: S2R-HDR (가상 현실 요리 교실)

저자들은 "현실에서 사진을 찍는 대신, 가상 현실 (게임 엔진) 안에서 완벽하게 통제된 사진을 찍자"고 생각했습니다.

• 비유: 이는 마치 실제 식당을 차려서 손님을 기다리는 대신, '가상 현실 요리 교실'을 여는 것과 같습니다.
  • 무한한 재료: 게임 엔진 (Unreal Engine 5) 을 이용해 햇빛, 비, 눈, 밤하늘, 움직이는 사람, 차, 동물 등 어떤 상황도 자유롭게 만들 수 있습니다.
  • 대량 생산: 실제로는 몇 장 찍기도 힘든 데이터를, 컴퓨터로 24,000 장이나 완벽하게 만들어냈습니다. (기존 데이터의 166 배!)
  • 정답 제공: 이 가상 사진들은 '정답' (어떻게 합쳐져야 완벽한 HDR 이 되는지) 을 알고 있기 때문에 AI 가 배우기에 최적입니다.

3. 해결책 2: S2R-Adapter (가상과 현실을 잇는 번역기)

하지만 여기서 한 가지 문제가 생깁니다. 가상 현실에서 만든 사진은 너무 완벽해서, 실제 카메라로 찍은 사진과 느낌이 다릅니다. (예: 게임 속 나무는 너무 매끄럽고, 실제 나무는 거칠고 복잡함).

• 비유: 가상 교실에서 배운 요리사가 실제 식당에 가면, 재료가 다르고 환경이 달라서 당황할 수 있습니다.
• 해결책 (S2R-Adapter): 저자들은 이 AI 요리사에게 **'번역기'**를 달아주었습니다.
  • 이 번역기는 가상에서 배운 '기본 기술 (요리법)'은 잊지 않게 지키면서, 실제 식당의 환경 (거친 질감, 예상치 못한 조명) 에 맞춰 즉석에서 적응할 수 있게 도와줍니다.
  • 이 기술은 정답이 없는 사진을 볼 때도 작동합니다. AI 가 "어? 이 사진은 내가 배운 것과 좀 다르네?"라고 느끼면, 번역기가 그 차이를 자동으로 채워주어 완벽한 사진을 만들어냅니다.

4. 결과: 무엇이 달라졌나요?

이 방법을 사용하면 다음과 같은 놀라운 변화가 일어납니다.

• 유령 현상 제거: 빠르게 움직이는 사람이나 차를 찍을 때 생기는 '유령처럼 번지는 현상'이 사라집니다.
• 햇빛 속의 디테일: 직사광선이 비치는 매우 밝은 부분에서도 구름이나 건물의 디테일이 선명하게 살아납니다.
• 범용성: 이 기술은 CNN 이나 트랜스포머 등 다양한 AI 모델에 적용할 수 있으며, 데이터가 부족한 분야에서도 AI 가 잘 작동하도록 돕습니다.

요약

이 논문은 **"현실에서 사진을 찍기 너무 힘들니까, 게임 엔진으로 완벽한 '가상 데이터'를 대량으로 만들고, 그걸 실제 상황에 맞게 '번역'해주는 기술을 개발했다"**는 내용입니다.

이는 마치 가상 현실에서 수만 번 연습한 요리사가, 번역기 하나만 달고도 어떤 실제 식당에서도 최고의 요리를 만들어내는 상황과 같습니다. 앞으로 자율주행, 스마트폰 카메라, 영화 제작 등 다양한 분야에서 HDR 기술의 질을 획기적으로 높여줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

고동적 범위 (HDR) 합성 (Fusion) 기술은 계산 사진학, 시각적 인식, 자율 주행 등 다양한 분야에서 핵심적인 역할을 합니다. 그러나 기존 학습 기반 HDR 모델의 일반화 (Generalization) 능력은 대규모 고품질 학습 데이터의 부재로 인해 심각하게 제한받고 있습니다.

• 데이터 수집의 어려움: 동적인 장면에서 대규모 HDR 데이터를 수집하는 것은 시간과 비용이 많이 들며, 조명 조건, 날씨, 동적 객체 (동물, 차량 등) 의 통제 불가능성으로 인해 기술적으로 매우 어렵습니다.
• 기존 데이터셋의 한계: 현재 존재하는 HDR 데이터셋 (Kalantari et al., 2017; Tel et al., 2023 등) 은 대부분 인위적으로 통제된 소규모 장면 (주로 인간의 움직임 위주) 에 국한되어 있으며, 직사광선과 같은 극단적인 고동적 범위 시나리오나 다양한 동적 요소를 포괄하지 못합니다.
• 과적합 (Overfitting): 작은 데이터셋으로 훈련된 모델은 복잡한 장면이나 큰 움직임이 있는 환경에서 성능이 저하되고 과적합되기 쉽습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 **대규모 합성 데이터셋 (S2R-HDR)**과 **도메인 적응 기법 (S2R-Adapter)**을 제안했습니다.

가. S2R-HDR 데이터셋 (Synthetic-to-Real HDR Dataset)

• 규모와 품질: Unreal Engine 5 를 활용하여 24,000 개의 고품질 HDR 샘플을 생성했습니다. 이는 기존 데이터셋 (약 100~150 개) 보다 약 166 배 큰 규모입니다.
• 다양성:
  • 동적 요소: 인간, 동물, 차량 등 다양한 움직임을 포함합니다.
  • 환경: 실내/실외, 낮/황혼/밤, 직사광선 포함 극단적인 조명 조건을 포괄합니다.
  • 렌더링 파이프라인: 톤 매핑이 '베이킹 (baked-in)'되지 않은 선형 HDR 공간 (Linear HDR space) 에서 EXR 포맷으로 렌더링하여 원본 HDR 데이터의 정밀도를 유지합니다. 또한, 실제 촬영 시 발생하는 카메라 흔들림 (Camera Shake) 을 시뮬레이션하여 현실감을 높였습니다.
• 데이터 확장성: 선형 HDR 데이터이므로 밝기 증폭, 움직임 크기 조절 등 다양한 데이터 증강 (Data Augmentation) 이 용이합니다.

나. S2R-Adapter (Synthetic-to-Real Adapter)

합성 데이터와 실제 데이터 간의 **도메인 간극 (Domain Gap)**을 해소하기 위해 제안된 플러그 앤 플레이 (Plug-and-Play) 도메인 적응 모듈입니다.

• 구조: 두 가지 브랜치로 구성됩니다.
  1. Share Branch (공유 브랜치): 저랭크 어댑터 (Low-rank adapter) 를 사용하여 합성 데이터에서 학습된 지식을 보존하고 망각 (Forgetting) 을 방지합니다.
  2. Transfer Branch (전송 브랜치): 고랭크 어댑터 (High-rank adapter) 를 사용하여 실제 데이터의 도메인별 지식 (예: 더 사실적인 질감) 을 학습합니다.
• 학습 전략:
  • 레이블이 있는 데이터: 두 브랜치의 스케일 팩터 ($\alpha_s, \alpha_t$) 를 학습하여 공유 지식과 전송 지식 간의 균형을 맞춥니다.
  • 레이블이 없는 데이터 (Test-Time Adaptation): 테스트 시 입력 데이터의 불확실성 (Uncertainty) 을 기반으로 스케일 팩터를 동적으로 조정합니다. 도메인 간극이 클수록 전송 브랜치의 가중치를 높이고, 작을수록 공유 브랜치의 가중치를 높여 적응합니다.
  • 지식 보존: Mean-Teacher 프레임워크와 재파라미터화 (Re-parameterization) 기법을 사용하여 추론 시 추가적인 계산 오버헤드 없이 효율적으로 적용됩니다.

3. 주요 기여 (Key Contributions)

1. S2R-HDR 데이터셋 공개: HDR 합성 작업을 위한 최초의 대규모 고품질 합성 데이터셋 (24,000 개) 을 공개했습니다. 이는 기존 데이터셋보다 훨씬 다양하고 통제 가능한 환경을 제공합니다.
2. S2R-Adapter 제안: 합성 데이터에서 훈련된 모델을 실제 데이터에 효과적으로 적응시키기 위한 새로운 도메인 적응 방법을 제시했습니다. 이 방법은 레이블이 있는 데이터와 없는 데이터 모두에서 작동하며, 지식 망각을 방지합니다.
3. State-of-the-Art 성능 달성: 실제 데이터셋 (SCT, Challenge123) 에 대한 실험을 통해 제안된 방법론이 기존 최첨단 (SOTA) 모델들보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 레이블이 있는 데이터셋 평가 (SCT, Challenge123):
  • S2R-HDR로 사전 훈련된 모델에 S2R-Adapter 를 적용한 결과, 기존 데이터셋 (SCT, Challenge123) 만으로 훈련된 모델보다 PSNR-µ 기준 최소 0.6dB, 최대 2dB 이상 향상된 성능을 기록했습니다.
  • 모션 오버랩 (Motion Occlusion) 으로 인한 아티팩트 (Ghosting) 가 현저히 감소하고, 직사광선과 같은 고동적 범위 장면의 하이라이트 복원 능력이 우수함을 시각적으로 확인했습니다.
• 레이블이 없는 데이터셋 평가 (Test-Time Adaptation):
  • Ground Truth 없이 테스트 시 적응 (TTA) 을 수행했을 때, 기존 실세계 데이터셋으로 훈련된 모델보다 S2R-HDR 기반 모델이 훨씬 뛰어난 일반화 능력을 보였습니다.
  • SAFNet 모델의 경우, S2R-Adapter 적용 시 PSNR-ℓ 기준 8.46dB의 큰 향상을 보였습니다.
• 지식 보존 (Knowledge Control):
  • 단순 파인튜닝 (Fine-tuning) 에 비해 S2R-Adapter 는 실제 데이터에 적응하면서도 합성 데이터에서 학습한 지식을 더 잘 보존하여 (Knowledge Forgetting 감소), 원본 S2R-HDR 데이터셋에서도 성능 저하가 적음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 HDR 합성 분야에서 데이터 수집의 어려움이라는 근본적인 문제를 해결하기 위한 새로운 패러다임을 제시합니다.

• 데이터 의존성 해소: 대규모 고품질 합성 데이터와 효과적인 도메인 적응 기법을 결합함으로써, 실제 데이터 수집이 어렵거나 비용이 많이 드는 상황에서도 강력한 HDR 모델을 구축할 수 있는 길을 열었습니다.
• 범용성: 제안된 S2R-Adapter 는 CNN 기반 및 Transformer 기반 모델 등 다양한 네트워크 구조에 적용 가능하며, 레이블 유무에 관계없이 작동하여 HDR fusion 뿐 아니라 데이터 수집이 제한된 다른 컴퓨터 비전 분야에도 적용 가능한 가능성을 보여줍니다.

결론적으로, S2R-HDR과 S2R-Adapter는 HDR 합성 기술의 일반화 성능을 획기적으로 향상시켰으며, 향후 동적 장면 처리 및 고동적 범위 이미징 연구의 새로운 표준으로 자리 잡을 것으로 기대됩니다.