Full Dynamic Range Sky-Modelling For Image Based Lighting

이 논문은 고해상도 환경 맵 생성 시 기존 딥러닝 모델의 한계를 극복하고 태양 및 구름 형성을 정밀하게 제어할 수 있는 풀 다이내믹 레인지 (FDR) 기반의 새로운 하늘 모델 '이카루스 (Icarus)'를 제안하여 이미지 기반 조명 (IBL) 의 사실성과 정확도를 혁신적으로 향상시켰음을 보여줍니다.

핵심

1. 왜 하늘을 만드는 게 어렵죠? (기존의 문제점)

컴퓨터로 현실 같은 장면을 만들 때, 가장 중요한 것은 빛입니다. 하지만 하늘을 컴퓨터로 그리는 것은 생각보다 훨씬 어렵습니다.

• 과도한 밝기 차이 (다이나믹 레인지):
  하늘을 보면, 구름은 어둡지만 태양은 눈이 부실 정도로 밝습니다. 이 밝기 차이는 14 단계나 됩니다.

  • 비유: 마치 어두운 방 한구석에 있는 촛불과 태양빛이 쏟아지는 정오의 광장을 동시에 한 장의 사진에 담으려 하는 것과 같습니다.
  • 기존 모델의 실패: 기존 인공지능 (DNN) 모델들은 이 엄청난 밝기 차이를 처리하지 못했습니다. 태양을 그리려다 구름이 다 날아가거나, 구름을 그리려다 태양이 너무 어둡게 그려져서, 그림자가 이상하게 생기거나 색감이 뭉개지는 문제가 생겼습니다. 마치 고양이와 코끼리를 동시에 그리려다 둘 다 못 그리는 상황과 비슷합니다.

• 조절 불가능한 빛:
  기존 모델들은 하늘을 한 번 만들어두면, 태양의 위치나 구름의 모양을 사용자가 마음대로 바꿀 수 없었습니다. 마치 실제 하늘을 찍은 사진을 쓰는데, "태양을 좀 왼쪽으로 옮겨줘"라고 해도 안 되는 것과 같습니다.

2. Icarus(이카루스) 의 해결책: "조각조각 맞추기"

이카루스는 이 문제를 해결하기 위해 아주 영리한 전략을 썼습니다. 바로 **"노출 브래킷 (Exposure Bracketing)"**이라는 기술을 인공지능에 적용한 것입니다.

• 비유: 카메라의 '연속 촬영'과 '합성'
  전문 사진작가들이 아주 밝은 풍경 (예: 일출) 을 찍을 때, 한 번에 다 찍지 않습니다.

  1. 어둡게 찍은 사진 (태양은 하얗게, 구름은 잘 보임)
  2. 보통으로 찍은 사진
  3. 밝게 찍은 사진 (구름은 어둡게, 태양의 디테일 보임)
     이렇게 여러 장을 찍은 뒤, 컴퓨터로 합쳐서 완벽한 한 장을 만듭니다.

• Icarus 의 방식:
  Icarus 는 이 과정을 생각의 단계로 바꿨습니다.

  1. 인공지능이 하늘을 그릴 때, 한 장의 완성된 그림을 바로 그리지 않습니다.
  2. 대신, **밝기별로 나눈 여러 장의 '조각' (LDR 브래킷)**을 먼저 그립니다. (어두운 조각, 밝은 조각 등)
  3. 그다음, 이 조각들을 **인공지능이 직접 합치는 기술 (퓨전)**을 써서, 태양의 눈부심과 구름의 부드러운 색을 모두 살린 완벽한 고화질 하늘을 만들어냅니다.

이 덕분에 태양이 너무 밝아서 생기는 '화상' 같은 문제나, 구름이 너무 어둡게 변하는 문제가 사라졌습니다.

3. Icarus 가 주는 특별한 선물: "사용자의 자유"

기존 모델들은 하늘을 찍은 사진처럼 고정되어 있었지만, Icarus 는 사용자가 직접 하늘을 디자인할 수 있게 해줍니다.

• 태양과 구름의 위치 조절:
  "태양을 해 질 녘으로 옮기고 싶다", "구름을 왼쪽으로 밀고 싶다"라고 하면, Icarus 는 빛의 방향과 그림자까지 자연스럽게 따라 움직입니다.

  • 비유: 마치 마법사가 하늘을 조종하는 것 같습니다. 태양을 움직이면 그림자가 자연스럽게 길어지고, 구름을 옮기면 빛이 구름 사이로 비치는 방식이 바뀝니다.

• 스타일 바꾸기:
  "우울한 비 오는 날 같은 구름을 원해", "신비로운 보라색 하늘을 원해"라고 하면, 다른 사진의 느낌을 가져와서 적용할 수 있습니다.

  • 비유: 하늘에 필터를 씌우는 것처럼, 구름의 질감이나 색을 마음대로 바꿀 수 있습니다.

4. 결론: 왜 이것이 중요한가요?

이 기술은 게임, VR(가상현실), 영화 제작에 혁명을 일으킵니다.

• 이전: 현실 같은 장면을 만들려면, 실제 하늘을 찍은 고가의 사진을 구하거나, 물리 법칙을 복잡하게 계산해야 했습니다.
• 이제: Icarus 를 사용하면, 컴퓨터가 스스로 태양의 위치, 구름의 모양, 빛의 강도를 완벽하게 계산해서 만들어냅니다.

한 줄 요약:

Icarus 는 "태양은 너무 밝고, 구름은 너무 어두운" 하늘을 조각조각 나누어 그렸다가, 다시 완벽하게 이어붙여 우리가 눈으로 보는 현실과 똑같은 빛과 그림자를 만들어내는 마법 같은 인공지능입니다.

이제 영화나 게임 속 하늘이 더 이상 가짜처럼 보이지 않게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 환경 맵 (Environment Maps) 생성 및 하늘 모델링 기술은 다음과 같은 한계를 가지고 있었습니다:

• 동적 범위 (Dynamic Range) 의 부재: 기존의 딥러닝 기반 하늘 모델 (DNN sky-models) 은 고해상도에서 태양 영역 (Solar region) 의 14EV 이상의 광범위한 노출 범위를 정확하게 모델링하지 못했습니다. 이로 인해 그림자, 빛의 전달 (light transmission), 톤 (tones) 이 왜곡된 결과가 나왔습니다.
• 톤 매핑의 비선형성: 고동적 범위 (HDR) 이미지를 저동적 범위 (LDR) 로 압축하기 위해 사용되는 톤 매핑 연산자 (Tone Mapping Operators) 는 태양과 같은 고강도 영역에서 작은 LDR 오차가 HDR 공간에서 기하급수적으로 큰 오차로 변환되는 비선형성을 유발합니다.
• 클래스 불균형 (Class Imbalance): 태양 픽셀은 전체 이미지의 극히 일부이지만, 조명에 가장 큰 영향을 미칩니다. 기존 모델들은 이 불균형으로 인해 태양의 밝기를 과소평가하거나, 반대로 구름의 질감을 흐리게 만드는 트레이드오프에 직면했습니다.
• 물리적 캡처의 의존성: 현재까지 가장 정확한 하늘 조명은 물리적으로 촬영된 HDR 이미지 (FDR) 에 의존하고 있으며, 이는 시간과 비용이 많이 들고 유연성이 떨어집니다.

2. 방법론 (Methodology)

저자는 Icarus라는 새로운 아키텍처를 제안하여 위의 문제들을 해결합니다. 핵심 아이디어는 HDR 이미지를 직접 생성하는 것이 아니라, **LDR 노출 브래킷 (LDR Exposure Brackets)**으로 분해하여 학습한 후 다시 융합하는 방식입니다.

2.1. HDR 이미지 분해 및 LDR 브래킷링 (Bracketing)

• 기존 방식처럼 HDR 이미지를 톤 매핑하여 LDR 로 변환하는 대신, HDR 이미지를 여러 개의 LDR 노출 브래킷으로 분해합니다.
• 각 브래킷은 서로 다른 노출 시간 ($\Delta t_n$) 을 가지며, 이는 카메라의 노출 브래킹 (Bracketing) 개념을 딥러닝에 적용한 것입니다.
• 이 방식은 톤 매핑 연산자의 필요성을 제거하고, 고노출 영역에서의 클래스 불균형 문제를 완화합니다.

2.2. 모델 아키텍처 (Icarus Architecture)

• 스타일 인코더 및 매핑 (Style Encoder & Mapper): SEAN (Semantic Region-Adaptive Normalization) 을 기반으로 하여, 입력 이미지의 분할 레이블 (Segmentation) 과 스타일 코드 (Style Codes) 를 통해 구름, 태양, 하늘의 질감과 밝기를 제어합니다.
  • RGB-Style Encoder: 입력 이미지에서 스타일 코드를 추출하여 지도 학습 (Supervised Learning) 을 가능하게 합니다.
  • RND-Style Mapper: 분할 레이블만 입력받아 스타일 코드를 생성하여, 레이블이 없는 경우에도 다양한 하늘을 생성할 수 있게 합니다.
• 디코더 (Decoder): 생성된 잠재 이미지 (Latent Image) 를 $N$개의 LDR 브래킷 ($\{ \check{I}_n \}$) 으로 출력합니다.
  • 동기화된 노출 학습: 고노출과 저노출 간의 특징 불일치를 방지하기 위해, 노출 시간을 점진적으로 감소시키는 (Iterative Decay) 전략을 사용하여 모든 디코더 헤드를 동기화하여 학습합니다.
• 퓨전 모듈 (Fusion Module): 생성된 LDR 브래킷들을 다시 HDR 이미지로 합칩니다.
  • 기존 Robertson 퓨전 방식을 개선한 **DNN 퓨전 모듈 ($f_{DNN}$)**을 제안하여, 각 노출에 대해 적응형 가중치 ($W_n$) 를 학습합니다. 이는 노이즈 제거와 정확한 조명 복원에 기여합니다.

2.3. 손실 함수 및 판별자 (Losses & Discriminators)

• LDR 판별자: 각 노출 브래킷별로 독립적으로 학습을 유도하여 개별 노출의 품질을 보장합니다.
• HDR 판별자: 전체 브래킷의 일관성을 확인하여 노출 간의 불연속성 (아티팩트) 을 방지합니다.
• 적응형 그라디언트 페널티: GAN 학습의 안정성을 높이기 위해 적용되었습니다.

3. 주요 기여 (Key Contributions)

1. Icarus 모델 제안: FDR 물리 촬영 이미지의 전체 노출 범위를 학습할 수 있는 최초의 포괄적인 DNN 하늘 모델입니다.
2. LDR 브래킷링 접근법: 톤 매핑의 비선형성 문제를 우회하고, 고동적 범위 (14EV+) 의 태양 영역을 정확하게 모델링하기 위해 HDR 이미지를 LDR 브래킷으로 분해하는 새로운 프레임워크를 제시했습니다.
3. 사용자 제어 및 스타일 전이: 사용자의 위치 제어 (태양 및 구름 배치) 와 이미지 - 투 - 이미지 (Image-to-Image) 스타일 전이를 통해 구름 질감 및 대기 형성의 스타일을 자유롭게 편집할 수 있는 기능을 제공합니다.
4. 정량적 및 정성적 평가: 기존 SOTA 모델 (AllSky 등) 과 비교하여 조명 정확도, 그림자 방향성, 톤 재현성에서 월등한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 라발 HDR 스카이 데이터베이스 (HDRDB) 를 사용했으며, 2562 및 5122 해상도에서 평가했습니다.
• 성능 지표:
  • 시각적 품질: FID, MiFID, HDR-VDP3 지표에서 기존 모델 (AllSky) 보다 우수한 결과를 보였습니다. 특히 Robertson 퓨전 ($f_{Robertson}$) 또는 DNN 퓨전 ($f_{DNN}$) 을 사용할 때 시각적 품질이 크게 향상되었습니다.
  • 조명 정확도: 통합 조명 (Integrated Illumination, $\hat{I}$) 과 피크 휘도 (Peak Luminance, $PL_\Omega$) 측치에서 물리적으로 촬영된 Ground Truth 와 매우 유사한 값을 기록했습니다.
  • 안정성: AllSky 모델은 톤 매핑으로 인해 노출 범위 (EV) 와 피크 휘도에서 큰 변동성을 보인 반면, Icarus 는 일출부터 일몰까지 일관된 조명과 그림자를 생성했습니다.
• 시각적 결과:
  • 태양이 구름 뒤에 가려진 경우나 맑은 날 등 다양한 기상 조건에서 자연스러운 그림자와 빛의 전달 (Glass orb 투과 등) 을 구현했습니다.
  • 기존 모델들이 태양을 '뚫고 지나가는' (pierce through) 비현실적인 그림자를 생성하는 것과 달리, Icarus 는 대기 감쇠 (Atmospheric attenuation) 를 정확히 모사했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• IBL 응용의 혁신: Icarus 는 물리적으로 촬영된 HDR 이미지와 파라메트릭 하늘 모델의 장점을 모두 결합하여, 가상 현실 (VR), 게임, 영화 제작 등 이미지 기반 조명 (IBL) 분야에서 사실적이고 정확한 조명을 제공할 수 있는 새로운 표준을 제시합니다.
• 데이터셋의 한계 극복: 기존 DNN 모델들이 고해상도에서 태양 영역을 제대로 학습하지 못했던 문제를 해결함으로써, 향후 더 고해상도의 하늘 모델링 연구의 기반을 마련했습니다.
• 유연성: 사용자는 태양의 위치, 구름의 형태, 대기 질감 등을 직관적으로 제어할 수 있어, 예술적 표현과 과학적 시뮬레이션 모두에 활용 가능합니다.

요약하자면, Icarus는 딥러닝을 통해 자연스러운 하늘의 모든 동적 범위 (FDR) 를 재현하고, 사용자의 제어를 가능하게 함으로써 이미지 기반 조명 분야에서 획기적인 정확도와 사실성을 달성한 모델입니다.