IntrinsicWeather: Controllable Weather Editing in Intrinsic Space

이 논문은 확산 모델을 기반으로 한 'IntrinsicWeather' 프레임워크를 제안하여, 내재적 공간 (intrinsic space) 에서 재현된 물성, 기하, 조명 맵과 텍스트 프롬프트를 활용하여 대규모 야외 장면에서도 정밀한 날씨 편집을 가능하게 하고 자율주행 등 하위 작업의 강건성을 향상시킵니다.

핵심

🌦️ 'IntrinsicWeather': 날씨를 마음대로 바꾸는 마법의 렌즈

이 논문은 자율주행차나 영상 제작을 위해 날씨를 마음대로 바꿀 수 있는 새로운 기술, **'IntrinsicWeather(내재적 날씨)'**를 소개합니다.

기존의 방법들은 그림자나 비, 눈이 있는 사진을 단순히 '필터'처럼 덮어씌우거나 지우는 방식이었다면, 이 기술은 사진의 '뼈대'와 '살'을 분리해서 다시 조립하는 방식을 사용합니다.

이해하기 쉽게 요리와 인형극에 비유해서 설명해 드릴게요.

---

1. 기존 방식 vs. 새로운 방식: "필터"와 "조리"의 차이

• 기존 방식 (픽셀 편집):
  마치 사진에 비 오는 효과를 스티커처럼 붙이는 것과 같습니다. 비를 지우려고 하면 나무나 차의 모양까지 찌그러지거나, 비를 추가하면 그림자가 엉뚱한 곳에 생기거나 물체가 사라지는 등 어색한 결과가 나옵니다.

  비유: 비가 오는 사진 위에 '맑은 날' 스티커를 붙이면, 스티커 아래에 있던 나무가 뚝 잘려나가는 꼴이 됩니다.

• IntrinsicWeather 방식 (내재적 공간 편집):
  이 기술은 사진을 **재료 (알베도/색깔), 모양 (정규 맵/기하학), 그리고 조명 (빛/날씨)**으로 완벽하게 분리합니다.

  비유: 비가 오는 장면을 요리할 때, '비'라는 재료를 빼고 '맑은 날'이라는 재료를 넣는 것이 아니라, 요리 그릇 (장면의 구조) 을 그대로 유지한 채 국물 (날씨) 만 갈아엎는 것과 같습니다.

---

2. 두 가지 핵심 마법사: '해체자'와 '재조립자'

이 시스템은 두 명의 마법사 (컴퓨터 프로그램) 가 팀을 이루어 작동합니다.

① 첫 번째 마법사: '해체자' (Inverse Renderer)

• 역할: 입력된 사진 (예: 비 오는 도시) 을 받아서 날씨와 상관없는 본질만 뽑아냅니다.
• 무엇을 하나요?
  • 재료 (Albedo): 차의 빨간색, 도로의 회색 등 본래의 색을 유지합니다.
  • 모양 (Normal): 건물의 각도, 나무의 형태 등 3D 구조를 기억합니다.
  • 날씨 제거: 비, 눈, 안개, 그림자 등 '날씨 때문에 생긴 것들'만 분리해냅니다.
• 특기: **IMAA(내재적 지도 주의력)**라는 기술을 써서, 멀리 있는 작은 차나 복잡한 구조물도 놓치지 않고 정확하게 분리해냅니다. 마치 현미경으로 사진 속 미세한 입자까지 찾아내는 것 같습니다.

② 두 번째 마법사: '재조립자' (Forward Renderer)

• 역할: 해체자가 건네준 '본질' (재료와 모양) 에 사용자의 명령 (예: "눈이 오는 날로 바꿔줘") 을 받아 새로운 사진을 그립니다.
• 무엇을 하나요?
  • CLIP 이라는 AI 언어 모델을 이용해 "비", "눈", "안개"라는 단어의 의미를 수학적으로 연결합니다.
  • "비"에서 "눈"으로 부드럽게 넘어가는 중간 상태도 자연스럽게 만들어냅니다.
  • 분리된 '본질' 위에 새로운 날씨의 빛과 입자를 입혀 자연스러운 결과물을 만듭니다.

---

3. 왜 이 기술이 중요한가요? (실생활 예시)

이 기술은 단순히 사진 보정을 넘어 안전과 창의성에 큰 도움을 줍니다.

• 🚗 자율주행차의 눈 (안전):
  자율주행차는 비나 눈, 안개가 끼면 차를 잘 못 봅니다. 이 기술을 쓰면 비 오는 날의 사진을 맑은 날로 변환해서 AI 가 차와 보행자를 더 정확하게 인식하게 할 수 있습니다.

  실험 결과: 이 기술을 적용하자 AI 의 차량 인식 정확도가 87%나 급상승했습니다! (비 오는 날의 안개 속에서도 차를 똑똑하게 보는 것)

• 🎬 영화와 게임 (창의성):
  비 오는 장면을 찍은 원본을 가지고, "이 장면을 눈 오는 밤으로 바꿔줘"라고 하면, 건물과 차의 모양은 그대로 유지하면서 눈이 쌓이고 조명이 바뀌는 자연스러운 장면을 만들어냅니다.

---

4. 요약: 한 문장으로 정리하면?

"IntrinsicWeather 는 사진을 '날씨'와 '장면의 본질'로 잘게 쪼개서, 날씨만 마음대로 갈아끼우면서도 장면의 모양과 질감은 그대로 살려내는 마법의 도구입니다."

이 기술은 앞으로 자율주행차가 어떤 날씨에서도 안전하게 운전할 수 있게 돕고, 영화 제작자들이 날씨를 걱정하지 않고 더 창의적인 영상을 만들 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 및 컴퓨터 비전 분야에서 악천후 (비, 눈, 안개 등) 는 환경 인식 모델의 성능을 크게 저하시킵니다. 이를 해결하기 위해 기존에는 다음과 같은 방법들이 사용되었으나 한계가 존재합니다.

• 픽셀 공간 편집 (Pixel-space Editing): 기존 확산 모델 (Diffusion Models) 을 이용한 이미지 편집 기법들은 픽셀 단위로 직접 이미지를 수정합니다. 이 방식은 날씨 효과를 제거하거나 추가할 때 장면의 **기하학적 구조 (Geometry)**와 **재료 속성 (Material)**이 왜곡되거나 일관성이 깨지는 문제가 발생합니다.
• 물리적 해석의 부재: 기존 방법들은 장면의 조명, 재질, 기하학을 분리하지 않고 통합적으로 처리하므로, 자연스러운 조명 변화와 물리적으로 타당한 날씨 효과를 제어하기 어렵습니다.
• 데이터 부족: 대규모 자율주행 시나리오에서 다양한 날씨 조건과 이에 대응하는 내재적 맵 (Intrinsic Maps) 이 쌍을 이룬 데이터셋이 부족했습니다.

2. 방법론 (Methodology)

저자들은 IntrinsicWeather라는 새로운 프레임워크를 제안합니다. 이는 이미지를 픽셀 단위가 아닌 **내재적 공간 (Intrinsic Space)**으로 분해하고 재합성하여 날씨를 제어합니다. 프레임워크는 크게 두 가지 확산 모델 (Diffusion Priors) 기반 구성 요소로 이루어집니다.

A. 역 렌더링 (Inverse Renderer)

• 역할: 입력된 이미지를 내재적 맵 (Intrinsic Maps) 으로 분해합니다.
• 분해 대상:
  • 날씨 불변 맵 (Weather-invariant): 알베도 (Albedo), 거칠기 (Roughness), 금속성 (Metallicity), 법선 (Normal). 이는 장면의 본질적인 재질과 기하학을 나타냅니다.
  • 날씨 가변 맵 (Weather-variant): 조도 (Irradiance). 이는 조명과 날씨 효과 (비, 눈, 안개 등) 를 포착합니다.
• 핵심 기술: 내재적 맵 인식 어텐션 (Intrinsic Map-Aware Attention, IMAA)
  • 대규모 야외 장면에서 멀리 있는 작은 객체나 복잡한 기하학적 구조를 정확하게 분해하기 위해 도입되었습니다.
  • DINOv2 를 통해 패치 토큰 (Patch tokens) 을 추출하고, 각 내재적 맵 (예: 법선 맵은 기하학, 금속성 맵은 차량/철제 구조물) 에 해당하는 중요한 영역을 학습 가능한 임베딩과 게이팅 메커니즘을 통해 선별합니다.
  • 이 정보를 Diffusion Transformer (DiT) 의 어텐션 편향 (Attention Bias) 으로 활용하여, 모델이 해당 맵에 중요한 영역에 집중하도록 유도합니다.

B. 순 렌더링 (Forward Renderer)

• 역할: 분해된 내재적 맵과 텍스트 프롬프트 (목표 날씨) 를 결합하여 새로운 이미지를 합성합니다.
• 세밀한 날씨 제어:
  • CLIP 공간에서 날씨 프롬프트 (예: "비", "맑음") 간의 보간 (Interpolation) 을 수행합니다.
  • $\alpha$ 파라미터를 조절하여 맑은 날에서 비 오는 날까지 자연스러운 과도기적 날씨 상태를 생성할 수 있습니다.
• 지식 증류 (Feature Distillation): 사전 학습된 Stable Diffusion 의 풍부한 선지 (Prior) 를 유지하기 위해, 순 렌더링의 중간 특징을 원본 모델과 정렬합니다.

C. 데이터셋 구축

• WeatherSynthetic: Unreal Engine 5 를 사용하여 생성된 38,000 장의 합성 데이터셋입니다. 다양한 날씨 (맑음, 흐림, 비, 눈, 안개, 모래폭풍 등) 와 시간대, 환경 (도시, 고속도로 등) 을 포함하며, 고품질의 내재적 맵 어노테이션이 제공됩니다.
• WeatherReal: Waymo, KITTI 등 오픈 소스 자율주행 데이터셋을 역 렌더러로 처리하여 생성된 18,000 장의 실세계 데이터셋입니다. 합성 데이터만으로는 실세계 일반화 성능이 부족함을 보완하기 위해 파인튜닝에 사용됩니다.

3. 주요 기여 (Key Contributions)

1. IntrinsicWeather 프레임워크 제안: 내재적 공간에서 재질, 기하학, 조명을 분리하여 제어 가능한 날씨 편집을 가능하게 하는 최초의 확산 기반 프레임워크입니다.
2. 내재적 맵 인식 어텐션 (IMAA): 생성 모델이 특정 내재적 맵 (예: 법선, 금속성) 에 해당하는 이미지 영역에 집중하도록 돕는 새로운 어텐션 메커니즘을 고안하여 분해의 정확도를 높였습니다.
3. 대규모 데이터셋 공개: 자율주행 시나리오의 다양한 날씨 조건과 내재적 맵을 포함하는 WeatherSynthetic과 WeatherReal 데이터셋을 구축 및 공개합니다.

4. 실험 결과 (Results)

• 픽셀 공간 편집 및 날씨 복원 방법 대비 우위:
  • 텍스트 - 이미지 일관성 (CLIP-S): 제안된 방법이 가장 높은 점수를 기록하여 텍스트 프롬프트에 가장 잘 부합하는 결과를 생성했습니다.
  • 구조적 정합성 (DINO-S): 픽셀 편집 방법들 (Flux-Kontext 등) 은 구조를 왜곡하거나 물체를 잘못 생성하는 경향이 있었으나, IntrinsicWeather 는 장면의 기하학과 재질을 보존하면서 날씨만 변경했습니다.
  • 사용자 연구: 61 명의 참가자를 대상으로 한 연구에서 81.67% 의 선호도를 기록하여 가장 현실적이고 일관된 결과를 제공했습니다.
• 역/순 렌더링 성능:
  • 역 렌더링 (Intrinsic Decomposition) 에서 기존 방법 (RGB↔X, DiffusionRenderer 등) 대비 10dB 이상의 PSNR 향상을 보였습니다.
  • 순 렌더링 (Weather Synthesis) 에서도 PickScore 및 다양한 날씨 조건에서 최상의 성능을 달성했습니다.
• 하류 작업 (Downstream Tasks) 성능 향상:
  • 생성된 이미지를 자율주행용 객체 감지 (DETR) 및 의미론적 분할 (SegFormer) 모델에 입력했을 때, ACDC 벤치마크에서 객체 감지 성능 (AP75) 이 87.1%, 분할 성능 (mIOU) 이 24.5% 향상되었습니다. 이는 악천후로 인한 왜곡이 제거되어 모델이 더 정확한 인식을 수행했음을 의미합니다.

5. 의의 및 결론 (Significance)

IntrinsicWeather 는 단순한 이미지 필터링을 넘어, **물리적으로 타당한 내재적 표현 (Intrinsic Representation)**을 기반으로 날씨를 제어함으로써 자율주행 및 컴퓨터 비전 분야에서 중요한 기여를 합니다.

• 강건성 확보: 악천후 환경에서도 객체 감지 및 분할 성능을 획기적으로 개선하여 자율주행 시스템의 안전성을 높입니다.
• 제어 가능성: 사용자의 텍스트 프롬프트를 통해 비, 눈, 안개 등의 강도와 종류를 세밀하게 조절할 수 있어, 데이터 증강 (Data Augmentation) 및 시뮬레이션 환경 구축에 유용합니다.
• 미래 전망: 현재는 단일 이미지 편집에 국한되어 있으나, 비디오 확산 모델을 기반으로 확장하면 시간적 일관성을 갖춘 동영상 날씨 편집으로 발전할 수 있는 가능성을 제시합니다.

요약하자면, 이 논문은 내재적 공간 (Intrinsic Space) 을 활용한 날씨 편집이 기존 픽셀 기반 접근법의 한계를 극복하고, 더 정확하고 제어 가능한 결과를 제공하며, 궁극적으로 자율주행과 같은 하류 작업의 성능을 향상시킬 수 있음을 입증했습니다.