UniLight: A Unified Representation for Lighting

이 논문은 텍스트, 이미지, 조도, 환경 맵 등 다양한 조명 표현을 단일 잠재 공간으로 통합하여 상호 호환성을 확보하고 조명 기반 검색, 환경 맵 생성, 조명 제어 등 다양한 작업에서 유연한 조도 조작을 가능하게 하는 'UniLight'를 제안합니다.

핵심

🌞 UniLight: 모든 빛의 언어를 하나로 통역하는 '빛의 번역기'

이 논문은 컴퓨터가 그림을 그릴 때나 사진을 편집할 때, **빛 (Lighting)**을 어떻게 이해하고 다룰 것인지에 대한 획기적인 새로운 방법을 제안합니다.

기존에는 빛을 표현하는 방식이 너무 다양하고 서로 통하지 않아서 골치 아팠습니다. 마치 "영어, 프랑스어, 중국어"가 서로 통역되지 않아서 대화할 수 없는 상황과 비슷했죠. 이 논문은 UniLight라는 시스템을 만들어, 이 모든 언어를 하나의 공통된 '빛의 언어'로 통역해 줍니다.

---

1. 문제점: 빛은 왜 이렇게 복잡할까요? 🤔

컴퓨터 그래픽스나 사진 편집에서 빛은 정말 중요합니다. 하지만 빛을 표현하는 방법은 제각각입니다.

• 환경 지도 (Environment Map): 360 도 전경 사진처럼 빛이 어디서 오는지 보여주는 지도.
• 조도 맵 (Irradiance): 빛이 물체에 얼마나 강하게 닿는지 보여주는 수치 데이터.
• 텍스트 설명: "오른쪽에서 따뜻한 햇살이 들어와" 같은 글자.
• 이미지: 단순히 빛이 비친 사진 한 장.

비유하자면:
빛을 표현하는 이 네 가지 방식은 서로 다른 언어를 쓰는 것과 같습니다.

• 환경 지도는 지도를 보여주고,
• 텍스트는 글로 설명하고,
• 조도 맵은 수학 공식으로 표현합니다.

기존 기술들은 이 중 하나만 이해할 수 있어서, "텍스트로 빛을 설명하면 그림을 그릴 수 있지만, 반대로 그림을 보고 텍스트로 설명하는 건 못 한다"는 식으로 제한적이었습니다.

2. 해결책: UniLight, 빛의 '공통 어휘'를 만들다! 🗣️✨

저자들은 이 모든 것을 하나로 묶어주는 UniLight라는 시스템을 만들었습니다.

🌟 핵심 아이디어: "빛의 공통 잠금 (Joint Latent Space)"
모든 빛의 정보 (텍스트, 사진, 지도 등) 를 하나의 **고유한 '빛의 지문'**이나 **'빛의 DNA'**로 변환합니다. 이 지문은 어떤 언어로 들어오든 (글이든, 사진이든) 빛의 본질 (어디서 왔는지, 어떤 색인지, 얼마나 밝은지) 을 똑같이 인식합니다.

어떻게 작동할까요? (창의적인 비유)

• 통역사 팀: 텍스트를 읽는 통역사, 사진을 보는 통역사, 지도를 보는 통역사가 따로 있습니다.
• 공통 언어실: 이 통역사들은 모두 UniLight라는 '공통 언어실'로 정보를 보냅니다.
• 결과: 여기서 모든 정보는 서로 통하는 하나의 빛의 코드로 바뀝니다.
  • "오른쪽에서 따뜻한 햇살"이라는 글자 → 빛 코드 변환
  • 오른쪽에서 햇살이 비치는 사진 → 빛 코드 변환
  • 두 코드가 서로 거의一模一样 (똑같음) 이 됩니다!

3. 이 기술로 무엇을 할 수 있을까요? 🚀

이 '빛의 공통 코드' 덕분에 이전에는 불가능했던 일들이 가능해졌습니다.

① 빛으로 검색하기 (Cross-modal Retrieval) 🔍

• 상황: "오른쪽에서 따뜻한 햇살"이라는 글자를 입력합니다.
• 결과: 글자를 입력했는데, 빛이 비슷한 환경 지도나 사진이 찾아옵니다.
• 비유: "이 노래 가사 (텍스트) 를 입력하면, 멜로디가 비슷한 다른 노래 (이미지) 를 찾아주는 것"과 같습니다.

② 빛이 다른 환경 지도 만들기 (Environment Map Generation) 🌍

• 상황: "실내, 왼쪽 창문에서 자연광이 들어와"라는 글자를 입력합니다.
• 결과: AI 가 그 설명에 맞는 **360 도 전경 사진 (환경 지도)**을 새로 그려냅니다.
• 비유: "레시피 (텍스트)"를 주면, AI 가 그 레시피대로 **실제 요리 (환경 지도)**를 만들어주는 것입니다.

③ 사진의 빛을 자유롭게 바꾸기 (Relighting) 📸💡

• 상황: 어두운 실내 사진을 가지고 있습니다.
• 결과: "창문으로 들어오는 따뜻한 노을"이라는 설명을 주면, 사진 속 그림자와 빛의 방향이 자연스럽게 바뀝니다.
• 비유: 사진 속 주인공의 옷을 갈아입히듯, 빛의 옷을 갈아입히는 것입니다. 기존 기술들은 빛을 바꾸면 그림자가 이상하게 날아갔지만, UniLight 는 빛의 방향과 색을 정확히 이해해서 자연스럽게 바꿉니다.

4. 왜 이것이 특별한가요? (기술적 비유) 🧠

단순히 통역만 하는 게 아니라, 빛의 방향을 정확히 이해하도록 훈련시켰습니다.

• 구면 조화 함수 (Spherical Harmonics) 예측:
  시스템이 빛의 방향을 이해할 수 있도록, 3 차원 공간에서 빛이 어디를 향하고 있는지를 수학적으로 계산하는 '보조 교관'을 두었습니다.
  • 비유: 통역사가 단순히 단어를 번역하는 게 아니라, "태양이 오른쪽 위에 있으니 그림자는 왼쪽으로 길게 늘어져야 해!"라고 물리 법칙까지 고려해서 번역을 완성하는 것입니다.

5. 요약: 왜 UniLight 가 중요한가요? 🌟

기존에는 빛을 다루는 기술이 각각 따로 놀아서, 개발자가 원하는 빛을 표현하려면 여러 가지 복잡한 도구를 섞어 써야 했습니다.

UniLight는 이 모든 것을 하나의 통합된 언어로 묶어줍니다.

• 텍스트로 빛을 지시할 수 있고,
• 사진으로 빛을 보여줄 수 있으며,
• 지도로 빛을 조절할 수 있습니다.

이제 우리는 빛을 유연하게 다룰 수 있게 되었습니다. 마치 빛을 레고 블록처럼 자유롭게 조립하고 변형할 수 있는 셈입니다. 이는 AI 가 그림을 그릴 때나, 가상 현실 (VR) 을 만들 때, 혹은 사진 편집을 할 때 훨씬 더 자연스럽고 현실적인 빛을 구현할 수 있는 기반이 될 것입니다.

---

한 줄 요약:

UniLight는 텍스트, 사진, 지도 등 서로 다른 형태로 표현된 '빛'을 모두 하나의 공통 언어로 통역하여, AI 가 빛을 이해하고 자유롭게 조작할 수 있게 만든 빛의 번역기입니다.

기술 요약

1. 문제 정의 (Problem)

컴퓨터 비전과 그래픽스 분야에서 조명은 시각적 외관을 결정하는 핵심 요소이나, 이를 이해하고 표현하는 것은 매우 어렵습니다. 기존에는 다음과 같은 다양한 조명 표현 방식이 존재했으나, 서로 호환되지 않아 (incompatible) 교차 모달 (cross-modal) 전이가 제한되었습니다.

• 환경 맵 (Environment Maps): 360 도 조명 정보 제공.
• 텍스트 설명 (Text Descriptions): 자연어 기반의 직관적 표현.
• 조도 맵 (Irradiance Maps): 픽셀별 조명 강도 분포.
• 구면 조화 함수 (Spherical Harmonics, SH): 조명의 방향성을 수학적으로 표현.

각 표현 방식은 고유한 장단점을 가지며, 기존 조명 추정 또는 제어 방법들은 대부분 단일 표현에 의존하여 유연성이 부족했습니다. 또한, NeRF(신경 방사선장) 기반의 암시적 표현은 복잡한 조명을 포착할 수 있으나 특정 작업에 국한되어 다른 표현과 호환되지 않는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 UniLight이라는 새로운 공동 잠재 공간 (Joint Latent Space) 을 제안하여 텍스트, 이미지, 조도 맵, 환경 맵 등 다양한 조명 모달리티를 하나의 공유 임베딩으로 통합했습니다.

가. 다중 모달 데이터 파이프라인

• 8,020 개의 고동적 범위 (HDR) 환경 맵 (실내/실외) 을 기반으로 72,180 개의 다중 모달 샘플을 생성했습니다.
• 각 샘플은 다음 4 가지 요소로 구성됩니다:
  1. 환경 맵 (Environment Map): 원본 HDR 데이터.
  2. 이미지 (Image): 환경 맵에서 추출된 512x512 픽셀의 투영 이미지.
  3. 조도 맵 (Irradiance): Prism 알고리즘을 통해 추정된 공간적 조명 분포.
  4. 텍스트 (Text): InternVL3-38B(VLM) 를 사용하여 생성된 조명 방향과 특성을 설명하는 자연어.

나. 아키텍처 및 인코더

• 이미지 기반 인코더: 환경 맵, 이미지, 조도 맵 각각에 대해 DINOv2-B 백본을 사용합니다.
  • 환경 맵 입력 시, LDR(토너 매핑), 로그 인코딩, 그리고 명시적인 방향성 정보 (x, y, z 좌표) 를 결합하여 입력합니다.
• 텍스트 인코더: Qwen3 Embedding 모델을 사용하여 조명 설명 텍스트를 인코딩합니다.
• 퓨전 모듈: 각 모달리티의 특징을 통합하기 위해 학습 가능한 쿼리 토큰 (Learnable Query Tokens) 과 경량 트랜스포머 기반 퓨전 모듈을 사용합니다.
• 공동 잠재 공간 (UniLight): 모든 모달리티는 512 차원의 공유 잠재 벡터로 매핑됩니다.

다. 학습 전략

1. 대조 학습 (Contrastive Learning): 동일한 조명 조건을 나타내는 서로 다른 모달리티 (예: 환경 맵과 텍스트) 의 임베딩 거리를 최소화하고, 다른 조명의 임베딩 거리는 최대화하는 대조 손실 ($L_C$) 을 적용합니다.
2. 보조 작업 (Auxiliary Task): 방향성 이해를 강화하기 위해 잠재 공간에서 3 차 구면 조화 함수 (Spherical Harmonics, SH) 계수를 예측하는 헤드를 추가합니다. 예측된 SH 계수와 실제 환경 맵에서 추출된 SH 계수 간의 MSE 손실 ($L_{SH}$) 을 최소화합니다.
   • 총 손실 함수: $L = L_C + L_{SH}$

3. 주요 기여 (Key Contributions)

1. 통합 조명 표현을 위한 다중 모달 데이터 파이프라인: 환경 맵, 이미지, 조도, 텍스트를 정렬하여 대규모 학습을 가능하게 했습니다.
2. 대조적 프레임워크: 텍스트, 이미지, 조도, 환경 맵 간의 조명 표현을 정렬하는 새로운 학습 방식을 제안했습니다.
3. 방향성 인코딩 강화: 구면 조화 함수 (SH) 예측 손실을 도입하여 잠재 공간이 조명의 방향과 구조를 정확하게 포착하도록 했습니다.
4. 범용성 입증: 조명 기반 검색, 환경 맵 생성, 확산 모델 기반 이미지 리라이트 (Relighting) 등 다양한 하위 작업에서 유연한 조정을 가능하게 함을 실험으로 증명했습니다.

4. 실험 결과 (Results)

• 교차 모달 검색 (Cross-modal Retrieval):
  • 텍스트, 이미지, 환경 맵, 조도 맵 간의 상호 검색 성능을 평가했습니다.
  • UniLight 는 기존 CLIP 이나 Qwen3-VL 보다 모든 모달리티 조합에서 Recall@K와 MRR이 월등히 높았습니다 (예: Image→Text 검색에서 R@1 24.9% vs Qwen3-VL 8.9%).
  • 조명 방향을 회전시켰을 때 임베딩의 유사도가 감소하는 것을 확인하여, 잠재 공간이 조명 방향 정보를 효과적으로 인코딩함을 입증했습니다.
• 환경 맵 생성 (Environment Map Generation):
  • Stable Diffusion 3.5 를 미세 조정하여 UniLight 임베딩을 조건으로 환경 맵을 생성했습니다.
  • 기존 DiffusionLight-Turbo 보다 PSNR, SSIM 등 정량적 지표와 시각적 품질 모두에서 우수한 성능을 보였습니다.
• 이미지 리라이트 (Image Relighting):
  • X→RGB 프레임워크에 UniLight 를 통합하여 다양한 조명 조건 (텍스트, 환경 맵, 조도 등) 으로 이미지를 재조명했습니다.
  • 기존 방법들은 조명 변경 시 그림자나 하이라이트가 고정되는 문제가 있었으나, UniLight 는 조명 방향 변화에 따라 그림자와 조도 분포가 자연스럽게 변하는 것을 보여주었습니다.

5. 의의 및 결론 (Significance)

UniLight 는 조명 표현의 단일화 (Unification) 를 이루어냈습니다. 이전에는 서로 다른 표현 방식 간에 전환이 불가능하거나 어려웠으나, UniLight 를 통해 텍스트로 조명을 지시하면 환경 맵이 생성되거나, 이미지에서 조도를 추출하여 다른 이미지에 적용하는 등 모달리티 간 자유로운 이동과 제어가 가능해졌습니다.

이는 생성형 AI 모델에 물리적으로 근거한 조명 제어를 도입하는 토대를 마련하며, 디지털 아바타, 가상 현실, 영화 제작 등 조명 인식 합성 및 편집 분야에서 새로운 가능성을 열었습니다. 향후 연구로는 공간적 조명 변화 (국소 제어) 를 더 정교하게 다루고, 기존 인기 있는 인코더와의 정렬을 통해 제로샷 (Zero-shot) 사용성을 높이는 방향이 기대됩니다.