Learning Latent Transmission and Glare Maps for Lens Veiling Glare Removal

이 논문은 스테이블 디퓨전 기반의 사전 지식을 활용해 렌즈 베일링 글레어의 전파 및 글레어 맵을 비지도 방식으로 학습하는 생성 모델 'VeilGen'과 이를 활용한 복원 네트워크 'DeVeiler'를 제안하여, 기존 시뮬레이션의 한계를 극복하고 단순화된 광학 시스템에서 우수한 복원 품질과 물리적 충실도를 달성함을 보여줍니다.

핵심

📸 문제: "안개 낀 유리와 흐릿한 초점"

우리가 작은 렌즈를 사용하면 두 가지 문제가 생깁니다.

1. 초점 흐림 (Aberration): 렌즈가 너무 작거나 단순해서 사진이 전체적으로 흐릿하게 나옵니다. (마치 안경을 제대로 쓰지 않아 세상이 뿌옇게 보이는 것과 비슷해요.)
2. 베일 글레어 (Veiling Glare): 렌즈 내부에서 빛이 산란되면서, 마치 유리에 안개가 끼거나 기름기가 낀 것처럼 전체적으로 하얗게 번지고 대비가 떨어집니다. (햇빛을 비추면 유리에 번진 빛이 전체 화면을 흐리게 만드는 현상입니다.)

기존 기술은 이 두 가지를 따로따로 고치려 했지만, 두 가지가 섞여 있을 때는 기존 방법들이 실패했습니다. 안개 제거용 필터를 쓰면 색상이 이상해지고, 흐림 제거용 기술은 안개까지 제거하지 못했기 때문입니다.

---

💡 해결책: "DeVeiler"라는 새로운 기술

저자들은 이 문제를 해결하기 위해 두 단계로 이루어진 마법 같은 시스템을 만들었습니다.

1 단계: 가상의 안개 만들기 (VeilGen)

가장 큰 문제는 실제 안개 낀 사진과 깨끗한 사진의 짝 (데이터) 을 구하기 어렵다는 것입니다. 실험실에서 완벽하게 안개를 만들어 찍는 건 불가능에 가깝죠.

• 비유: 요리사가 새로운 요리를 개발하려면 재료 (데이터) 가 필요한데, 재료를 구할 수 없다면?
• 해결: 저자들은 **AI(생성 모델)**를 훈련시켜서, "이런 안개 낀 사진이 원래는 이렇게 생겼을 거야"라고 가상의 깨끗한 사진과 안개 낀 사진의 짝을 스스로 만들어내게 했습니다.
• 핵심: 이 AI 는 단순히 그림을 그리는 게 아니라, 안개가 끼는 **물리 법칙 (빛이 어떻게 퍼지는지)**을 학습해서 매우 현실적인 가짜 데이터를 만듭니다. 마치 "가상의 안개 실험실"을 구축한 것과 같습니다.

2 단계: 안개 제거 마법사 (DeVeiler)

이제 만들어진 가짜 데이터를 이용해 실제 안개를 제거하는 **복원 네트워크 (DeVeiler)**를 훈련시킵니다.

• 비유: 안개 낀 사진을 보고 "어디에 안개가 얼마나 끼었는지"를 먼저 추측한 뒤, 그 추측을 바탕으로 안개를 역순으로 제거하는 과정입니다.
• 핵심: 기존 방법들은 "흑백으로 찍힌 사진을 흑백으로 고치는" 식의 단순한 패턴 찾기를 했지만, 이 기술은 "안개가 끼는 원리 (물리)"를 이해하고 그 원리를 거꾸로 뒤집어서 사진을 원래대로 되돌립니다.

---

🌟 이 기술의 장점 (왜 특별한가?)

1. 두 마리 토끼를 다 잡았다: 흐릿함 (초점) 과 안개 (글레어) 를 동시에 고쳐서 선명하고 색감이 살아있는 사진을 만들어냅니다.
2. 데이터 부족 해결: 실제 실험 데이터가 없어도, AI 가 물리 법칙을 배워서 스스로 데이터를 만들어내므로 어떤 렌즈에도 적용하기 쉽습니다.
3. 현실적인 결과: 기존 방법들은 사진을 고치다 보니 색이 변하거나 텍스처가 뭉개졌는데, 이 기술은 세부 묘사까지 살아있는 자연스러운 결과를 보여줍니다.

🚀 요약

이 논문은 **"작은 렌즈 때문에 생기는 흐릿함과 안개 낀 현상"**이라는 난제를, "AI 가 물리 법칙을 배워 가상의 안개 실험실을 만들고, 그 원리를 역이용해 사진을 복원하는" 방식으로 해결했습니다.

앞으로 스마트폰 카메라, AR/VR 기기, 드론 카메라 등 작고 가벼운 렌즈를 사용하는 모든 기기의 화질을 획기적으로 높여줄 수 있는 기술입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 증강현실 (AR/VR), 모바일 사진 등 소형화 및 고성능이 요구되는 응용 분야에서 단일 렌즈 (Single-lens) 나 메타렌즈 (Metalens) 와 같은 간소화된 광학 시스템이 널리 사용되고 있습니다.
• 핵심 문제: 이러한 간소화된 시스템은 설계상의 타협으로 인한 광학적 수차 (Aberration) 와 비이상적인 표면/코팅에서 발생하는 산란된 잔광 (Stray-light scattering) 으로 인한 베일링 글레어 (Veiling Glare) 가 동시에 발생합니다.
  • 베일링 글레어: 렌즈 플레어 (Flare) 나 고스트 (Ghost) 와 달리 구조화된 형태가 아닌, 이미지 전체에 퍼져 대비를 떨어뜨리는 확산된 베일 (Veil) 형태입니다.
  • 복합 열화 (Compound Degradation): 수차와 베일링 글레어가 공존하여 기존 수차 보정 (CAC) 방법이나 안개 제거 (Dehazing) 방법으로는 효과적으로 복원할 수 없는 복합적인 열화를 유발합니다.
• 데이터 부족: 물리적으로 정확한 베일링 글레어 시뮬레이션은 비순차 광선 추적 (Non-sequential ray-tracing) 이 필요하여 계산 비용이 매우 높고, 실제 환경에서 고품질의 쌍둥이 데이터 (Clean-Degraded Pair) 를 획득하기 어렵습니다. 이로 인해 데이터 기반의 복원 모델 개발이 제한되었습니다.

2. 방법론 (Methodology)

저자들은 VeilGen (데이터 생성) 과 DeVeiler (복원 네트워크) 로 구성된 물리 정보 기반 (Physics-informed) 프레임워크를 제안합니다.

A. VeilGen: 물리 정보 기반 생성 모델

실제 데이터의 부족을 해결하기 위해 베일링 글레어가 포함된 합성 쌍둥이 데이터를 생성하는 생성 모델입니다.

• LOTGMP (Latent Optical Transmission and Glare Map Predictor): 확산 과정 (Diffusion process) 중에 잠재 공간에서 전송 맵 (Transmission Map, T) 과 글레어 맵 (Glare Map, G) 을 추정합니다. 이는 베일링 글레어의 물리적 형성 원리 (감쇠 + 가산 빛) 를 반영합니다.
• VGIM (Veiling Glare Imposition Module): 추정된 잠재 맵을 사용하여 확산 모델의 특징을 변조 (Modulate) 하여, 실제와 유사한 복합 열화 (수차 + 베일링 글레어) 를 합성합니다.
• 하이브리드 학습: 수차만 있는 소스 도메인 (쌍둥이 데이터) 과 베일링 글레어가 포함된 타겟 도메인 (쌍둥이 데이터 없음) 을 모두 활용하여 학습하며, Stable Diffusion 기반의 사전 지식 (Prior) 을 활용합니다.

B. DeVeiler: 가역성 제약 (Reversibility Constraint) 을 가진 복원 네트워크

생성된 데이터를 기반으로 베일링 글레어를 제거하는 복원 네트워크입니다.

• DDN (Distilled Degradation Network): VeilGen 의 복잡한 확산 과정을 경량화된 순방향 모델로 증류 (Distill) 하여, 학습 시 효율적인 감독 신호로 활용합니다.
• VGCM (Veiling Glare Compensation Module): 입력된 열화 이미지에서 잠재 글레어 맵을 추정하고, 이를 사용하여 VGIM 과 역방향 (Inverse) 으로 작동하도록 설계된 모듈입니다.
• 가역성 훈련 (Reversibility Training):
  • DeVeiler 가 추정한 맵으로 열화 이미지를 복원한 후, 다시 DDN 을 통해 열화 과정을 거치면 원래 열화 이미지와 일치해야 한다는 사이클 일관성 (Cycle Consistency) 제약을 적용합니다.
  • 이를 통해 네트워크가 단순한 통계적 상관관계가 아닌, 물리적 열화 과정의 역변환을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. VeilGen 제안: 베일링 글레어의 물리적 원리 (전송 및 글레어 맵) 를 잠재 공간에서 추정하고 이를 확산 모델에 주입하여, 현실적인 복합 열화 데이터를 생성하는 새로운 생성 모델.
2. DeVeiler 제안: 생성된 데이터의 물리적 특성을 활용하고, 가역성 제약 (Reversibility Constraint) 을 통해 순방향 열화 모델 (VGIM) 과 역방향 복원 모듈 (VGCM) 을 구조적으로 연결한 복원 네트워크.
3. 성능 입증: 단순한 수차 보정이나 기존 안개 제거/플레어 제거 방법들이 실패하는 복잡한 환경에서, 제안된 방법이 최첨단 (SOTA) 성능을 보임을 실험을 통해 입증.

4. 실험 결과 (Results)

• 데이터셋: 두 가지 다른 광학 시스템 (대구경 단일 렌즈 SL, 메타표면 - 굴절 하이브리드 렌즈 MRL) 에 대해 Screen-Compound (제어된 환경) 및 Realworld-Compound (실제 환경) 도메인에서 평가.
• 정량적 평가:
  • Screen-Compound: PSNR, SSIM, LPIPS 등 모든 지표에서 기존 방법 (SwinIR, DiffBIR, Cascaded pipelines 등) 보다 월등히 높은 성능을 기록.
  • Realworld-Compound: GT 가 없는 환경에서 CLIPIQA, Q-Align, NIQE 등 무참조 (No-reference) 지표에서도 우수한 성능을 보임.
• 정성적 평가:
  • 기존 방법들은 색상 왜곡, 잔류 글레어, 세부 정보 손실 등을 보인 반면, DeVeiler 는 선명한 색상 복원과 미세한 디테일 보존을 동시에 달성.
  • 특히 베일링 글레어는 플레어나 고스트보다 더 보편적이고 치명적인 문제임을 시각적으로 확인.
• Ablation Study:
  • LOTGMP 와 물리 기반 사전 지식 (SD Prior) 이 없으면 성능이 급격히 저하됨.
  • 단방향 (Unidirectional) 맵 주입은 효과가 없으며, 가역성 (Bidirectional) 구조가 성능 향상의 핵심임을 확인.

5. 의의 및 중요성 (Significance)

• 소형 광학 시스템의 한계 극복: 물리적 제약으로 인해 광학 설계가 단순화될 수밖에 없는 AR/VR, 모바일 기기, 의료 내시경 등에서 발생하는 복합 열화 문제를 소프트웨어적으로 해결하는 유효한 방안을 제시.
• 데이터 부족 문제 해결: 물리 모델을 잠재 공간에 통합하여 고품질의 합성 데이터를 생성하고, 이를 통해 실제 환경에 적용 가능한 모델을 학습시키는 새로운 패러다임 제시.
• 물리 기반 AI 의 확장: 단순한 블랙박스 학습을 넘어, 광학 물리 법칙 (산란, 감쇠 등) 을 명시적으로 모델링하여 해석 가능성 (Interpretability) 과 복원 품질을 동시에 높인 사례.

이 논문은 광학 시스템의 물리적 한계를 컴퓨팅 이미징과 생성형 AI 를 통해 극복하는 중요한 진전을 보여주며, 향후 저비용 고품질 이미징 시스템 개발에 중요한 기여를 할 것으로 기대됩니다.