1. 문제 정의 (Problem)

디지털 이미지는 렌즈 플레어 (lens flare), 안개 (haze), 그림자 (shadow), 반사 (reflection) 와 같은 "소프트 효과 (Soft Effects)" 로 인해 자주 열화됩니다. 이러한 효과들은 배경의 픽셀이 완전히 가려지지 않고 반투명하게 덮여 있어, 시각적 품질과 가시성을 저하시키지만 원본 장면의 정체성 (identity) 은 부분적으로 유지됩니다.

기존의 접근 방식에는 다음과 같은 한계가 있었습니다:

• 전용 모델 (Specialist Models): 각 열화 유형 (예: 안개 제거 전용, 그림자 제거 전용) 마다 별도의 모델을 개발하여 사용했습니다. 이는 확장성이 부족하고, 서로 다른 열화 현상 간의 공통된 본질을 활용하지 못합니다.
• 범용 생성 모델 (Generalist Models): GPT-4o, Flux Kontext, Nano Banana 와 같은 대규모 멀티모달 모델은 텍스트 프롬프트 기반 편집이 가능하지만, 미세한 픽셀 단위의 제어 (pixel-wise control) 가 부족하고, 장면의 정체성을 유지하면서 정밀하게 효과를 제거하는 데 실패하거나 과도한 생성 (hallucination) 을 일으키는 경우가 많습니다.

따라서, 다양한 소프트 효과를 단일 프레임워크에서 처리하면서도 정밀한 제어와 강력한 일반화 능력을 갖춘 통합 모델의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 UniSER라는 새로운 기반 모델 (Foundation Model) 을 제안했습니다. 이 모델은 데이터 중심 접근법과 Diffusion Transformer 아키텍처를 결합합니다.

A. 대규모 데이터 구축 (Data Curation)

모델의 강건한 일반화를 위해 약 380 만 쌍 (3.8M pairs) 의 대규모 정렬된 이미지 쌍 데이터를 구축했습니다.

• 데이터 소스: 렌즈 플레어, 그림자, 안개, 반사 제거를 위한 기존 오픈소스 벤치마크 데이터를 통합했습니다.
• 데이터 확장 (Data Expansion): 기존 데이터의 불균형과 부족을 해결하기 위해 다음과 같은 새로운 데이터를 생성했습니다.
  • HALO Dataset: Blender 를 이용한 3D 렌더링으로 생성된 7 만 쌍의 렌즈 플레어 데이터 (기하학적 일관성 확보).
  • LR-SRD: 실제 객체와 배경을 합성하여 생성된 2 만 6 천 쌍의 그림자 제거 데이터.
  • 물리 기반 안개 합성: 단안 깊이 (monocular depth) 정보를 활용하고, 대기 산란 방정식 (Radiative Transfer Equation) 에 기반한 물리 엔진을 사용하여 안개, 연기, 안개 (fog) 의 밀도, 색상, 산란 특성을 정밀하게 제어하며 합성했습니다.

B. 아키텍처 및 학습 전략 (Framework & Training)

• Diffusion Transformer (DiT): UniSER 는 잠재 공간 (latent space) 에서 불연속적인 프레임 생성 문제로 문제를 재정의합니다. 입력 이미지를 VAE 인코더로 잠재 벡터로 변환하고, 텍스트 프롬프트 (예: "안개 제거") 를 인코더로 처리하여 조건부 입력을 생성합니다.
• 정밀한 제어 메커니즘:
  • 마스크 제어 (Mask Control): 사용자가 제거할 영역을 지정할 수 있는 픽셀 단위 마스크를 제공합니다. 학습 시 다양한 형태의 마스크 (기하학적 도형 + 자유 형식 브러시) 를 무작위로 합성하여 모델이 임의의 마스크 형태에 강건하도록 훈련합니다.
  • 제거 강도 제어 (Removal Strength Control): 제거의 강도를 조절하는 연속적인 스칼라 값 ($\alpha \in [0, 1]$) 을 도입합니다. $\alpha=1.0$은 완전 제거, $\alpha=0.0$은 변경 없음, 그 사이 값은 부분 제거를 의미합니다. 학습 목표는 입력 이미지와 Ground Truth 를 $\alpha$에 따라 선형 보간하여 생성합니다.
• 정의되지 않은 효과 제거 (Undefined Effects Removal): "effects 제거"라는 일반적인 프롬프트를 사용하여 학습함으로써, 학습 데이터에 없는 새로운 유형의 열화 (예: 비, 얼룩 등) 도 제로샷 (zero-shot) 으로 처리할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 일반화 데이터셋: 380 만 쌍의 균형 잡힌 고품질 데이터셋을 구축하여, 다양한 자연 환경 (in-the-wild) 에서의 강건한 일반화를 가능하게 했습니다.
2. 범용 소프트 효과 제거 모델 (UniSER): 단일 프레임워크에서 렌즈 플레어, 안개, 그림자, 반사 등 다양한 효과를 제거하는 SOTA(SOTA) 성능을 달성했습니다. 이는 전용 모델들을 능가할 뿐만 아니라, Nano Banana 와 같은 훨씬 큰 범용 생성 모델보다도 우수한 성능을 보입니다.
3. 세밀한 사용자 제어: 픽셀 단위 마스크와 제거 강도 조절을 통해 사용자가 원하는 대로 정밀하고 통제 가능한 복원을 가능하게 했습니다. 또한, 효과 추가 및 강화 기능도 지원합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: Flare7K, SRD, ISTD+, RESIDE, SIR2 등 8 개의 표준 벤치마크에서 전문 모델 (Specialist) 과 비교하여 PSNR 및 SSIM 기준에서 최상위 성능을 기록했습니다.
• 자연 환경 (In-the-Wild) 성능: Ground Truth 가 없는 실제 이미지 39 장에 대한 평가에서, LIQE(이미지 품질 지수), 대비 향상 (Contrast Gain), 그리고 VLM 기반 평가 (QwenQA) 에서 모든 모델 (전용 모델 및 범용 생성 모델) 을 압도적으로 능가했습니다.
  • 특히 범용 모델들은 배경 객체의 정체성을 왜곡하거나 불완전한 제거를 보인 반면, UniSER 는 원본 콘텐츠의 충실도를 유지하며 효과를 완벽하게 제거했습니다.
• 제로샷 일반화: 학습 데이터에 없던 비 (rain), 얼룩 (stain) 등의 새로운 열화 현상도 효과적으로 제거하는 능력을 입증했습니다.
• 사용자 연구: 실제 사용자를 대상으로 한 평가에서 UniSER 는 모든 작업에서 89.2%~97.5% 의 선호도를 기록하며 압도적인 우위를 보였습니다.

5. 의의 및 결론 (Significance)

UniSER 는 이미지 복원 분야에서 단일 모델로 다양한 열화 현상을 통합적으로 처리할 수 있는 새로운 패러다임을 제시합니다.

• 전문성 vs 범용성의 균형: 기존에는 서로 다른 열화에 대해 서로 다른 모델을 사용해야 했거나, 범용 모델의 부정확한 생성에 의존해야 했습니다. UniSER 는 물리적으로 타당한 데이터와 정밀한 제어 메커니즘을 통해 이 두 가지의 장점을 모두 결합했습니다.
• 실용적 가치: 사진 편집, 컴퓨터 비전 파이프라인, 콘텐츠 생성 등 다양한 분야에서 고품질의 이미지 복원 및 편집을 가능하게 하여, 전문적인 이미지 처리 워크플로우에 혁신을 가져올 것으로 기대됩니다.
• 한계점: 고도의 계산 비용과 대규모 학습 자원이 필요하다는 점은 여전히 존재하지만, 고흡도 이미지 복원을 위한 보편적이고 제어 가능한 솔루션으로서의 중요한 진전입니다.

이 논문은 "소프트 효과"라는 공통된 본질 (반투명 가림) 을 파악하고 이를 통합적으로 해결함으로써, 이미지 복원 기술의 새로운 기준을 제시합니다.