1. 문제 정의 (Problem)

기존의 단일 이미지 그림자 제거 (Shadow Removal) 기술은 다음과 같은 한계를 가지고 있습니다:

• 물리적 사전 지식의 불일치: 그림자는 조명 (Illumination) 과 본질적인 반사율 (Reflectance) 을 분리해야 하는 문제이지만, 기존 방법들은 물리적 사전 지식 (기하학적, 의미론적 정보) 을 효과적으로 정렬하지 못해 복잡한 조명 환경에서 성능이 저하됩니다.
• 다양한 조명 환경의 부재: 기존 벤치마크는 주로 단일 광원 (직접 조명) 에 의존하지만, 실제 환경은 여러 광원이 존재하는 실내 간접 조명 (Ambient Lighting) 이나 색상 편이 (Color Shift) 가 발생하는 경우가 많습니다. 이러한 환경에서는 기존 방법들이 경계 흐림이나 색상 왜곡을 보입니다.
• 모달리티 간 충돌: 기하학적 특징 (깊이, 법선) 은 조명 변화에 민감하게 반응하는 반면, 의미론적 특징 (DINO 등) 은 조명에 관계없이 안정적입니다. 이 두 가지가 제대로 정렬되지 않으면 기하학적 노이즈가 의미론적 일관성을 해치거나, 반대로 의미론적 과평활 (Over-smoothing) 이 조명 경계를 지워버리는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 PhaSR (Physically Aligned Shadow Removal) 을 제안하며, 이는 이중 수준 (Dual-level) 의 물리적 정렬 메커니즘을 통해 위 문제를 해결합니다.

A. 물리적으로 정렬된 정규화 (Physically Aligned Normalization, PAN)

• 목적: 전역적인 색상 편이 (Chromatic Bias) 를 억제하고 조명 - 반사율 분해를 위한 안정적인 입력을 제공합니다.
• 작동 원리: 학습 가능한 매개변수 없이 (Model-free) 다음과 같은 폐쇄형 (Closed-form) 연산을 수행합니다.
  1. Gray-world 정규화: 조명 색상에 의한 편향을 보정합니다.
  2. 로그 도메인 Retinex 분해: $log(I) = log(R) + log(S)$공식을 적용하여 반사율 ($R$) 과 조명 ($S$) 을 분리합니다.
  3. 동적 범위 재결합: 분리된 성분을 재결합하여 조명 일관성을 갖춘 출력을 생성합니다.
• 효과: 다양한 조명 조건에서 기존 아키텍처의 성능을 0.15~0.34 dB 향상시킵니다.

B. 기하 - 의미 정렬 어텐션 (Geometric-Semantic Rectification Attention, GSRA)

• 목적: 조명 변화 하에서 기하학적 정밀도와 의미론적 안정성을 조화시키고, 모달리티 간의 충돌을 해결합니다.
• 작동 원리:
  • 사전 지식 주입: DepthAnything-v2(깊이, 법선) 에서 추출한 기하학적 특징과 DINO-v2 에서 추출한 의미론적 임베딩을 활용합니다.
  • 차분 어텐션 (Differential Attention) 확장: 기존 자기 어텐션 내의 노이즈 제거를 넘어, 크로스-모달 (Cross-modal) 정렬을 수행합니다.
  • 정렬 공식: $A_{rect} = A_{sem} - \lambda \cdot A_{geo}$
    • 의미론적 어텐션 ($A_{sem}$) 에서 기하학적 어텐션 ($A_{geo}$) 을 가중치 $\lambda$만큼 뺍니다.
    • 이는 조명 경계에서는 기하학적 정밀도를 유지하고, 균일하게 조명된 영역에서는 의미론적 일관성을 유지하도록 정제 (Rectification) 하는 역할을 합니다.
• 효과: 단일 광원 그림자부터 다중 광원 간접 조명까지 일반화되는 능력을 확보합니다.

3. 주요 기여 (Key Contributions)

1. PAN 모듈 도입: 학습 없이 수행 가능한 폐쇄형 전처리 모듈을 통해 전역 조명 보정을 수행하고, 다양한 조명 조건에서 일관된 성능 향상을 달성했습니다.
2. GSRA 메커니즘 제안: 차분 어텐션을 크로스-모달 정렬에 적용하여, 깊이 기반 기하학과 DINO 기반 의미론적 특징을 명시적으로 정렬했습니다. 이는 간접 조명 환경에서의 모달리티 불일치 문제를 해결합니다.
3. SOTA 성능 및 일반화: 기존 그림자 제거 벤치마크 (ISTD, ISTD+, INS 등) 에서 최상위 성능을 기록했을 뿐만 아니라, 그림자 제거가 아닌 간접 조명 정규화 (Ambient Light Normalization) 작업에서도 기존 방법들보다 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • ISTD+, WSRD+, INS 등 주요 그림자 제거 데이터셋에서 PSNR 및 SSIM 지표에서 기존 SOTA 방법 (OmniSR, DenseSR, StableShadowDiffusion 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다.
  • 특히 Ambient6K(다중 광원, 간접 조명 포함) 데이터셋에서 기존 방법들이 실패하는 복잡한 환경에서도 높은 성능 (PSNR 23.32, SSIM 0.834) 을 기록하며 강력한 일반화 능력을 입증했습니다.
• 효율성:
  • Diffusion 기반 모델 (ShadowDiffusion 등) 에 비해 계산 비용이 훨씬 낮습니다 (약 87.9ms/이미지).
  • FLOPs(55.63G) 와 파라미터 수 (18.95M) 면에서 비교 대상 중 가장 효율적인 구조를 가집니다.
• 교차 데이터셋 일반화:
  • 한 데이터셋 (예: Ambient6K) 에서 학습하여 다른 데이터셋 (ISTD) 에서 테스트했을 때, 다른 방법들보다 성능 저하가 적고 오히려 더 높은 성능을 보여주어 물리적 정렬 전략의 유효성을 입증했습니다.
• 멀티모달 LLM 비교:
  • 그림자 제거 태스크에 대해 Qwen-image-edit 등의 멀티모달 LLM 과 비교했을 때, PhaSR 은 정확도 (12dB 이상 우위) 와 속도 (0.2초 vs 30초~25분) 면에서 압도적으로 우수했습니다.

5. 의의 및 결론 (Significance)

PhaSR 은 그림자 제거를 단순한 이미지 복원 문제가 아닌, 물리적으로 정렬된 사전 지식 (Physical Priors) 을 활용한 조명 - 반사율 분리 문제로 재정의했습니다.

• 물리적 일관성: 학습된 매핑에 의존하기보다 물리 법칙 (Retinex, 기하학) 에 기반한 정규화와 정렬을 도입하여, 훈련되지 않은 복잡한 조명 환경에서도 견고한 성능을 발휘합니다.
• 실용성: 높은 계산 효율성과 마스크 (Shadow Mask) 가 필요 없는 구조로, 실제 응용 (자율주행, 로봇 비전, 모바일 앱 등) 에 바로 적용 가능한 실용적인 솔루션을 제공합니다.
• 확장성: 그림자 제거를 넘어 다중 광원 환경의 조명 정규화 (Ambient Light Normalization) 로도 확장 가능함을 보여주어, 컴퓨터 비전 분야에서 조명 처리의 새로운 방향성을 제시합니다.

요약하자면, PhaSR 은 물리적으로 정렬된 전처리 (PAN) 와 기하 - 의미 정렬 어텐션 (GSRA) 을 결합하여, 기존 방법들이 취약했던 복잡한 조명 환경에서도 뛰어난 성능과 효율성을 동시에 달성한 획기적인 그림자 제거 프레임워크입니다.