1. 문제 정의 (Problem Statement)

• 편광 이미징의 중요성: 빛의 편광 상태는 인간의 눈으로 볼 수 없는 표면 기하학, 반사율, 물질 구성 등의 정보를 제공합니다. 의료 진단, 자율 주행, 원격 감지 등 다양한 분야에서 필수적입니다.
• 기존 기술의 한계:
  • 기존 편광 카메라: 고가, 대형, 복잡한 구조로 인해 실용적 적용에 제한이 많습니다.
  • 렌즈리스 편광 이미징: 렌즈 대신 확산판 (diffuser) 이나 코딩된 마스크를 사용하여 소형화와 저비용을 달성할 수 있으나, 기존 시스템은 복원 품질이 낮습니다.
  • 복원 문제의 본질: 렌즈리스 이미징은 구조 정보와 편광 정보가 압축되어 측정되므로 역문제 (inverse problem) 가 매우 ill-posed(잘못 정의됨) 합니다. 기존 물리 기반 솔버 (FISTA, ADMM 등) 는 고주파 세부 정보를 잃거나 노이즈에 민감하며, 딥러닝 기반 접근법은 렌즈리스 편광 이미징 분야에서 아직 탐구되지 않았습니다.

2. 제안 방법론 (Methodology)

저자들은 RGB 가이드 렌즈리스 편광 이미징 시스템을 제안하며, 물리 기반 복원과 데이터 기반 정제를 결합한 2 단계 파이프라인을 사용합니다.

A. 시스템 구성

• 하드웨어:
  • 렌즈리스 편광 센서: 확산판 (diffuser) 과 스트라이프 형태의 편광 마스크 (0°, 45°, 90°, 135°) 를 센서 위에 직접 배치하여 단일 샷으로 공간 및 편광 정보를 멀티플렉싱합니다.
  • RGB 가이드 카메라: 동일한 장면을 촬영하는 소형의 기존 렌즈리스 RGB 카메라를 추가하여 구조적 가이드 (structural guidance) 를 제공합니다.
• 데이터 생성: 실제 렌즈리스 카메라의 물리적 특성을 시뮬레이션하여 PIP, UPLight, ZJU-RGB-P 등의 기존 편광 데이터셋에서 합성 데이터를 생성하여 학습합니다.

B. 2 단계 복원 파이프라인 (Two-Stage Pipeline)

1. 1 단계: 물리 기반 초기 복원 (Physics-based Inversion)

   • 측정된 렌즈리스 데이터 ($y$) 와 전진 모델 ($A$) 을 사용하여 초기 편광 이미지 ($\hat{x}$) 를 복원합니다.
   • 알고리즘: FISTA (Fast Iterative Shrinkage-Thresholding Algorithm) 또는 ADMM 을 사용하며, 3 차원 총변동 (3D Total Variation) 정규화를 적용하여 공간 및 편광 차원에서의 매끄러움을 보장합니다.
   • 결과: 물리적으로 일관된 초기 추정치를 제공하지만, 고주파 세부 정보가 부족합니다.

2. 2 단계: RGB 가이드 딥러닝 정제 (RGB-Guided Deep Refinement)

   • 네트워크 구조: SwinFuSR을 기반으로 한 트랜스포머 (Transformer) 기반 퓨전 네트워크를 사용합니다.
   • 동작 원리:
     • 초기 복원된 편광 이미지와 정렬된 RGB 가이드 이미지를 별도의 브랜치 (Branch) 로 입력합니다.
     • Attention-guided Cross-Domain Fusion (ACF): 자기 주의 (Self-attention) 와 교차 주의 (Cross-attention) 를 교차적으로 사용하여 RGB 의 구조적 정보와 편광의 물리적 정보를 융합합니다.
     • 스킵 연결 (Skip Connection): 초기 물리 기반 복원 결과를 출력에 더하여 물리 모델의 일관성을 유지합니다.
   • 강화 전략: 실제 정렬 오차를 고려하기 위해 학습 시 랜덤 번역 (translation) 증강을 적용하여 강건성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 RGB 가이드 렌즈리스 편광 시스템: 저비용 하드웨어와 고품질 복원 알고리즘을 결합하여 렌즈리스 편광 이미징의 SOTA(State-of-the-Art) 성능을 달성했습니다.
2. 하이브리드 2 단계 아키텍처: 물리 기반 솔버 (FISTA/ADMM) 와 교차 모달 퓨전을 위한 Swin Transformer 를 통합하여, RGB 가이드를 통해 편광 강도 이미지를 정밀하게 복원하는 새로운 접근법을 제시했습니다.
3. 광범위한 실험 및 일반화:
   • 다양한 시뮬레이션 데이터셋 (PIP, UPLight, ZJU-RGB-P) 에서 기존 물리 기반 방법 및 학습 기반 베이스라인 (FlatNet, PolarAnything 등) 을 압도하는 성능 (PSNR, SSIM, LPIPS) 을 입증했습니다.
   • 학습 데이터와 다른 PSF(점확산함수) 및 도메인에서도 뛰어난 일반화 능력을 보였습니다.
4. 실제 프로토타입 검증: 추가 미세 조정 (fine-tuning) 없이도 직접 제작한 렌즈리스 편광 카메라 프로토타입에서 고품질의 실제 세계 결과를 성공적으로 구현했습니다.

4. 실험 결과 (Results)

• 정량적 성능:
  • PIP 데이터셋: 제안된 방법은 FISTA 단독 (PSNR ~14.76) 에 비해 33.05 (FISTA 입력 기준) 의 PSNR 을 기록하며 압도적인 성능 향상을 보였습니다.
  • 일반화 능력: 학습 데이터 (PIP) 와 완전히 다른 UPLight(수중 장면) 및 ZJU-RGB-P 데이터셋에서도 기존 베이스라인 대비 높은 성능을 유지했습니다.
  • 비교: 기존 학습 기반 방법 (FlatNet, PolarAnything) 은 편광 데이터의 부분적 샘플링 특성상 성능이 낮았으나, 제안된 방법은 물리 기반 초기화와 RGB 가이드를 통해 이를 극복했습니다.
• 정성적 성능:
  • 고주파 세부 정보 (텍스처, 에지) 가 FISTA 단독 복원보다 훨씬 선명하게 복원되었습니다.
  • 실제 프로토타입 실험에서 미세 제조 결함이나 정렬 오차가 있더라도 RGB 가이드를 통해 선명한 구조를 복원했습니다.
• Ablation Study:
  • 교차 주의 (Cross-attention): 단순 특징 병합보다 교차 주의가 시각적 아티팩트를 줄이고 성능을 향상시킵니다.
  • 초기화: FISTA 반복 횟수가 줄어들어도 (1k~5k) RGB 가이드가 있는 제안 방법은 높은 충실도를 유지하여 계산 효율성을 높일 수 있음을 보였습니다.
  • PSF 불일치: 학습과 다른 PSF 환경에서도 강건하게 작동했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 렌즈리스 편광 이미징의 실용적 장벽을 낮추는 획기적인 접근법을 제시합니다.

• 비용 및 크기 절감: 고가의 편광 카메라 대신 저비용 확산판과 소형 RGB 카메라를 사용하여 소형화 및 저비용화를 달성하면서도, 기존 렌즈리스 시스템의 낮은 화질 문제를 해결했습니다.
• 물리 + AI 의 융합: 물리 모델의 해석 가능성과 딥러닝의 표현력을 결합하여, 역문제의 ill-posed 성질을 효과적으로 해결했습니다.
• 응용 가능성: 소형 현미경, 내시경, 자율 주행 센서 등 크기와 비용이 제한된 환경에서 고품질 편광 정보를 획득할 수 있는 가능성을 열었습니다.

결론적으로, 이 연구는 렌즈리스 이미징 기술이 편광이라는 복잡한 모달리티에서도 고품질 복원이 가능함을 입증하며, 향후 컴팩트한 다중 모달 이미징 시스템 개발의 중요한 이정표가 됩니다.