DRIFT: Deep Restoration, ISP Fusion, and Tone-mapping

이 논문은 손으로 들고 촬영한 RAW 이미지를 고품질 RGB 이미지로 변환하기 위해 멀티프레임 정렬, 노이즈 제거, 디모osaicing, 초해상도를 수행하는 생성적 적대 신경망 (GAN) 기반의 MFP 네트워크와 모바일 기기에서 효율적으로 실행 가능한 딥러닝 기반 톤 매핑 (DRIFT-TM) 을 결합한 'DRIFT'라는 새로운 AI 모바일 카메라 파이프라인을 제안합니다.

핵심

📸 DRIFT: 스마트폰 사진의 '마법 같은 조리법'

스마트폰 카메라는 작은 렌즈를 가지고 있어 빛을 많이 받지 못합니다. 그래서 손이 조금만 떨려도 사진이 흐려지고 (노이즈), 밤이나 역광 같은 상황에서는 검은 부분은 너무 검고, 밝은 부분은 하얗게 날아가버립니다.

기존의 카메라는 이 문제를 해결하기 위해 여러 장의 사진을 합치거나 (다중 프레임), 복잡한 수학적 공식을 사용했습니다. 하지만 DRIFT 는 **인공지능 (AI)**을 이용해 이 과정을 훨씬 더 똑똑하고 빠르게 처리합니다.

DRIFT 는 크게 세 단계로 이루어진 '요리 과정'과 같습니다.

1 단계: 재료 다듬기 (DRIFT-MFP)

비유: 흐릿하게 찍힌 여러 장의 초벌 사진을 한 장의 선명한 원재료로 만드는 과정

스마트폰은 사진을 찍을 때 아주 짧은 시간 동안 여러 장의 원시 데이터 (Raw) 를 찍습니다. 하지만 손이 떨려서 이 사진들은 모두 흔들리고 노이즈가 섞여 있습니다.

• 기존 방식: 컴퓨터가 "이건 흔들렸네, 저건 노이즈가 많네"라고 하나하나 계산하며 합칩니다.
• DRIFT-MFP: AI 가 마치 수천 번 사진을 찍어본 요리사처럼, 흔들린 여러 장의 사진을 한눈에 보며 "아, 이 부분은 이 사진이 선명하네, 저 부분은 저 사진이 좋네"라고 판단합니다.
• 핵심 기술: 이 요리사는 단순히 합치는 게 아니라, **GAN(적대적 신경망)**이라는 기술을 써서 "이게 진짜 자연스러운 사진이야, 아니면 가짜야?"를 스스로 판단하며 훈련합니다. 그래서 결과물이 인위적인 느낌 없이 매우 자연스럽습니다.

2 단계: 맛과 색감 조절 (Fusion ISP)

비유: 어두운 부분과 밝은 부분을 적절히 섞어 '하이라이트'와 '그림자'를 모두 살리는 과정

사진에는 너무 어두운 부분 (EV-) 과 너무 밝은 부분 (EV0) 이 공존합니다.

• DRIFT 는 이 두 가지 정보를 완벽하게 섞어서 (Fusion) 한 장의 고화질 (HDR) 사진을 만듭니다. 마치 어두운 숲속과 햇살이 비치는 창문을 한 장의 사진에 모두 선명하게 담아내는 것과 같습니다.

3 단계: 최종 플레이팅 (DRIFT-TM)

비유: 요리한 음식을 접시에 예쁘게 담고, 손님의 취향에 따라 간을 맞추는 과정

이제 만들어진 고화질 사진은 너무 밝거나 색감이 과할 수 있습니다. 이를 우리가 보는 화면 (스마트폰 디스플레이) 에 맞게 조절하는 것을 **톤매핑 (Tone-mapping)**이라고 합니다.

• 문제점: 기존 AI 방식은 한 번 학습하면 끝입니다. "조금 더 밝게 해줘"라고 말하면 다시 학습을 해야 하거나, 화면을 잘게 나누어 처리하다 보니 이어지는 부분에서 색감이 달라지는 (타일링) 문제가 생깁니다.
• DRIFT-TM 의 혁신: 이 기술은 마치 요리사가 마지막에 소스를 뿌리는 것처럼 작동합니다.
  1. 베이스 (Lite): AI 가 기본 맛 (밝기, 색상) 을 빠르게 잡아줍니다.
  2. 보정 (Residual): AI 는 "베이스에서 어떤 부분을 더 강조할지"만 계산합니다.
  3. 취향 조절 (Tunability): 가장 중요한 점은, AI 모델을 다시 학습시키지 않아도 사용자가 "조금 더 대비를 강하게 해줘"나 "하이라이트를 더 살려줘"라고 설정만 바꾸면, AI 가 즉시 그 취향에 맞춰 결과를 바꿔준다는 것입니다. 마치 요리에 간을 맞추듯이 실시간으로 조절 가능한 것입니다.

---

🌟 왜 이 기술이 특별한가요?

1. 자연스러움: AI 가 만든 사진이 마치 기계가 그린 것처럼 거칠거나 인위적인 느낌 (아티팩트) 이 없습니다. 마치 진짜 사람이 찍은 것 같은 자연스러운 질감을 유지합니다.
2. 빠른 속도: 이 모든 복잡한 작업을 스마트폰의 AI 칩 (NPU) 에서 4 초도 채 걸리지 않게 처리합니다. (약 3.2 초에 11 장의 사진을 처리하고, 0.5 초에 색감을 다듬습니다.)
3. 유연성: 같은 AI 모델로도 사용자가 원하는 대로 사진의 분위기 (밝기, 대비, HDR 효과) 를 바꿀 수 있습니다.

📝 한 줄 요약

DRIFT는 스마트폰이 흔들리는 손이나 어두운 밤에도 AI 요리사가 여러 장의 흐릿한 사진을 모아 **자연스럽고 선명한 masterpiece(작품)**를 만들어내고, 사용자가 마지막에 간을 맞추듯 사진의 분위기를 자유롭게 조절할 수 있게 해주는 차세대 카메라 기술입니다.

이 기술 덕분에 앞으로 우리가 찍는 스마트폰 사진은 전문가가 찍은 것만큼 선명하고, 원하는 대로 예쁘게 변할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

스마트폰 카메라는 고해상도 및 고다이나믹 레인지 (HDR) 이미징을 통해 대중화되었으나, 소형 센서와 핸드헬드 (손에 들고 촬영) 환경의 한계로 인해 다음과 같은 기술적 과제가 존재합니다.

• 노이즈 및 저화질: 손떨림 (Handshake) 으로 인한 모션 블러, 낮은 조도에서의 고 ISO 노이즈, 베이어 (Bayer) 또는 테트라/헥사데카 (Tetra/Hexadeca) 형태의 원시 (Raw) 데이터 손실.
• ISP 파이프라인의 복잡성: 기존 이미지 신호 처리기 (ISP) 는 다중 프레임 정렬, 노이즈 제거, 디모자이킹, 슈퍼-레졸루션, 톤 매핑 등 여러 단계를 거치며, 각 단계를 독립적으로 최적화하면 최종 화질 (지각적 품질) 이 저하될 수 있습니다.
• 모바일 환경의 제약: 고해상도 HDR 이미지를 처리하는 데 필요한 높은 연산 비용과 메모리 한계로 인해, 고품질 톤 매핑을 실시간으로 수행하기 어렵습니다.
• 톤 매핑의 유연성 부재: 기존 딥러닝 기반 톤 매핑 방법은 학습 후 튜닝이 어렵고, 타일 (Tile) 단위로 처리 시 일관성이 떨어지는 문제가 있습니다.

2. 방법론 (Methodology)

저자들은 DRIFT라는 통합된 AI 기반 모바일 카메라 파이프라인을 제안합니다. 이 파이프라인은 크게 두 단계로 구성됩니다.

A. DRIFT-MFP (Multi-Frame Processing): 복원 및 초해상도

• 아키텍처: 효율성과 성능을 위해 NAFNet을 핵심 아키텍처로 채택했습니다. 비선형 활성화 함수 없이 정규화 및 합성곱 레이어만 사용하여 모바일 NPU 에서의 실행 효율을 극대화했습니다.
• 입력: 11 개의 노이즈가 포함된 Raw 프레임 (EV0 및 짧은 노출 EV- 포함) 을 입력받아 단일 RGB 프레임으로 복원합니다.
• 손실 함수 (Loss Function): 기존 VGG 기반의 지각적 손실 (Perceptual Loss) 이 생성하는 아티팩트 (Grid-like artifacts) 문제를 해결하기 위해 **적대적 지각 손실 (Adversarial Perceptual Loss, APL)**을 도입했습니다.
  • 사전 학습된 VGG 대신, 학습 중에 적응하는 Discriminator 의 Feature Matching을 사용하여 생성자 (Generator) 와 Ground Truth 간의 차이를 더 정밀하게 학습합니다.
  • 전체 목적 함수는 데이터 손실 ($L_{data}$), GAN 손실, 그리고 APL 의 조합입니다.
• HDR 퓨전: 짧은 노출 (EV-) 과 긴 노출 (EV0) 프레임을 정렬 (Homography) 하고, Mertens et al. 의 품질 기반 가중치 (Contrast, Saturation, Well-exposedness) 를 사용하여 HDR RGB 이미지를 생성합니다.

B. DRIFT-TM (Tone-mapping): 톤 매핑

• 개념: 기존에 직접 최종 RGB 이미지를 예측하는 방식 대신, 경량 톤 매핑 (Tone-map Lite) 의 잔차 (Residual) 를 예측하는 방식으로 설계했습니다.
  • Tone-map Lite: 비-DL 기반의 경량 알고리즘으로, 전체적인 밝기와 색상의 기본 톤을 담당합니다.
  • DRIFT-TM 네트워크: Tone-map Lite 의 출력과 참조 (Reference) 톤 매핑 결과 사이의 차이를 학습하여 세부적인 대비 (Contrast) 와 HDR 디테일을 보정합니다.
• 아키텍처 특징:
  • 글로벌 및 로컬 인코더: 글로벌 인코더는 저해상도 전체 이미지를 처리하여 타일 간 톤 불일치를 방지하고, 로컬 인코더는 고해상도 타일 단위로 디테일을 처리합니다.
  • 메타데이터 인코더: ISO, 노출 시간, 센서 타입 등의 메타데이터를 인코딩하여 다양한 촬영 조건에 적응하도록 합니다.
• 가변성 (Tunability): 추론 (Inference) 시 모델 재학습 없이 **LUT(Look-Up Table)**와 **강도 맵 (Strength Map)**을 조절하여 대비 (Contrast) 와 HDR 강도를 사용자가 직접 튜닝할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 통합 AI 파이프라인: 복원 (Restoration) 과 톤 매핑 (Tone-mapping) 을 분리하지 않고 통합하여 최적화함으로써, 복원 아티팩트가 톤 매핑 후 어떻게 지각되는지를 고려한 최적의 결과를 도출합니다.
2. 적대적 지각 손실 (APL) 의 도입: Raw 이미지 복원 작업에서 VGG 기반 손실의 아티팩트 문제를 해결하고, Discriminator Feature Matching 을 통해 더 자연스러운 디테일을 복원합니다.
3. 학습 후 튜닝 가능한 톤 매핑: 재학습 없이 LUT 와 가중치를 조절하여 밝기, 대비, HDR 강도를 실시간으로 제어할 수 있는 시스템을 구현했습니다.
4. 모바일 최적화: NAFNet 아키텍처와 효율적인 톤 매핑 구조를 통해 고해상도 (12MP) 이미지를 모바일 기기 (Snapdragon 8 Elite) 에서 4 초 이내로 처리할 수 있습니다.

4. 실험 결과 (Results)

• 다중 프레임 노이즈 제거 및 초해상도 (MFP):
  • 정량적 평가: BIPNet, Burstormer, Restormer 등 SOTA 방법들과 비교하여 PSNR, SSIM, FID, LPIPS 지표에서 우수한 성능을 보였습니다.
  • 사용자 연구: 60 개의 테스트 이미지에서 11 명의 전문가가 참여한 결과, DRIFT-MFP 가 가장 높은 선호도를 얻었습니다. 특히 LPIPS 손실을 사용한 방법들이 생성한 격자 무늬 아티팩트가 평탄한 영역에서 방해가 되는 반면, DRIFT 는 자연스러운 디테일을 유지했습니다.
• 톤 매핑 (Tone-mapping):
  • 비참조 비교 (Non-reference): IQATM, Self-TMO, TMO-GAN 과 비교 시 TMQI (Tone Mapped Image Quality Index) 지표에서 가장 높은 점수를 기록했습니다. Self-TMO 는 타일 아티팩트가 발생했으나 DRIFT 는 일관된 톤을 유지했습니다.
  • 참조 비교 (Reference): 참조 톤 매핑 파이프라인과 유사한 결과를 내는 능력을 평가한 결과, DRIFT-TM 이 PSNR(40.59) 과 SSIM(0.99) 에서 기존 DL 기반 방법들보다 월등히 높은 정확도를 보였습니다.
  • Ablation Study: 글로벌 정보, 메타데이터, 잔차 학습 (Residual Learning) 을 제거했을 때 성능이 저하됨을 확인하여 각 구성 요소의 중요성을 입증했습니다.
• 성능:
  • 처리 속도: Snapdragon 8 Elite NPU 에서 11 프레임 12MP 버스트 처리는 약 3.2 초, 톤 매핑은 0.5 초로 총 4 초 미만에 처리됩니다.

5. 의의 및 결론 (Significance)

이 논문은 모바일 카메라 파이프라인의 핵심 요소인 복원과 톤 매핑을 단일 최적화된 AI 시스템으로 통합했다는 점에서 의의가 있습니다.

• 지각적 품질 향상: 기존에 분리되어 최적화되던 단계들을 통합함으로써, 최종 이미지의 지각적 품질을 극대화했습니다.
• 실용성: 학습된 모델의 재학습 없이도 사용자의 취향에 따라 톤을 조절할 수 있는 Tunability를 제공하여, 다양한 사용자 경험 (UX) 을 지원합니다.
• 효율성: 고해상도 HDR 이미징을 모바일 기기에서 실시간에 가깝게 처리할 수 있는 효율적인 아키텍처를 제시하여, 차세대 스마트폰 카메라 기술의 방향성을 제시합니다.

요약하자면, DRIFT는 노이즈 제거, 초해상도, HDR 퓨전, 톤 매핑을 아우르는 효율적이고 유연하며 고품질의 모바일 이미지 처리 파이프라인을 성공적으로 구현한 연구입니다.