기술 요약: 이미지 향상을 위한 NamedCurves+

문제 정의

이미지 향상은 컴퓨터 비전 분야에서 지속적인 과제로 남아 있으며, 특히 자동화된 품질 개선과 해석 가능성 및 사용자 제어 사이의 균형을 맞추는 것이 중요합니다. 쌍을 이룬 데이터셋(원본 이미지와 전문가의 리터치 결과물)을 활용하는 딥러닝 방식은 강력한 성능을 달 achievement 했으나, 다음과 같은 두 가지 결정적인 한계를 가집니다:

1. 해석 가능성 부족: 엔드 투 엔드(End-to-end) 아키텍처(예: U-Net)나 복잡한 가중치 메커니즘(예: 3D Look-Up Table)은 블랙박스로 기능하여, 특정 편집이 어떻게 적용되는지 이해하기 어렵습니다.
2. 제한된 상호작용성: 기존 모델들은 종종 사용자의 조절에 적합한 파라미터화를 제공하지 못합니다. 사용자는 모델을 재학습시키지 않고는 자신의 특정 선호도에 맞게 출력을 수정하거나 개별적인 미적 취향을 반영하기가 어렵습니다.

또한, 전문 소프트웨어가 제공하는 수동 제어(흔히 "빨강", "초록", "파랑"과 같은 친숙한 색상 이름을 사용함)와 현재 자동화된 시스템의 경직된 출력 사이에는 간극이 존재합니다.

방법론: NamedCurves+

본 논문은 Color Naming(색상 명명)의 개념을 Tone Curves(톤 커브) 및 Transformer 기반 융합 메커니즘과 통합한 학습 기반 프레임워크인 **NamedCurves+**를 제안합니다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다:

1. 표준화 백본 (Standardization Backbone)

조명 및 카메라 설정의 가변성을 해결하기 위해, 입력 이미지 $x$는 먼저 LPIENet에서 영감을 받은 UNet 형태의 백본에 의해 처리됩니다. 이 모듈은 입력을 정준 잠재 공간($\hat{y}_b$)으로 표준화하여, 원래의 캡처 조건에 관계없이 일관된 색상 명명 분해가 가능하도록 보장합니다. 백본은 MobileNet 레이어, CBAM 어텐션 모듈, 그리고 다중 해상도 스킵 연결(skip connections)을 활용합니다.

2. 색상 명명 분해 (Color Naming Decomposition)

이미지를 전체로서 처리하는 대신, 이 방법은 보편적인 색상 이름을 기반으로 이미지를 우도 맵(likelihood maps)으로 분해합니다.

• 분해: Van de Weerij et al.의 모델을 사용하여 이미지를 11가지 색상 범주(빨강, 파랑, 초록, 노랑, 분홍, 보라, 주황, 갈색, 흰색, 회색, 검정)로 매핑합니다.
• 그룹화: 색조(hue)는 유사하지만 강도 변화가 있는 경우(예: 주황색 vs 갈색, 또는 분홍색 vs 보라색)를 처리하기 위해, 11개의 맵을 6개의 뚜렷한 채널로 그룹화합니다: 주황-갈색-노랑, 분홍-보라, 빨강, 초록, 파랑, 그리고 무채색(흰색-회색-검정).

3. 베지에 톤 커브 추정 (Bezier Tone Curve Estimation)

6개의 각 색상 그룹과 각 RGB 채널에 대해 네트워크는 전역 톤 커브를 추정합니다.

• 파라미터화: 커브는 $M$개의 제어점을 가진 **베지에 커브(Bezier curves)**를 사용하여 정의됩니다. 첫 번째 점은 $(0,0)$에, 마지막 점은 $(1,1)$에 고정됩니다.
• 학습: 네트워크는 이전 점에 대한 제어점의 증분($\Delta P$)을 예측하여 단조성(monotonicity)을 보장합니다. 이 증분들은 정규화된 후 누적되어 최종 제어점을 형성합니다.
• 적용: 이 커브들은 해당 색상 확률 맵에 1D Look-Up Table로 적용되어, 여섯 개의 전역적으로 조정된 중간 이미지를 생성합니다. 이 단계는 각 커브가 특정 색상 이름이 어떻게 조작되는지를 명시적으로 나타내므로 해석 가능성을 제공합니다.

4. 트랜스포머 기반 이미지 융합 (Transformer-Based Image Fusion)

국부적인 변동성을 해결하고 단순 가중 평균에서 발생하는 아티팩트(예: 색상 경계에서의 헤일로 현상)를 방지하기 위해, 여섯 개의 전역 조정된 이미지는 Transformer 블록을 사용하여 융합됩니다.

• 메커니즘: 이 블록은 공간적 위치가 아닌 채널 간의 상호 공분산을 계산하는 Transposed Attention을 채택합니다. 이는 계산 복잡도를 이미지 크기에 대해 이차 함수(quadratic)에서 선형(linear)으로 줄여줍니다.
• 프로세스: 18채널 입력(6개 이미지 $\times$ 3개 채널)은 컨볼루션 특징 추출기를 통해 연결되고, Multi-Head Transposed Attention 모듈과 FFN(Feed-Forward Network)을 거쳐 정교화됩니다.
• 출력: 최종 레이어는 향상된 sRGB 이미지 $\hat{y}$를 생성합니다. 이 단계는 전역 커브만으로는 달성할 수 없는 공간적 의존성과 문맥 인식 편집을 포착합니다.

손실 함수 (Loss Function)

학습 목표는 세 가지 항의 조합으로 구성됩니다:

1. 표준화된 이미지 $\hat{y}_b$와 정답 $y$ 사이의 L2 손실 ($\alpha=0.5$로 가중치 부여).
2. 최종 출력 $\hat{y}$와 $y$ 사이의 L2 손실.
3. $\hat{y}$와 $y$ 사이의 SSIM 손실.

주요 기여

저자들은 이 확장된 연구에서 세 가지 주요 기여를 식별했습니다:

1. 효율적인 융합 아키텍처: 효율적인 Transformer 블록(Transposed Attention)을 사용하여 이미지 융합 구성 요를 재설계함으로써, 이미지 품질을 개선하고 색상 경계에서의 헤일로 아티팩트를 줄이며 빠른 추론 속도를 유지합니다.
2. 다중 작업으로의 일반화: 본 프레임워크는 이미지 리터칭을 넘어 톤 매핑(tone mapping) 및 **노출 교정(exposure correction)**까지 확장되어 표준 벤치마크에서 최첨단(state-of-the-art) 결과를 달성했습니다.
3. 향상된 상호작용성 및 해석 가능성: 모델 가중치를 톤 커브와 분리함으로써, 이 방법은 추론 중에 특정 색상 이름과 관련된 베지에 커브를 사용자가 직접 조작할 수 있게 합니다. 이를 통해 재학습 없이도 개인화된 조정을 가능하게 하며, 자동화된 시스템에서는 이전에 불가능했던 수준의 제어를 제공합니다.

실험 결과

방법론은 MIT-Adobe-5K, PPR10K, MSEC, SICE의 네 가지 데이터셋에서 평가되었습니다.

• 정량적 성능: NamedCurves+는 PSNR, SSIM, LPIPS 및 색 차이 지표($\Delta E_{00}, \Delta E_{ab}$) 측면에서 SOTA 방식들(3DLUT, AdaInt, RSFNet 및 저자의 이전 NamedCurves 포함)을 능가했습니다.
  • MIT-Adobe-5K에서 PSNR 25.75, SSIM 0.940을 달성했습니다.
  • MSEC(노출 교정)에서 PSNR 23.15, SSIM 0.878을 달성했습니다.
• 절제 연구 (Ablation Studies):
  • 백본을 제거했을 때 성능 저하가 가장 컸으며, 이는 표준화의 필요성을 확인시켜 줍니다.
  • 색상 명명 분해를 제거하면 성능이 크게 감소하여, 의미론적 가이드의 유효성을 입증했습니다.
  • Transformer 모듈을 제거하면 결과가 저하되어, 국부적 문맥 모델링의 필요성을 강조했습니다.
  • 6개의 그룹화된 색상 이름을 사용하는 것이 11개의 개별 이름이나 무작위 분할 전략보다 더 나은 결과를 냈습니다.
• 효율성: Transformer 블록을 추가했음에도 불구하고, 새로운 융합 메커니즘은 Transposed Attention 덕분에 이전 방식에 비해 추론 시간을 27%(26ms에서 19ms로) 단축하고 FLOPs를 6% 줄였습니다.
• 사용자 연구: 15명의 관찰자를 대상으로 한 2AFC(Two-Alternative Forced Choice) 연구에서 NamedCurves+는 BGLUT 및 이전의 NamedCurves보다 통계적으로 유의미하게 선호되었습니다.

의의 및 주장

본 논문은 NamedCurves+가 이미지 향상과 사용자 제어 사이의 간극을 성공적으로 메운다고 주장합니다. 그 의의는 다음과 같습니다:

• 설명 가능성: 색상 이름이 붙은 톤 커브를 사용하는 것은 향상 과정을 투명하게 만듭니다. 즉, 사용자는 "빨강" 또는 "초록" 영역이 어떻게 조정되는지 정확히 볼 수 있습니다.
• 상호작용성: 사후(post-hoc) 맞춤형 조정을 유연하게 허용합니다. 사용자는 개인적 선호에 맞추기 위해 특정 커브를 수정하여 리터치된 이미지를 정교하게 다듬을 수 있으며, 이는 대부분의 엔드 투 엔드 딥러닝 모델에는 없는 기능입니다.
• 강건성: 전역 색상 조건부 커브와 국부적 트랜스포머 융합의 결리된 조합은 전역 노출/대비 문제와 국부적 색상 경계를 효과적으로 처리하여, 기존의 색상 분해 방식에서 흔히 나타나는 헤일로 아티팩트를 완화합니다.

저자들은 톤 커브의 표현력이 매우 국부적인 의미론적 편집에는 제한적일 수 있으나, 이 방법이 해석 가능하고 상호작용이 가능하며 고품질인 이미지 향상 시스템을 구축하는 데 있어 중요한 진전임을 결론지었습니다.