HPGN: Hybrid Priors-Guided Network for Compressed Low-Light Image Enhancement

기술 요약: 압축 저조도 이미지 향상을 위한 HPGN

문제 제기
실제 응용 분야에서 저조도 이미지는 저장 및 전송 비용을 줄이기 위해 자주 압축됩니다. 그러나 이러한 압축은 저조도 조건의 고유한 열화에 더해 아티팩트(예: 블로킹, 흐림)를 유발합니다. 기존 저조도 이미지 향상 (LLIE) 방법은 압축된 입력에 직접 적용될 때 이러한 압축 아티팩트를 완화하지 못합니다. 또한, 현재 압축 저조도 이미지 향상 (CLLIE) 접근법은 종종 이미지에서 블로킹을 제거한 후 조도를 향상시키는 2 단계 전략에 의존합니다. 이러한 연쇄적 접근 방식은 별도의 모델이 서로 다른 JPEG 품질 인자 (QF) 에 필요한 경우가 많아 오차 누적, 모델 복잡도 증가, 그리고 상당한 훈련 시간 비용을 초래합니다. 더 나아가 많은 기존 방법들은 향상 과정을 안내하기 위해 압축 메타데이터 (QF 또는 양자화 행렬 등) 를 명시적으로 활용하지 않습니다.

방법론
저자들은 다양한 압축 수준에 걸쳐 압축된 저조도 이미지를 공동으로 향상시키기 위해 설계된 1 단계 프레임워크인 **하이브리드 사전 지향 네트워크 (HPGN)**를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 하이브리드 정보 필터 (HIF): 이는 세 가지 유형의 사전 지식을 통합하여 특징을 동적으로 조정하는 플러그 앤 플레이 모듈입니다:

   • 조도 사전 지식: 전역 밝기 추정 및 국소 조도 특징 추출 과정을 통해 입력 압축 이미지 ($I_{comp}$) 에서 유도됩니다.
   • 압축 사전 지식:
     • 품질 인자 (QF) 분기: QF 를 활용하여 채널별 곱셈을 수행하는 매핑 계수 ($M_{qf1}, M_{qf2}$) 를 생성하여 조도 특징에 적용합니다. 이는 양자화로 인한 채널 상관관계 변화 및 특징 이동을 해결합니다.
     • 양자화 행렬 (QM) 분기: DCT 양자화 행렬을 활용하여 공간 매핑 계수 ($N_{qm}$) 를 생성합니다. 이러한 계수는 요소별 곱셈을 통해 적용되어 공간 특징 분포를 모델링하며, 주요 영역 (텍스처 및 엣지 등) 에서의 향상을 증폭시키고 양자화로 인한 심각한 열화가 있는 영역을 국소적으로 보정합니다.
   • HIF 는 이러한 사전 지식들을 결합하여 후속 향상을 안내하는 정제된 특징을 생성합니다.

2. 이미지 향상기 (IE): 중첩된 재귀적 다중 규모 잔차 블록 (RMRB) 으로 구성된 CNN 기반 모듈입니다. 각 RMRB 는 다중 규모 분기 아키텍처를 사용하는 다중 규모 잔차 블록 (MRB) 을 포함합니다. 입력 특징은 서로 다른 해상도에서의 상관관계를 포착하기 위해 다운샘플링되고, 컨텍스트 블록 (CB) 을 통해 처리된 후 동적으로 융합됩니다. 이 구조는 낮은 복잡성을 유지하면서 다양한 빛 분포 규모를 처리하는 것을 목표로 합니다.

훈련 전략
단일 모델이 다양한 압축 품질을 가진 이미지를 처리할 수 있도록 하기 위해, 저자들은 훈련 중에 무작위 QF 생성 전략을 사용합니다. 특정 QF 를 위한 별도의 모델을 훈련하는 대신, 네트워크는 무작위로 생성된 QF 로 압축된 이미지들로 훈련됩니다. 이는 다양한 압축 수준에 대한 통합된 표현을 학습하게 하여, 다중 모델 또는 2 단계 접근 방식에 비해 훈련 시간과 계산 자원을 크게 줄여줍니다.

주요 기여

• 1 단계 프레임워크: HPGN 은 연쇄적인 블로킹 제거 및 향상 모델의 필요성을 제거하는 통합된 1 단계 네트워크로 제안되었습니다.
• 하이브리드 정보 필터 (HIF): 밝기 조정 중 정보 손실을 완화하기 위해 조도 사전 지식과 함께 압축 사전 지식 (QF 및 QM) 을 활용하는 새로운 모듈입니다. 저자들은 이를 다른 LLIE 방법으로 삽입할 수 있는 "플러그 앤 플레이" 특성으로 강조합니다.
• 무작위 QF 훈련: 단일 모델이 다양한 압축 수준에 걸쳐 이미지를 강력하게 향상시킬 수 있게 하는 전략으로, 각 QF 에 대한 특정 최적화가 필요한 기존 방법들의 확장성 문제를 해결합니다.

실험 결과
이 방법은 LOLv1, LOLv2-real, LOLv2-syn 및 사용자 정의 LOLv1-randomQF 데이터셋 네 가지에서 평가되었습니다.

• 정량적 성능: LOLv1-randomQF 데이터셋에서 HPGN 은 최첨단 (SOTA) 성능을 달성하여 두 번째로 좋은 방법 (CAPformer) 보다 PSNR 에서 최대 0.21dB 더 높고 더 높은 SSIM 점수를 기록했습니다.
• 효율성: HPGN 은 2.69M 개의 파라미터만 필요로 하여 CAPformer(8.77M) 가 사용하는 파라미터의 약 30.7% 로 뛰어난 효율성을 보여줍니다.
• 확장성: 제거 실험 및 통합 테스트 (표 2) 는 기존 LLIE 프레임워크 (MIRNetv2 및 Retinexformer) 에 HIF 모듈을 추가하면 최소한의 파라미터 증가로 공동 작업에서 성능이 크게 향상됨을 보여줍니다.
• 화질: 정성적 비교는 HPGN 이 표준 LLIE 방법 및 2 단계 연쇄 접근 방식 모두에 비해 노이즈가 줄어든 압축 아티팩트가 적은 우수한 시각적 결과를 생성함을 나타냅니다.

의의 및 주장
이 논문은 HPGN 이 압축 아티팩트 제거와 조도 향상을 단일 효율적인 단계로 통합함으로써 압축된 저조도 이미지 처리의 중요한 격차를 해소한다고 주장합니다. 압축 메타데이터 (QF 및 QM) 를 명시적으로 안내로 활용함으로써, 이 방법은 재훈련 없이 다양한 압축 수준에 적응합니다. 저자들은 HPGN 을 기존 SOTA 방법보다 정확도에서 우수할 뿐만 아니라, 이미지 압축 수준이 변하는 실제 응용 분야에서 더 계산 효율적이고 유연한 프레임워크를 제공하는 다목적 솔루션으로 위치시킵니다. 논문은 현재 초점이 JPEG 에 맞춰져 있지만, 압축 메타데이터를 활용한 향상이라는 핵심 개념은 다른 표준으로 확장 가능하다고 언급하며, 비-JPEG 또는 극단적인 압축 시나리오에는 구체적인 적응이 필요하다고 덧붙입니다.