NTIRE 2026 Challenge on Efficient Low Light Image Enhancement: Methods and Results

제공된 논문에 기반하여, NTIRE 2026 효율적 저조도 이미지 향상 (E-LLIE) 챌린지에 대한 상세한 기술적 요약은 다음과 같습니다.

문제 정의

저조도 이미지 향상 (LLIE) 은 어두운 장면에서 가시성과 대비를 개선하면서 노이즈, 아티팩트, 색상 왜곡을 완화하는 것을 목표로 합니다. 딥러닝 방법이 상당한 진전을 이루었지만, 높은 모델 복잡도, 매개변수 중복성, 긴 추론 시간으로 인해 종종 리소스 제약이 있는 모바일 장치에는 적합하지 않습니다. E-LLIE 챌린지는 고품질 향상과 엄격한 계산 제약 사이의 균형을 맞추는 경량 네트워크를 설계하여 모바일 플랫폼 배포를 특히 목표로 하는 시급한 필요성을 해결합니다.

대회 구성 및 방법론

이 챌린지는 2025 년 버전의 성공을 바탕으로 NTIRE 2026 워크숍에서 개최되었습니다.

• 데이터셋: 이전 버전과 달리, 이 데이터셋은 다양한 시나리오 (어두운 조명, 극도로 낮은 조명, 역광, 불균일한 조명, 실내/실외 야간 장면) 에 걸쳐 화웨이와 애플 스마트폰을 사용하여 수집되었습니다. 이미지는 3024×4032의 균일한 해상도를 가집니다. 데이터셋에는 349 개의 훈련 장면, 49 개의 검증 장면, 그리고 102 개의 테스트 장면 (비밀 유지되는 정답 포함) 이 포함되어 있습니다.
• 제약 조건: 주요 제약 조건은 1 MB 미만의 모델 크기 제한이었습니다.
• 평가 지표: 제출물은 SSIM, LPIPS, DISTS, LIQE, MUSIQ, Q-Align이라는 포괄적인 지표 세트를 사용하여 평가되었습니다.
• 순위 결정 기준: 최종 순위는 모든 지표에 대한 각 팀의 순위를 집계하여 결정되었습니다. 동점인 경우, 매개변수가 적은 팀이 더 높은 순위를 받았습니다.
• 참가 현황: 207 명의 참가자가 등록했으며, 27 개 팀이 유효한 출품을 제출했고 17 개 팀이 최종 평가를 위한 유효한 사실 확인서 (factsheet) 를 제공했습니다.

주요 기술적 접근법

참가한 17 개 팀은 효율성과 품질을 중심으로 다양한 기술 패러다임을 탐구했습니다. 방법론은 일반적으로 다음 범주로 분류됩니다:

1. 경량 아키텍처: 많은 팀이 계산 비용을 줄이면서 표현 능력을 유지하기 위해 깊이별 분리 합성곱, 잔차 연결, 부분 합성곱 (PConv) 으로 강화된 U-Net 또는 인코더 - 디코더 프레임워크를 활용했습니다.
2. 레티넥스 기반 분해: 몇몇 접근법은 특정 저조도 열화를 대상으로 조명 및 반사 성분 (예: RetinexFormer 변형, 조명 - 반사 분해) 을 명시적 또는 암시적으로 모델링했습니다.
3. 어텐션 및 트랜스포머 모듈: 과도한 오버헤드 없이 전역 컨텍스트 모델링을 강화하기 위해 팀들은 경량 어텐션 메커니즘과 트랜스포머 블록 (예: Restormer 스타일의 로컬 트랜스포머, 크로스 어텐션) 을 통합했습니다.
4. 색상 공간 분리: HVI (Hue-Value-Intensity), YUV, LAB와 같은 색상 공간을 활용하여 휘도와 색도를 별도로 처리함으로써 안정성과 색상 충실도를 개선하는 방법들이 사용되었습니다.
5. 하이브리드 및 전통적 사전 지식: 일부 접근법은 딥러닝과 전통적인 이미지 처리 기술 (예: 히스토그램 평활화, 다중 노출 융합) 을 통합했습니다. 다른 방법들은 구조적 재파라미터화 (다중 분기 구조로 훈련하고 추론을 위해 단일 분기로 변환) 와 지식 증류를 사용하여 효율성을 극대화했습니다.
6. 구체적인 아키텍처 혁신:
   • MiVideo (1 위): 채널 어텐션 (CA) 과 OCAB 모듈을 갖춘 경량 RetinexFormerRefine을 사용하며 구조적 재파라미터화를 적용했습니다.
   • CVPR TCD (2 위): 이중 분기 인코더 - 디코더와 주파수 도메인 위상 이동을 위한 위상 이동 블록 (PTB) 을 갖춘 회색조 유도 크로스 어텐션 트랜스포머를 제안했습니다.
   • S3 (3 위): 동결된 전처리기 (CPGA-Net, CLAHE) 뒤에 컴팩트한 DWConv U-Net이 뒤따르는 2 단계 패러다임을 채택했습니다.
   • sun (4 위): 채널 폭과 깊이를 최소화하는 Restormer 스타일의 로컬 트랜스포머 블록을 갖춘 컴팩트한 레티넥스 영감 인코더 - 디코더를 활용했습니다.
   • NCHU-CVLab (5 위): 조명 및 색상 복원을 위한 이중 분기 아키텍처를 갖춘 HVI 색상 공간 기반의 Efficient-HVI를 제안했습니다.
   • HIT-LLIE-team (7 위): 다중 분기 재파라미터화를 갖춘 초경량 완전 합성곱 네트워크인 MobileIE-6Ch를 개발했습니다.

결과

이 챌린지는 성능과 효율성 간의 균형을 크게 개선했음을 보여주었습니다.

• 최고 성과자:
  • 1 위: MiVideo(샤오미) 는 927,049 개의 매개변수를 가진 모델로 최상위 순위를 달성했습니다. LPIPS, DISTS, LIQE, MUSIQ, Q-Align 에서 최고의 점수를 기록했습니다.
  • 2 위: CVPR TCD(더블린 트리니티 칼리지) 는 557,618 개의 매개변수로 구조적 유사성과 지각적 지표에서 강력한 성과를 보였습니다.
  • 3 위: S3(소니 반도체 솔루션) 은 741,600 개의 매개변수를 기록했습니다.
• 성능 대 효율성: 결과는 엄격한 1 MB 제약 내에서 고품질 향상이 가능함을 강조했습니다. HIT-LLIE-team과 같은 팀은 극도로 작은 모델 (~102K 개 매개변수) 이도 경쟁력 있는 순위 (7 위) 를 달성할 수 있음을 보여주어 초경량 솔루션의 실현 가능성을 입증했습니다.
• 지표 다양성: LIQE 및 Q-Align 과 같은 무참조 지표를 포함한 여러 지표를 사용하면 서로 다른 아키텍처가 이미지 품질의 서로 다른 측면 (예: 구조적 충실도 대 지각적 사실성) 에서 뛰어남이 드러났습니다.

의의 및 주장

이 논문은 챌린지가 다음과 같이 성공했다고 주장합니다:

1. 연구 발전: 엄격한 리소스 제약 하에서 저조도 향상의 한계를 확장하여 이론적 성능을 넘어 실제 배포 가능성으로 나아갔습니다.
2. 비교 용이성: 모델 크기, 추론 속도, 향상 품질 간의 트레이드오프를 특히 강조하는 새로운 방법론을 비교하기 위한 체계적인 벤치마크를 제공했습니다.
3. 학계와 산업의 연결: 주요 기술 기업 (예: 샤오미, 소니) 과 대학의 참가자들을 참여시킴으로써 협력을 장려하고 모바일 사진의 잠재적 실제 응용 분야를 탐구했습니다.

저자들은 E-LLIE 의 추세가 모바일 배포의 요구를 충족시키기 위해 구조적 재파라미터화, 효율적 어텐션 메커니즘, 색상 공간 분리 등의 기술을 활용하여 향상 성능과 계산 효율성을 공동 최적화하는 방향으로 명확히 이동하고 있다고 결론지었습니다. 이 챌린지는 정확할 뿐만 아니라 최종 사용자 장치에서 실제로 실현 가능한 최첨단 방법을 식별하는 플랫폼 역할을 합니다.