M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

기술 요약: M2RETINEXFORMER

문제 제기
저조도 이미지 향상은 증폭된 노이즈, 아티팩트, 색상 왜곡과 같은 복잡한 열화 현상으로 인해 어려운 작업입니다. 이미지 반사율과 조명 성분을 분해하여 강력한 결과를 달성한 레티넥스 기반 딥러닝 방법, 특히 Retinexformer 는 단일 모달리티 RGB 정보에만 의존합니다. 이러한 한계는 네트워크가 장면 기하학과 빛의 공간적 분포에 대해 추론하는 능력을 제한하여, 그림자, 가림, 또는 거리로 인해 발생하는 어두운 영역을 구별하는 데 어려움을 초래합니다.

방법론
저자들은 레티넥스 기반의 단일 단계 프레임워크 (ORF) 인 Retinexformer 에 보완적인 다중 모달 단서를 통합하여 확장한 M2Retinexformer(Multi-Modal Retinexformer) 를 제안합니다. 이 아키텍처는 조명 추정기 (Illumination Estimator) 와 다중 모달 열화 복원기 (Multi-Modal Corruption Restorer) 로 구성되며, 두 가지 주요 구성 요소로 강화됩니다:

1. 모달리티 추출기 (Modality Extractor): 이 모듈은 보조 특징을 여러 스케일에서 추출 및 정렬하여 복원 파이프라인에 주입합니다. 논문은 세 가지 특정 모달리티를 활용합니다:

   • 깊이 (Depth): 조명 불변의 기하학적 구조를 제공하고 어두운 영역을 명확히 하기 위해 고정된 Depth-Anything-V2 모델을 사용하여 추출합니다.
   • 휘도 (Luminance): NTSC 휘도 계산에서 파생된 증강 휘도 특징으로, 소벨 엣지, 지역 대비, 다중 스케일 피라미드 단서를 포함하여 풍부하게 만듭니다.
   • 시맨틱 특징 (Semantic Features): 색상 일관성과 구조적 무결성을 유지하면서 객체 인식 표현을 포착하기 위해 고정된 DINOv3 백본을 사용하여 추출합니다.

2. 다중 모달 교차 어텐션 블록 (MMCAB): 이는 핵심 융합 모듈입니다. 3 단계의 동일한 단계를 연결하는 점진적 정제 파이프라인 내에서 작동하며 다음을 활용합니다:

   • 교차 어텐션 (Cross-Attention): RGB 특징이 보조 모달리티 (깊이, 휘도, 시맨틱) 로부터 보완적인 정보를 선택적으로 쿼리할 수 있도록 합니다.
   • 조도 유도 자기 어텐션 (Illumination-Guided Self-Attention): 원래 Retinexformer 에서 유지된 것으로, 어텐션이 조명 사전 지식에 의해 조절됩니다.
   • 적응형 게이트 (Adaptive Gating): 보조 단서의 신뢰도에 기반하여 자기 어텐션 출력과 다중 모달 교차 어텐션 출력을 동적으로 균형 잡는 학습 가능한 메커니즘입니다. 이는 노이즈가 있거나 중복된 모달리티가 주요 RGB 분기를 저하시키는 것을 방지합니다.

이 프레임워크는 고수준 시맨틱 구조와 미세한 질감을 보존하기 위해 L1 손실과 지각적 손실 (VGG-19 기반) 의 조합을 사용하여 훈련됩니다.

주요 기여

• 새로운 아키텍처: 다중 모달 교차 어텐션 블록과 적응형 게이트 메커니즘을 통해 깊이, 휘도, 시맨틱 특징을 통합하여 Retinexformer 를 확장한 M2Retinexformer 의 도입.
• 모듈형 설계: 모달리티가 통일된 인터페이스를 따르는 유연한 아키텍처로, 핵심 네트워크를 수정하지 않고도 추가적인 사전 지식을 통합할 수 있습니다.
• 체계적 분석: 각 보조 모달리티가 성능에 미치는 개별적 및 결합된 효과를 입증하는 광범위한 제거 실험.
• 효율성: 보조 모달리티에 고정된 인코더를 사용하여 2M 개의 학습 가능 파라미터 (총 48M) 를 가지며, 이는 198M 개의 파라미터를 가진 ModalFormer 와 같은 이전 다중 모달 접근법보다 훨씬 효율적입니다.

결과
LOL-v1, LOL-v2 (실제 및 합성), SID, SMID, SDSD (실내 및 실외) 등 7 개의 벤치마크에서 평가가 수행되었습니다.

• 정량적 성능: M2Retinexformer 는 대부분의 데이터셋에서 최상위 또는 차상위 성능을 달성했습니다. 특히 LOL-v1 에서 24.89, LOL-v2 Real 에서 23.85, SDSD Indoor 에서 30.48 의 PSNR 을 기록하여 기준선 Retinexformer 와 다른 최첨단 방법들을 능가했습니다.
• 정성적 성능: 시각적 비교는 제안된 방법이 자연스러운 색상과 감소된 노이즈를 가진 잘 노출된 이미지를 생성하며, 기준선 Retinexformer 에서 관찰된 색상 왜곡과 잔류 노이즈를 효과적으로 억제함을 나타냅니다.
• 제거 실험 결과: LOL-v2 Real 데이터셋에서 깊이 추가가 가장 큰 성능 향상을 제공 (+2.00 dB, 기준선 대비) 했으며, 그 다음으로 휘도가 뒤따랐습니다. 연구는 모든 모달리티를 동시에 추가하는 것이 항상 일관된 개선을 가져오지는 않는다고 지적하며, 효과적인 모달리티 선택과 적응형 게이트의 역할을 강조했습니다.

의의 및 주장
이 논문은 M2Retinexformer 가 레티넥스 기반 프레임워크 내에서 이질적인 모달리티를 통합하는 효과성을 입증한다고 주장합니다. 핵심 통찰력은 깊이가 조명 변화에 강건한 기하학적 컨텍스트를 제공하고, 휘도 및 시맨틱 특징은 콘텐츠 인식 가이드를 제공한다는 것입니다. 저자들은 그들의 접근 방식이 모듈형이고 확장 가능한 설계를 유지하면서 기존 방법들에 대한 전반적인 개선을 달성한다고 주장합니다.

그러나 논문은 겸손하게 한계를 인정합니다: 다중 모달 융합의 이점은 모달리티의 신뢰도에 크게 의존합니다. 보조 특징이 불안정한 시나리오 (가변 노출 특성을 가진 SMID 및 SDSD 데이터셋의 비디오 기반 캡처 등) 에서는 성능 향상이 감소할 수 있습니다. 이 프레임워크는 저조도 향상 작업에서 추가적인 사전 지식을 수용할 수 있는 기반을 제공하는 미래 진전을 위한 유망한 방향으로 제시됩니다.