PixIE: Prompted Pixel-Space Low-Light Image Enhancement

기술 요약: PixIE – 프롬프트 기반 픽셀 공간 저조도 이미지 향상

문제 제기
저조도 이미지 향상 (LLIE) 은 노이즈 제거, 대비 복원, 의미론적 세부 사항 복구를 결합한 복잡한 과제입니다. 실제 세계의 저조도 촬영은 신호 의존적 노이즈, 붕괴된 질감, 왜곡된 색상으로 인해 심각한 고통을 겪습니다. 최근의 딥러닝 방법 (CNN, Transformer, Mamba, Diffusion 모델) 이 이 분야를 발전시켰지만, 종종 학습 데이터의 분포에 의해 제약받습니다. 심하게 과다 노출된 영역에서는 노이즈와 질감이 구별 불가능해져, 학습된 매핑이 과도한 평활화, 색상 편이, 또는 의미론적으로 구별되는 영역 간의 일관성 없는 향상을 초래합니다. 또한, DINO, CLIP, SAM 과 같은 기초 모델을 활용하는 기존 접근법은 대체로 거친 전역적 또는 패치 단위의 조건부 처리를 사용합니다. 이는 '의미론적 - 공간적 격차'를 생성하여, 고차원 의미론적 안내를 고충실도 세부 사항 복구에 필요한 픽셀 단위 작업과 정렬하지 못하게 하며, 종종 영역 간 불일치와 과도하게 평활화된 국부적 구조를 초래합니다.

방법론
저자들은 DINOv3 라는 비전 기초 모델에 의해 의미론적으로 프롬프트된 피드포워드, 엔드투엔드 픽셀 공간 LLIE 프레임워크인 PixIE를 제안합니다. 이미지를 압축하는 잠재 공간 접근법과 달리, PixIE 는 고주파 세부 사항을 보존하기 위해 직접 픽셀 공간에서 작동합니다. 아키텍처는 세 가지 주요 구성 요소로 구성됩니다:

1. 크로스 스케일 노이즈 제거 스트림:
   의미론적 프롬프팅 이전에 입력 이미지는 의미론이 없는 크로스 스케일 노이즈 제거 스트림을 통과합니다. 이 모듈은 Restormer 스타일의 Transformer 블록을 사용하여 중대한 노이즈를 억제하고 거친 구조를 보존합니다. 특징은 정교한 스케일에서 거친 스케일로 전파됩니다. 결정적으로, 이 스트림은 심각한 노이즈가 의미론적 사전 지식을 오염시키는 것을 방지하기 위해 '의미론이 없음'으로 유지되며, DINO 조건부 처리는 초기 노이즈 제거 단계 이후에만 도입됩니다.

2. 다중 수용 영역 픽셀 임베딩 (MRPE):
   의미론적 주입 이전에, 프레임워크는 노이즈가 제거된 특징에 MRPE 를 적용합니다. 이 모듈은 1×1, 3×3, 5×5 커널 크기를 가진 병렬 합성곱을 사용하여 지역적 맥락을 집계합니다. 포인트-와이즈 (1×1) 브랜치보다 더 큰 수용 영역 (3×3 및 5×5) 에 더 많은 채널을 할당함으로써, MRPE 는 이웃 인식 표현을 생성합니다. 이는 공간적 수용 영역이 부족하고 신호 의존적 노이즈와 신호를 구별하는 데 어려움을 겪는 표준 포인트-와이즈 임베딩의 한계를 해결합니다.

3. DINO 프롬프트 픽셀 블록 (DPPB):
   이는 핵심 의미론적 통합 모듈입니다. 거친 패치 단위의 연결 대신, DPPB 는 고정된 DINOv3 인코더 (특히 2, 5, 8, 11 층) 의 중간 특징을 픽셀 공간 파이프라인에 주입합니다.

   • 메커니즘: DINO 토큰은 특징 그리드와 일치하도록 크기 조절되며, AdaLN-Zero 변조 파라미터를 예측하기 위해 경량 MLP 로 처리됩니다.
   • 공간 연속성: 이러한 파라미터는 이선형 보간과 깊이별 합성곱을 통해 업샘플링되어 공간적으로 연속적인 풀 해상도 변조 필드를 생성합니다. 이는 하드 패치 경계를 제거하고 매끄러운 픽셀 단위 의미론적 안내를 보장합니다.
   • 변조: 예측된 파라미터 ($\alpha, \beta, \gamma$) 는 잔여 블록의 어텐션 및 피드포워드 하위 계층을 변조하여 공간적으로 일관된 향상을 가능하게 합니다.

4. 공간 - 채널 압축 (SCC):
   다중 스케일 설계 (여기서 채널 차원은 증가함) 에서 픽셀 공간 어텐션을 계산적으로 실현 가능하게 하기 위해, SCC 가 어텐션 브랜치에 적용됩니다. 이는 공간 특징 맵을 겹치지 않는 패치로 접어 채널 차원을 압축한 후 Multi-Dconv Head Transposed Attention (MDTA) 을 적용합니다. 이는 어텐션 비용을 $O(HW \cdot C^2)$에서 $O(H_p W_p \cdot D_{attn}^2)$로 줄여, 거친 스케일에서 증가하는 채널 너비에 관계없이 비용을 독립적으로 만듭니다.

주요 기여

• PixIE 프레임워크: 공간적으로 연속적인 픽셀 단위 변조를 통해 기초 모델 의미론을 직접 픽셀 공간 LLIE 파이프라인에 주입하여 진정한 픽셀 - 대 - 의미론적 향상을 가능하게 하는 최초의 방법.
• DINO 프롬프트 픽셀 블록 (DPPB): 패치 단위의 조건부 처리와 관련된 그리드 이음새와 불연속성을 피하기 위해 DINO 패치 토큰을 매끄러운 풀 해상도 변조 필드로 변환하는 새로운 잔여 블록.
• 공간 - 채널 압축 (SCC): 공간 토큰 그리드와 채널 차원을 동시에 줄여 픽셀 공간 어텐션이 다중 스케일 아키텍처에서 여전히 합리적인 비용으로 유지되도록 하는 효율성 전략.
• 다중 수용 영역 픽셀 임베딩 (MRPE): 의미론적 프롬프팅 전에 이웃 맥락을 집계하여 포인트-와이즈 임베딩에 비해 신호 의존적 노이즈에 대한 강건성을 향상시키는 경량 모듈.

실험 결과
실험은 표준 LLIE 벤치마크인 LOLv1, LOLv2 (실제 및 합성), 그리고 대규모 실제 세계 LSRW 데이터셋에서 수행되었습니다.

• 정량적 성능: PixIE 는 네 개의 데이터셋 중 세 개에서 최첨단 (SOTA) 성능을 달성합니다. 최근 SOTA 방법 대비 평균 PSNR 을 **1.9% 에서 15.0%**까지 향상시키고, LPIPS (지각 손실) 를 **8.5% 에서 44.4%**까지 감소시킵니다. LOLv2-Real 에서 PSNR 29.08 dB 및 SSIM 0.902 를 달성합니다.
• 일반화: 비쌍을 이루는 데이터셋 (LIME, VV, DICM, NPE, MEF) 에서 PixIE 는 기준이 없는 지표 (NIQE 및 CLIP-IQA) 에서 일관되게 상위 3 위를 차지하여, 정답이 없는 실제 세계 시나리오에 대한 강력한 일반화를 보여줍니다.
• 정성적 분석: 시각적 비교는 PixIE 가 RetinexFormer, WaveMamba, DiffLL 과 같은 경쟁자보다 더 선명한 세부 사항 (예: 텍스트, 질감) 과 더 안정적인 색상을 복구함을 보여줍니다. 다른 방법에서 관찰되는 과도한 평활화 또는 색상 번짐 없이 구조적 고주파 세부 사항을 중대한 노이즈와 효과적으로 분리합니다.

의의 및 주장
이 논문은 PixIE 가 계산 효율성이나 세부 사항 충실도를 희생하지 않으면서 고차원 의미론적 사전 지식을 픽셀 공간 복원 파이프라인에 성공적으로 통합함으로써 LLIE 에서 중요한 전환을 나타낸다고 주장합니다. 저자들은 그들의 접근법이 전역적 의미론적 일관성과 국부적 픽셀 단위 세부 사항 복구 사이의 트레이드오프를 해결한다고 강조합니다. 거친 패치 조건부 처리 대신 공간적으로 연속적인 변조를 사용함으로써, PixIE 는 기존 기초 모델 유도 방법들을 괴롭히는 경계 아티팩트를 피합니다. 이 연구는 노이즈 제거 과정을 의미론적 정제와 분리하고 이웃 인식 임베딩을 활용하는 것이 실제 세계 저조도 촬영의 특징인 심각한 신호 의존적 노이즈를 처리하는 데 필수적임을 보여줍니다.