💻 컴퓨터 과학

Response-decomposed residual filtering for joint low-light enhancement and deblurring

본 논문은 저조도 이미지를 개선하고 블러를 제거하기 위해 LEDNet의 동적 커널 인터페이스에 통합된 응답 분해 잔차 필터링 모듈을 제안하며, 이를 통해 PSNR을 높이지는 않으면서도 파라미터와 지연 시간을 소폭 증가시키면서 테스트 세트에서 구조적 유사도와 지각적 품질을 유의미하게 향상시켰다.

원저자: Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

게시일 2026-11-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

안개가 자욱한 밤, 거리의 표지판을 읽으려고 노력하는 모습을 상상해 보십시오. 어둠은 글자를 보기 어렵게 만들고, 안개는 글자의 가장자리를 흐릿하게 만들어 날카로운 선들을 부드럽고 불분명한 안개 속으로 번지게 합니다. 이러한 이미지를 복구하는 것은 컴퓨터에게 이중의 과제입니다. 컴퓨터는 내용을 드러내기 위해 장면을 밝게 만들어야 하는 동시에, 세부 사항을 복원하기 위해 가장자리를 선명하게 만들어야 합니다. 이것이 바로 저조도 복원의 문제입니다. 이는 두 가지 상충하는 요구 사이에서 균형을 잡아야 하는 작업입니다. 만약 컴퓨터가 단순히 밝기만 높인다면, 종종 이미지를 뿌옇고 탁하게 만들어 블러(blur) 현상을 증폭시키게 됩니다. 반대로 이미지를 너무 공격적으로 선명하게 만들려고 하면, 거친 아티팩트나 노이즈가 발생할 수 있습니다. 목표는 가시성과 공간적 세부 사항을 동시에 회복하는 것이며, 이 과정은 단일한 일괄적 해결책이 아닌 섬세하고 국소적인 조정을 요구합니다.

디지털 이미징의 세계에서 연구자들은 이를 해결하기 위해 다양한 도구를 개발해 왔지만, LEDNet이라고 불리는 특정 접근 방식은 이미지를 처리하기 위해 유연하고 적응적인 방법을 사용함으로써 유망한 결과를 보여주었습니다. 이미지 전체에 동일한 필터를 적용하는 대신, LEDNet은 이미지의 아주 작은 패치마다 고유하고 작은 필터를 예측하여 그림자, 빛, 질감에 각기 다르게 반응할 수 있게 합니다. 그러나 이 새로운 연구를 진행한 연구자들은 다음과 같은 구체적인 질문을 던졌습니다. 기존 시스템이 이미 학습한 정교한 작업을 깨뜨리지 않으면서, 이 기존 시스템에 교정 레이어를 추가하여 이를 더욱 개선할 수 있을까? 그들은 컴퓨터가 자신의 필터에 대해 더 정밀한 '두 부분으로 된 조정'을 수행하도록 가르쳐서, 기존 엔진을 원활하게 유지하면서도 최종 이미지를 개선할 수 있는지 알고 싶었습니다.

강서전기직업기술대학과 산동농업대학교의 연구진이 이끄는 팀은 '응답 분해 잔차 필터링(response-decomposed residual filtering)'이라 부르는 방법을 제안했습니다. 이 용어를 이해하기 위해, 컴퓨터의 필터를 이미지를 수정하는 도구라고 상상해 보십시오. 연구진은 이 도구가 두 가지 주요 동작을 한다는 것을 깨달았습니다. 즉, 특정 영역의 전반적인 밝기를 이동시키거나, 해당 영역 내의 세부 사항에 대한 대비 또는 형태를 변경할 수 있다는 것입니다. 그들의 새로운 설계에서, 이 두 가지 동작을 분리했습니다. 그들은 컴퓨터가 밝기를 얼마나 이동시킬지 명시적으로 결정하는 특정 경로와, 세부 사항의 형태를 어떻게 바꿀지 결정하는 별도의 경로를 추가했습니다. 결정적으로, 세부 사항을 형성하는 부분은 합계가 0이 되는 네 가지 학습된 패턴으로 제한되었습니다. 이는 전체 패치를 밝게 하거나 어둡게 하지 않으면서 형태만을 변화시킨다는 것을 의미합니다. 이러한 분리는 컴퓨터가 빛의 필요성과 더 날카로운 가장자리의 필요성을 혼동하지 않도록 보장합니다.

이 작업이 제대로 작동하도록 하기 위해, 시스템은 이러한 결정을 안내하는 데 두 가지 다른 유형의 정보를 사용합니다. 밝기 이동을 위해서는 컴퓨터가 이미 어두운 이미지로부터 추출한 내부 특징만을 살펴봅니다. 형태 조정을 위해서는 동일한 특징을 살펴보되, 이미지 자체의 원래 저하된 빨강, 초록, 파랑 색상 정보도 함께 가져옵니다. 이를 통해 시스템은 깊이 있는 장면 이해를 바탕으로 밝기 조정을 수행하는 한편, 원본 색상 정보를 사용하여 세부 사항을 미세 조정할 수 있습니다. 연구진은 이 새로운 경로가 '제로 효과'에서 시작하도록 설계하여, 시스템 학습을 시작할 때 기존의 검증된 버전과 똑같이 동작하도록 했습니다. 학습이 진행됨에 따라, 새로운 경로들은 작고 도움이 되는 교정 방법을 학습하게 되었습니다.

이 실험의 결과는 30개의 서로 다른 비디오에서 촬영된 1,80로 개의 테스트 이미지 세트를 기준으로 측정되었습니다. 새로운 시스템인 LEDNet-P3를 원래의 LEDNet과 비교했을 때, 구조 및 인간의 지각 측면에서 복원된 이미지가 원래의 선명한 대상과 얼마나 유사한지에 대해 명확한 개선을 보였습니다. 구체적으로, 구조적 유사도 점수는 증가하고 지각적 차이 점수는 감소했는데, 이는 이미지가 더 자연스러워 보이고 원래 장면의 레이아웃을 더 잘 유지하고 있음을 나타냅니다. 이러한 개선은 테스트된 대다수의 비디오에서 일관되게 나타났습니다. 그러나 연구진은 이것이 픽셀 단위의 정확도에 집중하는 일반적인 지표인 표준 피크 신호 대 잡음비(PSNR)의 측정 가능한 개선으로 이어지지는 않았다는 점을 주의 깊게 언급했습니다. 실제로 해당 점수의 차이는 매우 미미하여 무시할 수 있는 수준이었으며, 이는 이미지가 눈에 더 잘 보일지라도 원본 픽셀 데이터 자체가 유의미하게 더 정확해진 것은 아님을 시사합니다.

이러한 개선에는 비용이 따랐습니다. 새로운 시스템은 더 많은 컴퓨터 메모리를 필요로 했으며, 각 이미지를 처리하는 데 원래 버전보다 약 17.7% 더 오래 걸렸습니다. 또한 연구진은 자신들의 모델을 다른 훈련 방식과 아키텍처를 사용하는 공개 시스템인 DarkIR-m과 비교했습니다. 해당 시스템은 여전히 모든 주요 지표에서 그들의 모델보다 우수한 성능을 보였으며, 이는 그들의 특정 추가 기능이 LEDNet 시스템을 도왔음에도 불구하고, 그것이 현재 사용 가능한 최고의 솔루션은 아니라는 것을 나타냅니다. 연구진은 또한 밝기 이동과 형태 작업의 분리가 필수적인지 테스트했습니다. 그 결과, 밝기 이동 부분을 제거하거나 색상 정보를 사용하는 방식을 변경하면 결과가 악화된다는 것을 발견했으며, 이는 그들의 특정 설계 선택이 실제로 도움이 되었음을 확인해 줍니다.

궁극적으로, 이 연구는 전문화되고 분해된 교정 레이어를 추가함으로써 기존의 이미지 복원 시스템을 업그레이드하는 성공적인 방법을 보여줍니다. 연구진은 밝기를 변경하는 결정과 형태를 변경하는 결정을 분리하고, 원본 이미지의 색상을 사용하여 형태 조정을 유도함으로써 이미지가 구조적으로 더 우수해질 수 있음을 보여주었습니다. 이 시스템이 모든 문제를 해결하거나 다른 모든 방법보다 뛰어난 마법 같은 해결책은 아니지만, 자체적인 프레임워크 내에서 명확하고 측정 가능한 이점을 제공합니다. 이는 고도로 최적화된 시스템에서도 컴퓨터가 세상을 보고 교정하는 방식을 정교화하기 위한 더 사려 깊고 분해된 접근 방식이 여전히 존재한다는 것을 입증합니다.

기술 요약: 저조도 개선 및 디블러링을 위한 응답 분해 잔차 필터링 (Response-Decomposed Residual Filtering)

문제 정의
저조도 개선(Low-light enhancement)과 디블러링(Deblurring)의 결합은 이중적인 과제를 안겨준다. 즉, 장면의 콘텐츠를 드러내기 위해 이미지의 강도를 높이는 동시에, 변위된 에지를 재구성하고 공간적 세부 사항을 복구해야 한다. 표준적인 개선 방식은 대개 모션 블러(motion blur) 문제를 해결하지 못하며, 디블러링 단독으로는 어두운 영역의 가시성을 복구할 수 없다. LEDNet과 같은 기존 시스템은 이 결합된 작업을 처리하기 위해 네이티브 동적 필터링 인터페이스를 활용한다. 그러나 본 연구에서 다루는 구체적인 과제는, 원래 생성기의 학습된 집계(aggregation) 능력을 방해하거나 전체 아키텍처를 완전히 재설계하지 않고도 복원 품질을 향상시킬 수 있는 보충적 교정 메커니즘을 어떻게 도입할 것인가 하는 점이다.

방법론
저자들은 LEDNet의 네이티브 동적 커널 인터페이스에 구조화된 잔차 교정을 직접 통합하는 모델인 LEDNet-P3를 제안한다. 핵심 혁신은 **응답 분해 잔차 필터링(response-decomposed residual filtering)**으로, 이는 원래의 생성기를 유지하면서 추가된 교정을 특정 기능적 구성 요소로 조직화하는 것이다.

아키텍처 및 통합:
- 모델은 LEDNet의 원래 개선 인코더, 피라미드 풀링 모듈(PPM), 곡선 비선형 유닛(CurveNLU), 그리고 디블러링 디코더를 그대로 유지한다.
- 교정은 세 가지 네이티브 필터링 스케일(1/8, 1/4, 1/2 해상도)에서 작동한다.
- 원래의 커널 예측기( $k^0$ )를 교체하는 대신, 모델은 최종 커널이 $k = k^0 + \Delta k$ 가 되도록 잔차 증분( $\Delta k$ )을 추가한다.
응답 분해 (Response Decomposition):
잔차 증분 $\Delta k$ 는 두 개의 별개 구성 요소로 분해된다:
- 부호 있는 커널 합 좌표 (Signed Kernel-Sum Coordinate): 특징 조건부 브랜치가 채널당 스칼라 증분( $d$ )을 예측한다. 이는 상수 이웃(constant-neighborhood) 응답을 나타낸다. 이는 $\Delta k_{sum} = \frac{d}{25}\mathbf{1}$ 로 계산된다 (여기서 $\mathbf{1}$ 은 1로 이루어진 벡터이다). 이 구성 요소는 오직 인코더 특징으로부터만 도출된다.
- 제한된 영-합 형상 확장 (Restricted Zero-Sum Shape Expansion): 두 번째 브랜치는 채널당 네 개의 학습된 공유 2D 기저 벡터( $b_r$ )에 대한 계수를 예측한다. 이 기저들은 상수 이웃이 아닌 국소적 변화에만 반응하도록 "중심화(zero-sum)"되어 있다. 계수는 인코더 특징과 (특징 해상도로 투영된) 열화된 RGB 이미지를 결합하여 예측된다. 형상 항은 $v = \sum a_r \tilde{b}_r$ (여기서 $\tilde{b}_r$ 은 영-합 기저임)로 계산된다.
커널 합성:
최종 커널 증분은 상수 응답과 형상 응답의 합이다: $\Delta k = \frac{d}{25}\mathbf{1} + v$ . 이 설계는 상수 이웃에 대해 형상 구성 요소가 사라지고 합 좌표만 남게 함으로써, 국소적 변화는 형상 구성 요소가 처리하도록 보장한다.
학습 전략:
- 기능 보존 초기화 (Function-Preserving Initialization): 합 헤드( $D_s$ )와 계수 헤드( $H_s$ )의 가중치는 0으로 초기화되며, 기저들은 작은 무작위 노이즈로 초기화된다. 이는 학습 시작 시 $\Delta k = 0$ 을 보장하여 백본의 기능을 보존한다.
- 결합 학습 (Joint Training): 백본, 헤드, 프로젝션, 그리고 기저는 원래의 LEDNet 손실 함수(L1 + VGG 지각 손실 + 사이드 출력 손실)를 사용하여 처음부터 공동으로 학습된다. 새로운 손실 타겟은 도입되지 않는다.

주요 기여

네이티브 인터페이스 교정: 본 논문은 후처리 CNN이나 추가적인 출력 스킵 연결으로서가 아니라, 커널 예측 단계에서 직접 잔차 경로를 추가함으로써 동적 필터링 네트워크를 증강하는 방법을 제시한다.
명시적 응답 분해: 저자들은 커널 교정을 "합(sum)" 좌표(상수 이웃 응답 처리)와 "형상(shape)" 구성 요소(영-합 기저를 통한 국로적 변화 처리)로 명시적으로 분리하였다.
조건부 라우팅 (Conditional Routing): 형상 계수가 인코더 특징과 열화된 RGB 이미지를 모두 사용하는 특정 조건부 전략을 채택하였다.
쌍을 이룬 평가 프로토콜: 본 연구는 공정한 비교를 위해 동일한 데이터 분할에 대해 고정된 업데이트 횟수(60,000회) 동안 모델을 처음부터 학습시키는 엄격한 쌍 기반 평가 프로토콜을 사용한다.

실험 결과
모델은 30개의 비디오에서 추출한 1,800개의 공식 테스트 쌍을 포함하는 LOL-Blur 데이터셋을 통해 평가되었다.

대조군 LEDNet 대비 성능:
- SSIM: +0.004656 증가 (26/30개 비디오에서 개선).
- LPIPS: 0.011445 감소 (30/30개 비디오에서 개선), 이는 더 나은 지각적 유사성을 나타낸다.
- PSNR: 평균 차이는 -0.045441 dB였으며, 이는 PSNR 개선이 확립되지 않았음을 의미한다 (16개 비디오에서는 유리, 14개 비디오에서는 불리하게 나타남).
공개 시스템과의 비교:
- 공개된 DarkIR-m 시스템과 비교했을 때, LEDNet-P3는 모든 지표에서 성능이 낮았다 (PSNR: -2.92 dB, SSIM: -0.095, LPIPS: +0.106). 저자들은 DarkIR-m이 다른 학습 프로토콜을 사용하므로 직접적인 아키텍처 귀속에 한계가 있음을 언급했다.
절제 연구 (Ablation Studies):
- 커널-합 브랜치를 제거했을 때(형상 전용) PSNR, SSIM, LPIPS가 모두 낮아졌으며, 이는 합 브랜치의 필요성을 뒷받침한다.
- 균일 캐리어(uniform carrier)를 센터 탭 캐리어(center-tap carrier)로 교체했을 때 모든 지표에서 성능이 악화되었다.
- 형상 계수에 RGB 컨디셔닝을 사용하는 것이 특징 요약 제어(feature-summary control)를 사용하는 것보다 SSIM/LPIPS 측면에서 더 나은 결과를 보였다.
계산 비용:
- LEDNet-P3는 226,880개의 파라미터를 추가한다 (LEDNet의 7.41M 대비 총 ~7.64M).
- 순방향 지연 시간(Forward latency)은 약 17.7% 증가했다 (RTX 5060 기준 이미지당 299.88 ms에서 352.98 ms로).

의의 및 주장
본 논문은 제안된 방법이 **LEDNet 범위 내에서의 제한적인 이득(bounded, within-LEDNet benefit)**을 확립한다고 겸허하게 주장한다. 구체적으로:

제안된 방법이 고정된 학습 프로토콜 하에서 응답 분해 잔차 필터링이 네이티브 LEDNet 베이스라인보다 구조적 유사성(SSIM) 및 학습된 지각적 이미지 패치 유사성(LPIPS)을 개선할 수 있음을 입증한다.
합 응답과 형상 응답의 분리 및 형상 계수에 대한 RGB 컨디셔닝 사용이라는 구체적인 설계 선택을 검증한다.
저자들은 이 방법이 일반적인 PSNR 개선을 확립하는 것이 아니며, 다른 학습 조건 하에서 더 강력한 공개 시스템인 DarkIR-m을 능가하지도 않는다는 점을 명시한다.
본 연구는 저조도 복원을 위한 보편적인 솔루션으로서 기존의 최첨단 시스템을 대체하는 것이 아니라, 동적 필터링 인터페이스 내에서의 보충적 교정 설계에 관한 구체적인 기여로서 제시된다.

유사한 논문