💻 computer science

Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

이 논문은 광흐름에 기반한 동적 가중치 시간적 집합과 Mamba 기반 다중 프레임 정렬을 결합하여 극단적인 노이즈를 효과적으로 억제하면서도 시간적 일관성과 미세한 디테일을 보존하는 저조도 비디오 향상을 위한 새로운 순환 딥러닝 프레임워크인 DWTA-Net을 제안합니다.

원저자: Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

게시일 2026-05-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

야간 폭풍우 중에 촬영된 동영상을 시청한다고 상상해 보세요. 화면은 어둡고 '눈' (노이즈) 이 섞여 거칠며, 색상은 바랜 것처럼 보입니다. 단일 프레임을 밝게 하려고 하면 노이즈가 더 심해집니다. 전체 동영상을 한 번에 수정하려고 하면 카메라가 움직였기 때문에 이미지가 깜빡이거나 흐릿해질 수 있습니다.

이 논문은 이러한 지저분하고 어두운 동영상을 수정하는 새로운 도구인 DWTA-Net을 소개합니다. 이는 그림을 흐릿하게 만들지 않고 노이즈를 제거하는 교묘한 기법을 사용하는 2 단계 '동영상 의사'와 같습니다.

간단히 설명하면 다음과 같이 작동합니다:

문제: '단기 기억' 문제

대부분의 기존 동영상 정화 기술은 단기 기억력을 가진 사람과 같습니다. 몇 개의 프레임 (아마도 5 개 또는 10 개) 만 보고 이를 수정하려 합니다.

비유: 찰나의 순간만 바라보며 더러운 창문을 닦는다고 상상해 보세요. 얼룩 뒤에 숨겨진 먼지를 놓칠 수 있습니다.
결과: 이러한 방법들은 장면이 장시간에 걸쳐 어떻게 보이는지 '큰 그림'을 볼 수 없기 때문에 노이즈를 남기거나 동영상이 깜빡이게 만드는 경우가 많습니다.

해결책: 2 단계 프로세스

DWTA-Net 은 마치 건설 팀이 먼저 프레임을 구축한 다음 세밀한 광택을 내는 것처럼 두 가지 명확한 단계로 작동하여 이를 해결합니다.

1 단계: '단체 사진' (구조 및 색상)

먼저 시스템은 짧은 프레임 시퀀스 (단체 사진과 같음) 를 보고 완벽하게 정렬합니다.

작동 방식: 전체 장면을 한 번에 이해하는 특수한 AI 두뇌 ( Mamba 라고 함) 를 사용하여 밝기를 수정하고 색상을 보정하며, 울타리나 나무와 같은 모양이 단단해지도록 합니다.
비유: 이는 흐릿한 사진들을 모아 주제에 대한 명확한 윤곽을 얻기 위해 서로 겹쳐 쌓는 것과 같습니다. 먼저 '큰 그림'을 수정합니다.

2 단계: '스마트 블렌더' (노이즈 제거 및 일관성)

이것이 이 논문의 큰 혁신입니다. 단순히 프레임을 평균화하는 것 (모든 것을 흐릿하게 만듦) 대신 순환 (recurrent) 방식을 사용합니다. 이는 과거에 본 것을 기억하여 현재 프레임과 혼합하되, 의미 있는 경우에만 혼합한다는 뜻입니다.

비유: 시끄러운 방에서 친구의 목소리를 듣는다고 상상해 보세요.
- 친구가 제자리에 서 있다면 (정적 영역), 배경 노이즈를 필터링하기 위해 오랫동안 그들을 들을 수 있습니다. DWTA-Net 은 많은 과거 프레임을 '혼합'하여 입자를 부드럽게 만들어 이를 수행합니다.
- 친구가 달리기 시작하면 (동적 영역), 과거 위치를 현재 위치와 혼합하면 유령처럼 보일 수 있습니다. DWTA-Net 은 이 움직임을 감지하여 혼합을 중단하고 움직이는 객체를 선명하게 유지합니다.
결정 방식: 픽셀이 어떻게 움직이는지 추적하는 '광학 흐름 (optical flow)'을 사용하여 **동적 가중도 맵 (dynamic weight map)**을 생성합니다. 이는 "여기는 정적이므로 강하게 혼합하라"고 말하고 "여기는 움직이므로 혼합하지 마라"고 말하는 스마트한 디밍 스위치와 같습니다.

비밀 재료: '텍스처 인식' 손실 함수

AI 에게 이를 수행하는 방법을 가르치기 위해 연구자들은 Texture-Adaptive Loss라고 불리는 특수한 채점 시스템 (손실 함수) 을 개발했습니다.

비유: 화가를 생각해 보세요.
- 거칠고 질감이 있는 벽 (잔디나 벽돌과 같은) 을 칠할 때, 화가는 모든 작은 세부 사항과 균열이 보이도록 유지하고 싶어 합니다.
- 매끄러운 벽 (맑은 푸른 하늘과 같은) 을 칠할 때, 화가는 완벽하게 매끄럽고 반점이 없기를 원합니다.
결과: AI 는 노이즈를 제거하기 위해 매끄러운 영역에서는 '강하게' 작용하지만, 세부 사항을 유지하기 위해 질감이 있는 영역에서는 '부드럽게' 작용하도록 학습합니다. 전체 이미지를 동일하게 취급하지 않습니다.

그들은 무엇을 발견했나요?

팀은 해 질 녘에 촬영된 말 경주와 같이 매우 어둡고 노이즈가 많은 조건에서 촬영된 실제 세계 동영상으로 DWTA-Net 을 테스트했습니다.

결과: 다른 최상위 방법들과 비교했을 때, DWTA-Net 은 더 많은 노이즈를 제거하고 색상을 자연스럽게 유지했으며, 움직이는 객체가 흐릿하거나 유령처럼 보이지 않게 했습니다.
증거: 동영상의 정적 부분 (하늘) 을 살펴봤을 때, DWTA-Net 은 최고의 단일 이미지 정화 기술보다 더 깨끗한 이미지를 생성하여 동영상의 '장기적 역사'를 보는 것이 실제로 도움이 된다는 것을 입증했습니다.

요약하자면: DWTA-Net 은 스마트한 편집자와 같은 동영상 향상 도구입니다. 먼저 색상을 수정한 다음, '기억'을 사용하여 동영상의 조용한 부분의 노이즈를 부드럽게 만들면서 움직이는 부분은 선명하게 유지합니다. 이는 "중요한 곳에서는 세부 사항을 유지하라"는 규칙에 따라 안내됩니다.

기술 요약: 극심한 잡음 환경에서의 저조도 비디오 향상을 위한 동적 가중치 기반 시간적 집계

문제 제기
저조도 비디오 향상 (LLVE) 은 심한 잡음, 낮은 대비, 그리고 색상 열화로 인해 심각한 도전에 직면해 있으며, 특히 야외의 "야생 (in-the-wild)" 시나리오에서 두드러집니다. 학습 기반 방법들은 빠른 추론을 제공하지만, 장기적인 시간적 단서를 충분히 활용하지 못하기 때문에 무거운 실제 세계의 잡음 하에서는 종종 어려움을 겪습니다. 기존 접근법들은 일반적으로 짧은 프레임 이웃만 고려하는 슬라이딩 윈도우 처리나 3D 합성곱에 의존합니다. 이러한 방법들은 계산량이 많고 메모리 집약적이며, 극한 조건에서 잡음 제거에 필수적인 장기적인 시간적 중복성을 완전히 활용하지 못합니다. 또한, 합성 잡음이나 경미한 잡음으로 훈련된 모델들은 복잡하고 공간적으로 변하는 실제 세계의 잡음에 대해 일반화 성능이 낮아, 깜빡임과 유령상 (ghosting) 과 같은 시간적 불일치를 초래합니다.

방법론: DWTA-Net
저자는 무거운 실제 세계의 잡음을 처리하면서도 시간적 일관성을 유지하도록 설계된 2 단계 아키텍처 기반의 새로운 딥러닝 순환 프레임워크인 DWTA-Net을 제안합니다.

1 단계: 다중 프레임 향상 (로컬 복원)
- 목표: 로컬 구조, 색상, 밝기를 복원하면서 단기 시간적 일관성을 보장합니다.
- 메커니즘: 인접 프레임의 짧은 시퀀스를 PCD(픽셀 단위 합성곱 변형) 모듈을 사용하여 기준 프레임에 정렬하여 모션 보상 특징을 생성합니다.
- 백본: 정렬된 특징들은 Mamba 기반의 U-Net 유사 백본에서 처리됩니다. 기존 합성곱 블록은 시각 상태 공간 (VSS) 블록으로 대체됩니다. 제한된 수용 영역을 가진 표준 합성곱과 달리, VSS 블록은 선택적 스캔 메커니즘을 활용하여 장거리 글로벌 의존성을 포착하는데, 이는 심하게 열화된 장면에서 구조적 일관성을 복원하는 데 결정적입니다.
2 단계: 동적 순환 정제 (장기적 집계)
- 목표: 장기적인 시간적 증거를 누적하여 잡음을 억제하고 긴 시퀀스 전반에 걸쳐 세부 사항을 안정화합니다.
- 메커니즘: 숨겨진 상태 순환에서 벗어나, DWTA-Net 은 저조도 잡음이 고주파 아티팩트로 나타나는 공간 (픽셀) 공간에서 직접 집계를 수행합니다.
- 동적 가중치: 이 단계는 광학 흐름 (GMFlow 사용) 에 guided 된 순환 형식을 사용합니다. 각 시간 단계 $t$ 에서 이전 단계의 정제된 출력 ( $O'_{t-1}$ ) 이 현재 1 단계 출력 ( $O_t$ ) 에 정렬되도록 와핑됩니다.
- 적응형 블렌딩: 모션 잔차 $R = |O_t - O^W_{t-1}|$ $R = ∣ O_{t} - O_{t - 1}^{W} ∣$ 를 기반으로 동적 가중치 맵 $\omega$ $ω$ 가 계산됩니다.
  - 정적 영역 (낮은 잔차) 에서는 가중치가 잡음을 억제하기 위해 와핑된 이전 프레임으로부터의 누적을 강조합니다.
  - 동적 영역 (높은 잔차) 에서는 모션 선명도를 유지하기 위해 현재 프레임을 선호합니다.
- 이 전략은 고정 윈도우 평균의 한계를 극복하면서 잡음 억제와 모션 선명도 사이의 균형을 맞춥니다.
텍스트 적응형 손실 함수
- 저조도 잡음의 공간적 변이를 해결하기 위해 저자는 세부 사항 보존과 공간적 부드러움 사이의 균형을 맞추는 손실 함수를 도입합니다.
- 텍스처 인식 맵 ( $M_T$ ) 은 2D 이산 웨이블릿 변환 (2D-DWT) 을 사용하여 출력의 고주파 성분에서 유도됩니다.
- 전체 손실은 픽셀 단위 $\ell_2$ $ℓ_{2}$ 재구성 손실과 다음 가중 합을 결합합니다:
  - 지각적 손실 ( $L_{VGG}$ ): 미세한 세부 사항을 보존하기 위해 고도로 텍스처가 있는 영역 ( $M_T \to 1$ ) 에 적용됩니다.
  - 총 변이 손실 ( $L_{TV}$ ): 균일한 영역 ( $M_T \to 0$ ) 에 적용되어 부드러움을 장려하고 잡음을 억제합니다.

주요 기여

DWTA-Net 프레임워크: 무거운 실제 세계의 잡음에 맞춰진 새로운 Mamba 기반 순환 프레임워크로, 로컬 복원과 장기 시간적 집계를 분리하는 2 단계 설계를 특징으로 합니다.
공간 순환 집계: 특징 공간이 아닌 공간 공간에서 작동하는 동적 가중치 기반 시간적 집계 전략입니다. 모션 잔차를 활용하여 블렌딩 가중치를 적응적으로 조정하여 시간적 일관성과 모션 인식 선명도 사이의 균형을 맞춥니다.
텍스트 적응형 손실 함수: 로컬 텍스처 복잡도에 기반하여 지각적 및 부드러움 제약을 동적으로 가중하는 맞춤형 손실 함수로, 텍스처가 있는 영역에서는 세부 사항 보존을 보장하면서 균일한 영역은 부드럽게 만듭니다.

실험 결과
이 모델은 DID 쌍 저조도 비디오 데이터셋으로 훈련되었으며, 정량적 지표 (PSNR, SSIM, LPIPS) 와 정성적 "야생" 시나리오 (특히 Horse 시퀀스) 모두에서 평가되었습니다.

정량적 성능: DID 데이터셋에서 DWTA-Net 은 비교된 방법들 중 가장 높은 PSNR(24.27 dB) 과 LPIPS(0.115) 를 달성하여, 최첨단 이미지 기반 방법 (예: Retinexformer, WaveMamba) 과 비디오 기반 베이스라인 (예: EDVR, SMOID) 을 능가했습니다.
잡음 제거 능력: Horse 영상 중 정적 하늘 영역에 대한 보충 평가 (프레임 평균으로 생성된 의사 정답 사용) 에서 DWTA-Net 은 가장 높은 PSNR(27.81 dB) 과 SSIM(0.839) 을 달성하여 이상적인 정적 시나리오 이미지 기반 방법까지도 능가했습니다.
시각적 품질: 정성적 비교 결과, DWTA-Net 은 Starlight-denoiser 에서 보이는 과도한 부드러움 아티팩트나 SDSD-net 이 도입하는 산만하게 만드는 아티팩트 없이 울타리, 케이블, 잔디 질감과 같은 미세한 세부 사항과 자연스러운 색상을 보존하는 것을 보여줍니다.
절대 연구: 1 단계를 제거하면 PSNR 과 지각적 품질이 급격히 하락하여 기본 복원에서의 역할을 확인시켰습니다. 2 단계를 제거하면 LPIPS 가 높아져 시각적 품질을 위한 장기 시간적 집계의 필요성을 입증했습니다. 텍스트 적응형 손실 함수는 잡음 제거와 텍스처 보존 사이의 균형을 맞추는 데 결정적인 것으로 나타났습니다.

의의 및 주장
이 논문은 DWTA-Net 이 기존 파이프라인과 기존 학습 기반 방법들이 실패하는 극심한 잡음 조건 하에서 저조도 비디오 향상을 위한 강력한 솔루션을 제공한다고 주장합니다. 순환적이고 모션 인식 집계 전략을 통해 장기적인 시간적 중복성을 활용함으로써, 이 프레임워크는 우수한 잡음 억제와 시간적 일관성을 달성합니다. 저자들은 이 작업을 복잡한 실제 세계 잡음 분포로 일반화하는 특정 과제를 해결하면서도 미세한 구조적 세부 사항을 보존하는 실용적인 진전으로 위치시키며, 광범위한 벤치마크와 까다로운 "야생" 평가를 통해 검증했다고 명시합니다.