💻 computer science

DPMambaIR: All-in-One Image Restoration via Degradation-Aware Prompt State Space Model

본 논문은 미세한 열화 특징에 동적으로 적응함으로써 다양한 열화 유형에 걸쳐 탁월한 성능을 달성하기 위해 미세 열화 추출기와 열화 인지 프롬프트 상태 공간 모델 및 고주파 향상 블록을 통합한 올인원 이미지 복원 프레임워크인 DPMambaIR을 제안한다.

원저자: Zhanwen Liu, Sai Zhou, Yuchao Dai, Yang Wang, Yisheng An, Xiangmo Zhao

게시일 2026-02-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhanwen Liu, Sai Zhou, Yuchao Dai, Yang Wang, Yisheng An, Xiangmo Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 오래되고 손상된 사진 컬렉션이 있다고 상상해 보세요. 어떤 사진은 흐릿하고, 어떤 사진은 빗금 자국이 가득하며, 어떤 사진은 너무 어둡고, 또 어떤 사진은 노이즈가 자글자글합니다.

과거에는 이 사진들을 고치는 것이 마치 문제마다 다른 전문가를 고용하는 것과 같았습니다. 흐릿함을 고치기 위해 한 명의 전문가가 필요했고, 비의 흔적을 지우기 위해 또 다른 전문가가 필요했으며, 어두운 방을 밝히기 위해 세 번째 전문가가 필요했습니다. 만약 사진에 정확히 무엇이 잘못되었는지 모른다면, 당신은 막막한 상황에 처하게 됩니다.

이 논문은 모든 종류의 문제를 한 번에 해결할 수 있는 단 하나의 '올인원(all-in-one)' 전문가 역할을 하는 "슈퍼 복원가", DPMambaIR을 소개합니다. 이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "탐정" (손상 추출기, The Degradation Extractor)

사진을 고치기 전, 시스템은 먼저 탐정처럼 행동합니다. 사진의 손상 상태를 살피며 이렇게 묻습니다. "여기에 정확히 무엇이 문제인가? 빗줄기가 굵은가, 아니면 그냥 가벼운 안개인가? 블러(흐림) 현상이 자동차의 움직임 때문인가, 아니면 손떨림 때문인가?"

단순히 카테고리(예: "비" 또는 "블러")를 추측하는 대신, 이 탐정은 상세하고 연속적인 보고서(이를 "손상 임베딩"이라 부릅니다)를 작성합니다. 이는 의사가 단순히 "열이 납니다"라고 말하는 것이 아니라, 정확한 체온을 측정하고 특정 바이러스를 식별하는 것과 같습니다. 이를 통해 시스템은 손상의 유형과 심각도를 매우 정밀하게 이해할 수 있습니다.

2. "스마트 브레인" (손상 인지 프롬프트 상태 공간 모델, The Degradation-Aware Prompt State Space Model)

탐정이 보고서를 작성하면, 이를 "스마트 브레인"(시스템의 핵심)에게 전달합니다.

과거의 방식: 고정된 기어를 가진 공장 기계를 상상해 보세요. 흐릿한 사진을 넣으면, 그 기계는 노이즈가 있는 사진을 처리할 때 쓰는 것과 똑같은 기어를 사용하여 사진을 선명하게 만들려고 시도합니다. 이는 경직되어 있으며, 두 가지 문제를 동시에 잘 처리하기 어렵습니다.
새로운 방식 (DPMambaIR): 이 시스템은 **형태를 바꾸는 기계(shapeshifting machine)**와 같습니다. 탐정의 보고서를 받으면, 이 기계는 특정 문제에 맞춰 자신의 내부 기어와 설정을 즉각적으로 재구성합니다.
- 사진에 노이즈가 많다면, 입자를 매끄럽게 만들기 위해 설정을 조입니다 (저역 통과 필터처럼).
- 사진이 너무 어둡다면, 약한 신호를 증폭하여 빛을 끌어내도록 설정을 풉니다.
- 사진이 흐릿하다면, 가장자리(edge)에 초점을 맞추도록 조정합니다.

이러러한 "재구성"은 이미지의 각 부분마다 동적으로 일어나며, 시스템이 목격하는 특정 손상에 맞춰 자신의 물리적 특성을 적응하게 해줍니다.

3. "디테일 폴리셔" (고주파 강화 블록, The High-Frequency Enhancement Block)

때때로 한 기계가 여러 가지 일을 동시에 처리하려고 하면, 아주 미세한 디테일(예: 옷감의 질감이나 눈의 날카로움)을 놓치고 게을러질 때가 있습니다. 큰 그림에는 집중하지만 미세한 선들은 놓치는 것이죠.

이를 해결하기 위해 저자들은 가볍고 효율적인 "디테일 폴리셔(세부 묘사 전문가)"를 추가했습니다. 이는 메인 브레인이 너무 매끄럽게 만들어버렸을지도 모르는 아주 작은 고주파 디테일을 찾아내는 최종 마무리 아티스트라고 생각하면 됩니다. 이 단계는 복원된 사진이 그저 "괜찮은" 수준이 아니라, 아주 선명하고 날카롭게 보이도록 보장합니다.

결과

연구진은 이 "슈퍼 복원가"를 일곱 가지 서로 다른 유형의 손상(블러, 비, 눈, 안개, 노이즈, 저조도, JPEG 압축)이 섞인 환경에서 테스트했습니다.

성능: 이 모델은 모든 기존 "올인원" 방식들을 제치고 가장 높은 이미지 품질 점수를 기록했습니다.
다재다능함: 단순히 혼합된 환경에서만 잘하는 것이 아니라, 특정 문제를 개별적으로 해결할 때도 뛰어난 성능을 보였으며, 종종 해당 작업만을 위해 설계된 전용 기계들보다 더 나은 결과를 보여주었습니다.
깜짝 테스트: 연구진은 시스템이 한 번도 본 적 없는 손상 유형(예: 픽셀 깨짐이나 빗방울)에 대해서도 테스트를 진행했습니다. 이 시스템의 "탐정"은 단순히 라벨을 암기하는 것이 아니라 손상의 '본질'을 이해하기 때문에, 이러한 새로운 문제들도 놀라울 정도로 잘 해결할 수 있었습니다.

한계점

논문은 한 가지 경계를 인정합니다. 만약 사진에 거대하고 불투명한 물체(예: 얼굴을 완전히 가려버린 굵고 무거운 빗방울)가 시야를 가리고 있다면, 시스템은 그 뒤에 숨겨진 얼굴을 "발명"해낼 수는 없습니다. 주변의 손상은 고칠 수 있지만, 완전히 가려진 콘텐츠를 마법처럼 환각하여 만들어낼 수는 없습니다.

요약하자면: DPMambaIR은 이미지 손상의 정확한 성격을 먼저 진단한 다음, 그 특정 문제를 해결하기 위해 자신의 내부 로직을 즉각적으로 재구성하며, 동시에 미세한 디테일까지 날카롭게 유지하는 유연하고 스마트한 시스템입니다. 이는 수많은 도구가 담긴 공구 상자 전체를 대체할 수 있는 단 하나의 도구입니다.

기술 요약: DPMambaIR

문제 정의

All-in-One 이미지 복원은 다양한 열화된 입력으로부터 고품질 이미지를 복원하는 것을 목표로 하며, 각 특정 열화 유형(예: 노이즈, 블러, 비, 저조도)에 대한 전용 모델을 설계해야 하는 실질적인 한계를 해결하고자 합니다. 기존 방식은 일반적으로 두 가지 범주로 나뉩니다: Mixture-of-Experts (MoE) 및 프롬프트 기반 방법입니다. 그러나 이들은 다음과 같은 중대한 단점을 가집니다:

MoE 기반 방법은 종종 높은 계산 비용을 초래하며 열화에 대한 명시적인 물리적 모델링이 부족하여, 보지 못한 시나리오에 대한 적응성이 제한됩니다.
프롬프트 기반 방법은 대개 조립된(coarse-grained) 정적 사전 정보(이산적인 클래스 레이블 또는 고정된 시맨틱 토큰)에 의존하며, 이는 실제 세계의 열화가 가진 연속성과 공간적 가변성을 포착하지 못합니다. 또한, 이들은 열화 큐(cue)를 시각적 특징에 단순히 부가하는 가산적 융합 패러다임을 사용하는 경우가 많아, 근본적인 네트워크 아키텍처가 이질적인 복원 요구에 동적으로 적응할 수 없는 고정된 파라미터에 의해 지배되도록 남겨둡니다.

또한, 이질적인 열화를 공동 최적화하는 과정은 암묵적으로 저주파 구조에 편향을 유도하여, 미세한 고주파 세부 사항의 복원을 어렵게 만듭니다.

방법론

저자들은 기존의 특징 융합에서 명시적인 동적 파라미터 변조(dynamic parameter modulation)로 전환하는 새로운 All-in-One 프레임워크인 DPMambaIR을 제안합니다. 이 아키텍처는 비대칭 인코더-디코더 설계를 가진 Mamba 기반의 U자형 네트워크를 기반으로 구축되었으며, 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 열화 추출기 (Degradation Extractor)

미세하고 연속적인 열화 특징을 포착하기 위해, 저자들은 사전 학습된 열화 추출기를 설계했습니다.

메커니즘: 이 추출기는 이산적인 레이블에 의존하는 대신, 연속적인 열화 임베딩을 회귀하기 위해 재구성 기반 목적 함수를 사용합니다. 또한 중앙 차분 합성곱(Central Difference Convolution, CDC)을 사용하여 그래디언트 기반 큐(에지, 텍스처)를 식별하고, 다양한 주파수 대역에 걸쳐 열화를 인지하기 위한 멀티 스케일 브랜치를 채택합니다.
학습: 추출기는 열화된 이미지를 저차원 임베딩( $E_d$ )으로 매핑하는 자기 지도 재구성 태스크를 통해 사전 학습됩니다. 이후 디코더는 $E_d$ 와 깨끗한 원본(ground truth)에서 유도된 콘텐츠 임베딩을 사용하여 열화된 이미지를 재구성하려고 시도합니다. 이를 통해 $E_d$ 가 이미지 콘텐츠와 독립적인 순수한 열화 정보만을 포착하도록 보장합니다.
재매개변수화 (Re-parameterization): 추론 시에는 멀티 브랜치 구조를 압축된 표현으로 병합하는 재매개변수화 기법을 사용하여 정확도와 효율성의 균형을 맞춥니다.

2. 열화 인지 프롬프트 상태 공간 모델 (DP-SSM)

핵심 혁신은 추출된 열화 임베딩을 상태 공간 모델(SSM)의 역학(dynamics)에 직접 통합하는 DP-SSM입니다.

동적 변조: 파라미터가 고정되어 있거나 입력에 의존하는 표준 SSM과 달리, DP-SSM은 열화 임베딩을 사용하여 이산화 단계( $\Delta$ $Δ$ ), 입력 행렬( $B$ $B$ ), 출력 행렬( $C$ $C$ )을 동적으로 변조합니다.
- $\Delta$ 변조: 모델은 고주파 열화(예: 노이즈)에 대해 더 작은 $\Delta$ 값을 할당하여, 노이즈를 억제하는 저역 통과 필터 역할을 하는 고관성(high-inertia) 상태를 생성하는 법을 학습합니다. 반대로, 저주파/구조적 열화(예: 블러, 저조도)에 대해서는 더 큰 $\Delta$ 값을 생성하여 약한 신호를 증폭하는 고이득(high-gain) 영역으로 진입합니다.
- $B$ 및 $C$ 변조: $B$ 는 외부 관측값이 상태 전이를 얼마나 강하게 구동하는지를 제어하며, $C$ 는 글로벌 열화 사전 정보를 특징 판독(feature readout)에 주입합니다.
효율성: 이 접근 방식은 표준 SSM의 인과적 한계를 완화하기 위해 사용되는 다방향 스캐닝의 높은 계산 비용을 피하는 대신, 변조된 $C$ 행렬을 사용하여 글로벌 컨텍스트를 주입함으로써 선형 복잡도를 유지합니다.

3. 고주파 강화 블록 (High-Frequency Enhancement Block, HEB)

공동 최적화에 내재된 저주파 편향을 상쇄하기 위해 경량화된 HEB가 도입되었습니다.

기능: 입력 특징에서 전역 평균된 저주파 특징을 빼고 이를 다시 더함으로써 고주파 성분을 명시적으로 추출합니다. 이는 DP-SSM의 동적 변조를 보완하여 국부적인 텍스처와 에지의 복원을 보장합니다.

주요 기여

미세한 열화 추출기: 이산적인 클래스 레이블에 의존하는 대신, 연속적이고 미세한 열화 특징(유형 및 심각도)을 포착하는 회귀 기반 모듈입니다.
열화 인지 프롬프트 상태 공간 모델 (DP-SSM): 열화 사전 정보에 따라 SSM 파라미터( $\Delta, B, C$ )를 동적으로 변조하는 새로운 메커니즘입니다. 이를 통해 모델은 특정 열화 특성에 맞춰 자신의 진화 역학(예: 저역 통과 필터링과 신호 증폭 사이의 전환)을 물리적으로 적응시킬 수 있습니다.
고주파 강화 블록 (HEB): 미세한 디테일 복원을 보장하기 위해 멀티 태스크 학습에서의 저주파 편향을 완화하도록 설계된 보완 모듈입니다.
최첨단 성능 (SOTA): 광범한 실험을 통해 DPMambaIR이 All-in-One 및 개별 열화 설정 모두에서 기존의 SOTA 방식들을 능가하는 우수한 성능을 달임을 입증했습니다.

실험 결과

본 방법은 7가지 열화 유형(안개, 비, 눈, 저조도, 블러, 노이즈, JPEG)을 포함하는 혼합 데이터셋과 개별 태스크를 위한 특정 벤치마크에서 평가되었습니다.

All-in-One 성능: 혼합 데이터셋에서 DPMambaIR은 PSNR 27.69 dB 및 SSIM 0.893을 달성하여, AdaIR (27.26 dB) 및 OneRestore (26.64 dB)와 같은 기존의 All-in-One 방식들을 앞질렀습니다. 또한 7가지 하위 태스크 모두에서 최고의 성능을 기록하며 멀티 태스크 간의 충돌을 효과적으로 조절했습니다.
열화별 성능: 특정 태스크에서도 전용 SOTA 방식들과 비교하여 경쟁력 있거나 우월한 결과를 얻었습니다:
- 제우 (Deraining): 32.30 dB PSNR (AdaIR보다 0.84 dB 상회).
- 저조도 개선 (Low-Light Enhancement): 24.20 dB PSNR.
- 디블러링 (Deblurring): 31.42 dB PSNR.
- 제해 (Dehazing): 30.89 dB PSNR.
효율성: DPMableIR은 다른 SOTA 방식들과 유사한 계산 오버헤드(Params: 29.35M, GFLOPs: 153.33)를 유지하면서도 현저히 높은 성능을 제공합니다.
일반화 (OOD): 모델은 미세 조정 없이도 보지 못한 열화 유형(물방울 및 픽셀화)에 대해 강력한 일반화 능력을 보여주며 최상위권의 성능을 달성했습니다. 또한 다른 방식들이 실패한 복합 열화(예: 픽셀화 + 저조도) 상황도 성공적으로 처리했습니다.
한계점: 저자들은 배경을 완전히 가리는 무겁고 불투명한 물방울의 경우, 복원 큐(restoration cues)보다는 생성적 환각(generative hallucination/inpainting)이 필요하기 때문에 발생하는 실패 경계가 있다고 언급했습니다.

의의

본 논문은 정적인 가산적 융합 패러다임을 넘어, 열화 인지 프롬프트 메커니즘을 통해 상태 공간 모델을 동적으로 재매개변수화함으로써 All-in-One 이미지 복정 분야의 중요한 진전을 이루었다고 주장합니다. 이 프레임워크는 다양한 열화 역학에 대한 물리적 적응성을 달성하여 이전에는 도달할 수 없었던 수준에 도달했습니다. 본 연구는 통합적이고 견고하며 효율적인 복원 솔루션을 구축하는 데 있어 미세한 열화 모델링과 동적 특징 변조의 중요성을 강조합니다. 실험 결과는 열화 특성을 명시적으로 모델링하고 이를 핵심 시스템 역학에 통합하는 것이 멀티 태스크 학습의 고유한 충돌을 해결할 수 있음을 입증하며, 향후 통합 이미지 복원 프레임워크를 위한 유망한 방향을 제시합니다.