🤖 AI

Beyond Uniform Restoration: Empowering All-in-One Restoration with Pixel-Level Multimodal Guidance

이 논문은 텍스트와 시각적 프롬프트를 모두 사용하는 픽셀 수준의 멀티모달 가이던스를 활용하여 다양한 유형과 심각도의 손상으로 저하된 이미지에 대해 미세하고 적응적인 복구를 달성함으로써 기존의 균일한 복원 방식들을 크게 능가하는 새로운 올인원 이미지 복원 프레임워크인 MGN-AIR를 소개한다.

원저자: Chunxiao Liu, Wei Liu, Anbin Xiong, Erli Meng

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chunxiao Liu, Wei Liu, Anbin Xiong, Erli Meng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

아름다운 사진 한 장을 보고 있다고 상상해 보세요. 하지만 그 사진은 망가져 버렸습니다. 아마도 짙은 안개에 덮여 있거나, 빗방울이 튀어 있거나, 혹은 그냥 거칠고 어둡게 보일 수도 있습니다. 컴퓨터 과학의 세계에서 이것을 "이미지 복원(image restoration)"이라고 부릅니다. 이는 컴퓨터에게 디지털 사진 편집사가 되어, 지저도한 사진을 깨끗하게 정리하여 그 아래에 숨겨진 선명한 장면을 드러내도록 가르치는 기술입니다. 오랫동안 과학자들은 비, 눈, 흐릿함, 또는 노이즈 등 어떤 종류의 엉망인 상태라도 한꺼번에 해결할 수 있는 하나의 "슈퍼 모델"을 만들기 위해 노력해 왔습니다. 이것은 마치 누수되는 지붕을 고치고, 벽의 구멍을 메우고, 전선을 다시 연결하는 일을 할 때, 도구를 바꾸거나 전문가를 부를 필요 없이 모든 것을 해결할 수 있는 단 한 명의 만능 수리공을 고용하는 것과 같습니다.

큰 문제는 현실 세계의 엉망인 상태들이 결코 균일하지 않다는 점입니다. 어떤 사진은 배경은 안개가 자욱하지만 전경은 아주 선명할 수도 있고, 어떤 사진은 왼쪽에는 폭우가 쏟も지고 오른쪽에는 눈송이가 몇 개만 떨어지는 식일 수도 있습니다. 기존의 방식들은 종 often 전체 이미지를 동일하게 취급하여, 모든 픽셀에 하나의 "만능 해결책"을 적용하곤 했습니다. 이것은 마치 진흙투성이가 된 창문을 닦을 때, 어떤 곳은 먼지만 쌓여 있고 어떤 곳은 진흙이 잔뜩 묻어 있음에도 불구하고, 유리창 전체를 똑같은 압력으로 문지르는 것과 같습니다. 이 논문은 다음과 같은 단순하지만 강력한 질문을 던집니다. 만약 우리가 컴퓨터에게 돋보기를 쥐여주고, 이미지의 모든 작은 점(픽셀)마다 구체적인 지침을 줄 수 있다면 어떨까? 즉, 각 지점마다 얼마나 세게 문질러야 하는지, 그리고 어떤 도구를 사용해야 하는지를 정확히 알려준다면 말입니다.

이 연구를 진행한 샤오미(Xiaomi)의 류춘샤오(Chunxiao Liu)와 그의 팀은 MGN-AIR라고 불리는 새로운 방식을 제안합니다. 일률적인 접근 방식 대신, 그들은 시스템이 초정밀한 픽셀 단위의 탐정처럼 작동하도록 만들었습니다. 그 작동 원리는 다음과 같습니다.

먼저, 시스템은 엉망이 된 이미지를 살펴보고 "시각적 프롬프트(Visual Prompt)"를 생성합니다. 이것은 컴퓨터가 사진 위에 그리는 히트맵(heat map)이라고 상상해 보세요. 이 맵은 정확히 어디에 손상이 있는지, 그리고 그 손상이 얼마나 심한지를 강조합니다. 이 지점은 폭우로 뒤덮여 있는가? 이 영역은 그저 약간 뿌연 상태인가? 이 지도는 컴퓨터에게 "이 부분에 특히 주의를 기울이고, 저 부분은 살살 다뤄라"라고 말해줍니다.

하지만 문제가 어디에 있는지 아는 것만으로는 충분하지 않습니다. 컴퓨터는 또한 문제가 무엇인지도 알아야 합니다. 여기서 "텍ual 프롬프트(Textual Prompt)"가 등장합니다. 이것은 컴퓨터가 읽는 문자 메시지와 같아서, "이것은 비다" 또는 "이것은 안개다"와 같은 정보를 전달합니다. 이 "어디에(where)"라는 시각적 지도와 "무엇을(what)"이라는 텍스트 설명을 결합함으로써, 시스템은 모든 픽셀을 위한 맞춤형 지침 가이드를 만들어냅니다.

마สุดท้าย로, 시스템은 본격적으로 작업을 시작합니다. 단순히 일반적인 필터를 적용하는 것이 아닙니다. 만약 어떤 픽셀이 비에 의해 심하게 손상되었다면, 시스템은 누락된 정보를 채우기 위해 주변 픽셀들로부터 단서를 찾도록 합니다. 만약 어떤 픽셀이 약간 흐릿하기만 하다면, 시스템은 이미지의 반복되는 패턴에 의존하여 이를 선명하게 만듭니다. 이것은 마치 수천 명의 작고 전문화된 예술가 팀이 캔버스의 각 작은 점 위에서 작업하며, 자신이 보는 특정 손상에 따라 블렌딩할지, 선명하게 할지, 혹은 재구성할지를 개별적으로 결정하는 것과 같습니다.

연구팀은 비, 안개, 낮은 조도 등이 동시에 발생하는 복합적인 문제들을 포함하여 다양한 까다로운 과제들을 대상으로 이 새로운 방법을 테스트했습니다. 그들은 자신들의 "픽셀 단위" 탐정을 "전역(global)" 접근 방식을 사용하는 다른 최상위 모델들과 비교했습니다. 결과는 인상적이었습니다. 그들의 방식은 일관되게 더 깨끗하고 선명한 이미지를 만들어냈습니다. 복합적인 열화 현상이 포함된 테스트에서, 그들의 모델은 최근의 고급 모델들에 비해 이미지 품질을 약 1.51 dB(선명도를 나타내는 기술적 척도) 개선했습니다. 다섯 가지 다른 유형의 이미지 손상을 다룬 또 다른 테스트 세트에서는, 인기 있는 베이스라인 모델인 PromptIR보다 평균 2.29 dB의 향상을 보여주었습니다.

연구진은 또한 자신들의 성공이 단순히 컴퓨터를 더 "크게" 만들거나 더 강력하게 만들었기 때문이 아니라는 것을 증명하기 위해 실험을 수행했습니다. 그들은 자신들의 모델을 더 작게 만들거나, 특수한 "픽셀 단위" 블록을 더 단순한 도구로 교체했을 때 성능이 떨어진다는 것을 보여주었습니다. 이는 그들의 성공 비결이 단순히 더 많은 컴퓨팅 파워를 쏟아붓는 것이 아니라, 개별 픽셀 수준에서 복원 과정을 안내하는 방식에 있다는 것을 시사합니다.

요약하자면, 이 논문은 나쁜 사진을 고치는 미래가 더 큰 망치를 사용하는 것이 아니라, 정교한 메스를 사용하는 것에 있다는 점을 시사합니다. 이미지의 모든 지점에서 특정 유형의 손상과 그 심각도를 이해할 수 있는 능력을 부여함으로써, MGN-AIR는 이전의 "균일한" 방식들이 따라올 수 없었던 수준의 디테일과 정확도로 사진을 복원할 수 있습니다. 이는 이미지 복원이라는 복잡한 작업을 단순한 힘의 대결에서 정교하고 맞춤화된 작업으로 변화시킵니다.

기술 요약: 픽셀 수준의 멀티모달 가이던스를 통한 균일한 복원을 넘어

문제 정의

현재의 올인원 이미지 복원(All-in-One Image Restoration, AIR) 방법들은 단일 모델을 사용하여 다양한 유형과 수준의 손상(degradation)이 있는 입력으로부터 고품질 이미지를 복구하는 것을 목표로 합니다. 최근 프롬프트 기반 및 적응형 네트워크 구조를 통한 발전이 진전을 보였으나, 이들은 주로 이미지 전체에 적용되는 **균일한 복원 전략(uniform restoration strategies)**에 의존하고 있습니다.

저자들은 이러한 기존 접근 방식의 결정적인 한계를 지적합니다. 즉, 실제 세계의 손상은 결코 균일하지 않다는 점입니다. 단일 이미지 내의 서로 다른 영역은 종종 서로 다른 유형의 손상(예: 비 vs 안개)을 겪거나, 동일한 유형의 손상이더라도 서로 다른 강도를 가집니다. 예를 들어, 비가 오는 이미지에서는 특정 영역에만 빗줄기가 영향을 미칠 수 있는 반면 다른 영역은 깨끗할 수 있습니다. 반대로, 안개가 낀 이미지는 깊이에 따라 서로 다른 정도의 보정이 필요할 수 있습니다. 전체 이미지를 전역적이고 균일한 전략으로 처리하는 것은 이러한 본질적인 가변성을 간과하며, 이로 인해 미세한 디테일이 과도하게 매끄러워지거나(over-smoothed) 충분히 복구되지 못하는 최적화되지 않은 결과를 초래합니다.

방법론: MGN-AIR

세밀한 제어의 필요성을 해결하기 위해, 본 논문은 MGN-AIR(Multimodal Guidance Network for All-In-One Image Restoration)를 제안합니다. 이 프레임워크는 가이던스의 패러다임을 전역 수준에서 **픽셀 수준의 복원(pixel-level restoration)**으로 전환합니다. 아키텍처는 클래식한 U-Net 인코더-디코더 구조를 기반으로 구축되었으며, 각 레벨에는 제안된 **멀티모달 가이던스 블록(Multimodal Guidance Block, MGB)**이 포함됩니다. MGB는 세 가지 순차적 모듈로 구성됩니다:

1. 시각적 프롬프트 생성 모듈 (Visual Prompt Generation Module, VPGM)

이 모듈은 손상의 국소적 강도를 반영하는 픽셀 수준의 시각적 프롬프트를 학습하는 법을 배웁니다.

메커니즘: 이전 레벨의 특징(features)을 가져와 윈도우 기반 셀프 어텐션 메커니즘을 사용합니다. 계산 비용을 줄이기 위해 쿼리(queries)와 키(keys) 사이의 행렬 곱셈은 푸리에 영역(Fourier domain)에서 수행됩니다.
감독(Supervision): 첫 번째 레벨에서 시각적 프롬프트는 손상된 이미지와 정답(ground truth) 사이의 픽셀 단위 차이(정규화된 손상 맵)에 의해 명시적으로 감독됩니다. 더 깊은 레벨에서는 프롬프트가 암시적으로 학습되어, 모델이 직접적인 감독 없이도 고차원적 의존성을 포착할 수 있도록 합니다.
출력: 각 픽셀에서의 손상 심각도를 나타내는 공간 맵 $V \in \mathbb{R}^{H \times W}$ 를 생성합니다.

2. 멀티모달 가이던스 모듈 (Multimodal Guidance Module, MGM)

이 모듈은 학습된 시각적 프롬프트를 텍스트 프롬프트와 통합하여 종합적인 복원 행렬을 생성합니다.

텍스트 프롬프트: 동결된 CLIP 텍스트 인코더를 사용하여 인코딩되며, 이는 손상 유형(예: "비", "안개")에 대한 고수준의 의미론적 정보를 제공하여 전역적인 분포 패턴을 결정합니다.
시각적 프롬프트: 특정 픽셀에서의 손상 심각도에 관한 공간적으로 정밀한 가이던스를 제공합니다.
융합: 전역 텍스트 특징은 공간 해상도에 맞게 복제되어 시각적 프롬프트와 요소별 곱셈(element-wise multiplication)을 통해 결합됩니다. 이후 컨볼루션과 Sigmoid 활성화 함수를 거쳐 복원 행렬(Restoration Matrix) $P \in [0, 1]^{H \times W \times C}$ 를 생성합니다. 이 행렬은 각 픽셀에 대한 복원 전략을 규정하며, 모델에게 "어디를 보고" "어떻게 복원할지"를 효과적으로 알려줍니다.

3. 픽셀 수준 복원 모듈 (Pixel-Level Restoration Module, PLRM)

이 모듈은 복원 행렬의 가이던스에 따라 실제로 적응적으로 복원을 수행합니다.

적응형 전략:
- 심하게 손상된 픽셀: 심각한 부식(예: 강한 비 또는 노이즈)이 있는 영역의 경우, 모델은 주변 맥락 정보에 의존합니다. 이를 위해 표준 2D 컨볼루션과 확장 컨볼루션(dilated convolutions)을 결합하여 수용 영역(receptive field)을 확장합니다.
- 경미하게 손상된 픽셀: 경미한 손상(예: 약간의 안개)이 있는 영역의 경우, 모델은 로컬 윈도우에서 작동하는 공간 어텐션 메커니즘을 사용하여 이미지 내의 반복되는 구조적 패턴을 활용합니다.
융합: 최종 특징은 복원 행렬 $P$ 에 의해 조절되는 컨볼루션 기반 출력과 어텐션 기반 출력의 가중치 결합입니다.

최적화

모델은 다음을 포함하는 복합 손실 함수를 사용하여 훈련됩니다:

픽셀 단위 $L_1$ 손실: 절대적인 픽셀 충실도를 위해 사용됩니다.
지각 손실 (Perceptual Loss, $L_{Percep}$ ): 의미론적 및 질감적 유사성을 포착하기 위해 사전 훈련된 VGG 네트워크에서 추출됩니다.
SSIM 손실: 인간의 시각적 인지와 일치하는 구조적 패턴 및 국소적 의존성을 고려하기 위해 사용됩니다.
보조 손실 (Auxiliary Loss, $L_{Aux}$ ): 첫 번째 레벨에서 추정된 시각적 프롬프트와 정답 손상 맵 사이의 $L_1$ 손실로, 프롬프트 생입을 감독합니다.

주요 기여

픽셀 수준 복원 전략: 본 논문은 이미지 복원을 전역적 수준이 아닌 픽셀 수준에서 수행하는 방법을 제안합니다. 이 설계는 국소적 가이던스를 제공하여, 단일 이미지 내의 다양한 손상 유형과 변화하는 강도에 대한 적응성을 높입니다.
멀티모달 가이던스 네트워크 (MGN-AIR): 저자들은 VPGM, MGM, PLRM으로 구성된 새로운 네트워크를 설계했습니다. 이 시스템은 손상 유형(텍스트)과 손상 강도(시각)를 모두 사용하여 복원을 공동으로 구동함으로써 국소적인 복원 동작을 예측합니다.
최첨단 성능 (State-of-the-Art Performance): 광범로한 실험을 통해 MGN-AIR가 여러 벤치마크, 특히 복합 손상이 포함된 복잡한 시나리오에서 우수한 성능을 달-성함을 입증했습니다.

실험 결과

저자들은 디노이징(denoising), 디레인(deraining), 디블러링(deblurring), 디헤이징(dehazing), 디스노잉(desnowing), 저조도 개선(low-light enhancement)을 다루는 여러 벤치마크에서 MGN-AIR를 평가했습니다.

복합 손상 (CDD11): 단일, 이중, 삼중 복합 손상을 포함하는 CDD11 데이터셋에서 MGN-AIR는 최근의 최첨단 방법들을 능가했습니다. 구체적으로, 평균적으로 MoCE-IR 대비 1.51 dB PSNR 향상, OneRestore 대비 2.09 dB 향상을 달성했습니다.
5가지 손상 벤치마크: 다섯 가지 손상 유형을 아우르는 통합 설정에서, MGN-AIR는 최고의 평균 PSNR 및 SSIM을 달성했습니다. 이는 베이스라인인 PromptIR보다 2.29 dB 향상된 수치이며, 단일 전문가 모델인 MoCE-IR를 유의미하게 앞질러 세밀한 가이던스의 효용성을 입증했습니다.
3가지 손상 벤치마크: 이 방법은 디헤이징 및 디레인 작업에서 상당한 개선을 보였으며, 평균 PSNR 34.61 dB를 기록하여 기존 방법들을 능가했습니다.
절제 연구 (Ablation Studies): 시각적 프롬프트, 텍스트 프롬프트 또는 다층 블록 구조를 제거했을 때 성능이 크게 하락하여, 각 구성 요소의 필요성을 확인했습니다.
복잡도: 멀티모달 가이던스로 인한 추가된 복잡성에도 불구하고, 경량화 버전(Ours-s)은 베이스라인과 유사한 파라미터 수를 유지하면서도 이들을 능가하여, 성능 향상이 단순한 모델 용량 때문이 아니라 MGB의 특정 설계에서 기인함을 보여주었습니다.

의의 및 주장

본 논문은 MGN-AIR가 "균일한 복원"에서 "픽셀 수준의 멀티모달 가이던스를 통한 올인원 복원의 역량 강화"로의 전환을 나타낸다고 주장합니다. 저자들은 기존 방법들이 실제 이미지의 비균일한 손상 분포를 해결하지 못한다고 주장합니다. 텍스트 프롬프트(전역적 손상 유형)와 시각적 프롬프트(국소적 손상 강도)를 모두 활용함으로써, MGN-AIR는 복원 과정에 대한 세밀하고 정밀한 제어를 가능하게 합니다.

이 연구의 의의는 여러 손상 유형이 다양한 강도로 공존하는 복잡하고 현실적인 시나리오를 처리할 수 있는 능력에 있습니다. 시각적 결과물은 MGN-AIR가 (비나 눈과 같은) 손상을 효과적으로 제거하면서도, 전역적 복원 전략에 의해 흔히 소실되거나 흐려지는 (안테나나 지붕 질감과 같은) 미세한 국소적 디테일을 보존함을 보여줍니다. 저자들은 이들의 접근 방식이 특히 도전적인 복합 손상 환경에서 올인원 이미지 복원을 위한 새로운 최첨단(SOTA)을 설정한다고 결론짓습니다.