💻 computer science

What to Remove, What to Preserve: Dual-Ambiguity Rectification for All-in-One Image Restoration

본 논문은 구조화된 열화 원형 표현(Degradation Archetype Representation)과 전용 교정 모듈을 통해 의미적 및 공간적 모호성 문제를 해결함으로써 다양한 열화 벤치마크에서 최첨단 성능을 달성하는 새로운 올인원 이미지 복원 프레임워크인 DAR-Net을 제안한다.

원저자: Cencen Liu (University of Electronic Science and Technology of China), Wen Yin (University of Electronic Science and Technology of China), Dongyang Zhang (University of Electronic Science and Technolo

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cencen Liu (University of Electronic Science and Technology of China), Wen Yin (University of Electronic Science and Technology of China), Dongyang Zhang (University of Electronic Science and Technology of China), Dongmin Li (University of Electronic Science and Technology of China), Shan Zhao (Jiigan Technology), Bing Su (Jiigan Technology), Tao He (University of Electronic Science and Technology of China), Jielei Wang (University of Electronic Science and Technology of China), Guoming Lu (University of Electronic Science and Technology of China)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 망쳐버린 국 한 솥을 고치려는 숙련된 요리사라고 상상해 보세요. 국이 너무 짰을 수도 있고, 탔을 수도 있으며, 혹은 원치 않는 잡초가 가득할 수도 있습니다. 컴퓨터 비전의 세계에서 이 "국"은 디지털 사진이며, "실수"는 빗줄기, 안개, 블러(흐림), 또는 노이즈와 같은 것들입니다. 오랫동안 과학자들은 각기 특정한 문제를 해결하기 위한 전용 요리사들을 만들어 왔습니다. 어떤 요리사는 비를 제거하는 일만 하고, 다른 요리사는 안개를 걷어내는 일만 하는 식이었죠. 하지만 현실 세계의 사진들은 종종 여러 가지 문제들이 뒤섞인 복잡한 상태로 나타납니다. 우리에게는 모든 재난을 단 하나의 솥 안에서 처리할 수 있는 "올인원(All-in-One)" 요리사가 필요합니다. 하지만 문제는 이러한 디지털 요리사들이 종종 혼란을 겪는다는 점입니다. 그들이 "나쁜 것"(예: 비)을 제거하려고 할 때, 실수로 "좋은 것"(예: 사람의 얼굴 질감이나 하늘의 구름)까지 버려버리곤 합니다. 그들은 무엇을 남기고 무엇을 버려야 할지 몰라 서로 엉켜버립니다. 이 논문은 컴퓨터가 쓰레기와 보물을 어떻게 구분해야 하는지 정확히 가르침으로써 이 혼란을 해결합니다.

이 논문은 사진을 수정하는 똑똑한 이중 두뇌 편집기 역할을 하는 DAR-Net이라는 새로운 시스템을 소개합니다. 저자들은 기존 방식들이 "이중 모호성(dual ambiguity)"이라는 문제, 즉 컴퓨터가 두 가지 방식으로 혼동을 겪는 현상을 겪고 있다는 점에 주목했습니다. 첫째, 컴퓨터는 무엇이 문제인지 혼동하며(의미론적 모호성, Semantic Ambiguity), 둘째, 어디를 고쳐야 하는지 혼동합니다(공간적 모호성, Spatial Ambiguity). 이를 해결하기 위해 DAR-Net은 세 가지 영리한 기술을 사용합니다.

첫째, **퇴화 원형 표현(Degradation Archetype Representation, DAR)**을 사용합니다. 이것은 "재난 메뉴판"이라고 생각하면 됩니다. 사진이 망가질 수 있는 모든 가능한 방식을 하나하나 다 외우는 대신, 시스템은 몇 가지 기본적인 "원형"(예: 기본적인 비 패턴, 기본적인 안개 패턴 등)을 학습합니다. 새로운 사진이 들어오면, 시스템은 이러한 기본 재난들이 어떻게 섞여 있는지 파악하여, 무엇을 제거해야 하는지에 대한 명확한 "레시피"를 만들어냅니다.

둘째, **의미론적 모호성 교정(Semantic Ambiguity Rectification, SeAR)**을 사용합니다 구름을 지우지 않도록 주의하면서 비를 제거하기 위해 "어떤 특정 정보 채널에 집중해야 하는지"를 알려주는 스마트 필터와 같습니다. 시스템은 재난 레시피를 바탕으로 특별한 "프롬프트"(지침 세트)를 생성하여, 컴퓨터가 정확히 무엇을 목표로 삼아야 하는지 알게 합니다.

셋째, 아마도 가장 중요한 것은 **공간적 모호성 교정(Spatial Ambiguity Rectification, SpAR)**입니다. 이것은 "유지할 것 vs 제거할 것"을 결정하는 심판 역할을 합니다. 올바른 지침이 있더라도 컴퓨터는 여전히 잘못된 지점을 고치려 할 수 있습니다. SpAR은 "제거" 신호와 "유지" 신호가 완전히 분리된, 겹치지 않는 공간에서 살도록 강제합니다. 빨간색과 파란색 구슬을 분류하는 것을 상상해 보세요. SpAR은 빨간색 구슬(나쁜 것)은 한 상자에, 파란색 구슬(좋적인 것)은 다른 상자에 들어가도록 하여 절대 서로 섞이지 않게 합니다.

결과는 인상적입니다. 저자들은 세 가지 다른 유형의 문제(예: 비, 안개, 노이즈)로 망가진 사진들을 대상으로 표준 벤치마크에서 DAR-Net을 테스트했으며, 기존의 최고 방법들보다 PSNR(이미지 품질 측정 지표)에서 평균 0.14 dB 더 높은 성능을 보였습니다. 다섯 가지 유형의 문제로 난이도를 높였을 때는 경쟁 모델들을 0.34 dB 차이로 앞질렀습니다. 또한, 혼합된 날씨 문제를 가진 실제 사진에서도 뛰어난 성능을 보여주었는데, 이는 이 시스템이 완벽한 테스트 데이터뿐만 아니라 비가 오거나 안개가 낀 날씨와 같은 복잡한 현실도 처리할 수 있음을 보여줍니다.

이 논문은 "무엇을 제거할 것인가"와 "무엇을 보존할 것인가"를 서로 엉키게 두는 대신, 이 둘을 명확히 구분하도록 컴퓨터를 가르치는 것이 훨씬 더 신뢰할 수 있는 디지털 기억 복구 도구를 만드는 길임을 시사합니다. 비록 이 시스템이 복잡하고 구동을 위해 강력한 컴퓨터를 필요로 하지만, 저자들은 "이중 모호성 교정"이라는 이 접근 방식이 약속한 만큼 실제로 작동하는 올인원 사진 복구 도구를 만드는 유망한 경로임을 보여줍니다.

기술 요약: 무엇을 제거하고 무엇을 보존할 것인가: 올인원 이미지 복원을 위한 이중 모호성 교정(Dual-Ambiguity Rectification)

문제 정의

올인원 이미지 복원(All-in-one image restoration, AIR)은 단일 통합 프레임워크 내에서 다양한 열화(예: 노이즈, 안개, 비, 블러 등)로부터 깨끗한 시각적 콘텐츠를 복구하는 것을 목표로 합니다. 기존 방법들은 작업별 모델에서 공유 백본 기반의 조건부 복원(주로 프롬프트나 Mixture-of-Experts 사용)으로 발전해 왔으나, 근본적인 한계에 직면해 있습니다: 바로 **열화-콘텐츠 얽힘(degradation-content entanglement)**입니다. 현재의 통합 파이프라인에서는 열화 관련 단서와 장면 콘텐츠 표현이 공유된 잠재 공간(latent space) 내에서 서로 얽힌 방식으로 인코딩되는 경우가 많습니다.

저자들은 이러한 얽힘을 **이중 모호성(dual ambiguity)**으로 규정하며, 이는 두 가지 전형적인 실패 모드로 이어집니다:

의미론적 모호성 (채널 차원): 열화 단서와 콘텐츠 표현이 채널 차원에서 얽혀 있어, 열화 인식 모듈화(degradation-aware modulation)의 변별력을 떨어뜨립니다. 이는 충실한 이미지 세부 사항이 열화와 함께 잘못 억제되는 콘텐츠 손상(content corruption) 현상을 초래합니다.
공간적 모호성 (공간 차원): 공간 차원에서의 얽힘은 복원 응답의 선택성을 약화시켜, 아티팩트가 충분히 억제되지 않는 **잔류 열화(residual degradation)**를 유발합니다.

방법론: DAR-Net

이러한 문제를 해결하기 위해 저자들은 계층적 U자형 트랜스포머 백본을 기반으로 하는 DAR-Net(Dual-Ambiguity Rectification Network)을 제안합니다. 이 네트워크는 채널 및 공간 차원에서 열화와 콘텐츠를 분리하기 위해 3단계 교정 파이프라인을 사용합니다:

열화 원형 표현 (Degradation Archetype Representation, DAR):
- 열화를 단일 벡터로 취급하는 대신, DAR은 **심플렉스 제약 원형 혼합 모델링(simplex-constrained archetype mixture modeling)**을 사용하여 구조화된 열화 상태를 구축합니다.
- 경량화된 컨디셔닝 네트워크가 입력 특징을 추출하고, 이를 Softmax 연산을 통해 혼합 계수( $\alpha$ )로 매핑합니다. 이 계수들은 입력을 $K$ 개의 학습 가능한 **열화 원형(archetypes, $A$ )**의 볼록 조합(convex combination)으로 나타냅니다.
- 결과물인 열화 상태( $S_{deg} = A\alpha$ )는 후속 교정을 위한 구조화된 사전 정보(prior) 역할을 하며, 열화 표현이 기하학적으로 제약된 공간 내에 존재하도록 보장합니다.
의미론적 모호성 교정 (Semantic Ambiguity Rectification, SeAR):
- 이 모듈은 두 가지 하위 구성 요소를 통해 채널 차원의 얽힘을 해결합니다:
  - 원형 가이드 프롬프트 생성기 (Archetype-Guided Prompt Generator, AGPG): 입력 특징으로부터 기본 프롬프트를 생성하고, 채널별 라우팅을 통해 열화 상태( $S_{deg}$ )를 사용하여 이를 정교화합니다. 이를 통해 추론된 열화와 일치하는 채널은 강조하고 무관한 채널은 억제하는 열화 인식 프롬프트를 생성합니다.
  - 열화 인식 프롬프트 통합기 (Degradation-Aware Prompt Integrator, DAPI): 정교화된 프롬프트를 디코더 단계에 주입하여, 열화 조건에 따라 채널별 어텐션 메커즘을 통해 특징을 조절합니다.
- 결정적으로, 가장 깊은 디코더 단계에서 SeAR은 잔차 뺄셈( $F_{in} - F_{dp}$ )을 수행함으로써 보완적인 콘텐츠 관련 특징( $F_c$ )을 도출합니다 (여기서 $F_{dp}$ 는 열화 인식 프롬프트 특징임).
공간적 모호성 교정 (Spatial Ambiguity Rectification, SpAR):
- 공간적 얽힘을 해결하기 위해, SpAR은 직교 부공간 교정(Orthogonal Subspace Rectification, OSR) 전략을 도입합니다.
- 열화 인식 프롬프트( $F_{dp}$ )와 보완적 콘텐츠 특징( $F_c$ )을 입력받아 학습 가능한 부공간으로 투영합니다.
- 두 특징의 행 공간(row spaces) 사이의 크로스 그램 행렬(cross-Gram matrix)을 최소화하는 손실 항( $L_{OSR}$ )을 적용합니다. 이는 열화 관련 표현과 콘텐츠 관련 표현이 직교하는 공간적 부공간을 점유하도록 강제하여, "무엇을 제거할 것인가"와 "무엇을 보존할 것인가"를 효과적으로 분리합니다.

학습 목표: 네트워크는 픽셀 단위 L1 재구성 손실과 직교 정규화 손실( $L_{OSR}$ )을 사용하여 학습됩니다.

주요 기여

이중 모호성 프레임워크: 본 논문은 AIR의 의미론적(채널) 및 공간적 모호성을 공식화하고 이를 교정하기 위한 통합 프레임워크를 제안했습니다.
구조화된 열화 모델링: 열화 상태를 심플렉스 제약 하의 원형 혼합으로 모델링하는 DAR 모듈을 도입하여, 표준 컨디셔닝 벡터보다 더 구조화된 사전 정보를 제공합니다.
직교 분리: SpAR 모듈을 설계하여 공간 차원에서 열화 특징과 콘텐츠 특징 간의 직교성을 명시적으로 강제함으로써 간섭을 방지합니다.
프롬프트 기반 교정: 원형 가이드에 의해 정교화되고 채널 어텐션을 통해 통합되는 열화 인식 프롬프트를 생성하는 새로운 접근 방식을 제시합니다.

실험 결과

DAR-Net은 3가지 열화(3D) 및 5가지 열화(5D) 설정, 그리고 혼합 열화(CDD-11) 및 실세계(WeatherBench) 데이터셋에 대해 표준 올인원 복원 벤치마크에서 평가되었습니다.

3D 설정: DAR-Net은 평균 PSNR 33.05 dB, SSIM 0.922를 기록하며 최고의 성능을 달성하였고, 가장 강력한 경쟁 모델인 MIRAGE를 평균 PSNR에서 0.14 dB 차이로 앞질렀습니다. 또한 디헤이징(dehazing), 디레인(deraining), 디노이징(denoising) 모든 단계에서 1위를 차지했습니다.
5D 설정: 더욱 까다로운 5D 설정(디블러링 및 저조도 포함)에서 DAR-Net은 평균 PSNR 31.02 dB, SSIM 0.921을 달성하여, 두 번째로 우수한 방법보다 0.34 dB 높은 성능을 보였습니다.
혼합 및 실세계: 단일에서 삼중 열화를 모두 포함하는 CDD-11 데이터셋에서 DAR-Net은 가장 높은 평균 PSNR/SSIM(29.73/0.888)을 달 기록했습니다. 실세계 WeatherBench 데이터셋에서도 디헤이징, 디스노잉(desnowing), 디레인 분야에서 우수한 성능과 높은 지각 품질(낮은 LPIPS 및 FID)을 입증했습니다.
효율성: 35.5M의 파라미터와 771G FLOPs를 가진 DAR-Net은 경쟁력 있는 추론 효율성을 유지하며(720x480 이미지 기준 165ms 지연 시간), PromptIR 및 DFPIR과 같은 여러 최신 베이스라인보다 빠르게 동작합니다.

의의 및 주장

본 논문은 DAR-Net의 핵심 기여가 **"무엇을 제거하고 무엇을 보존할 것인가"**를 명시적으로 모델링하는 데 있다고 주장합니다. 기존의 통합 이미지 복원 모델들을 괴롭히는 이중 모호성을 해결함으로써, 이 방법은 열화 제거와 콘텐츠 보존 사이의 트레이드오프를 효과적으로 완화합니다.

저자들은 DAR-Net이 단순히 방대한 파라미터 수나 복잡한 라우팅을 통해 모델 용량을 늘리는 것에 의존하는 것이 아니라, 특징 공간의 **구조적 교정(structural rectification)**에 집중하고 있음을 강조합니다. 실험 결과는 열화 표현과 콘텐츠 표현 사이의 직교성을 강제하는 것이 고충실도(high-fidelity) 및 일반화 가능한 올인원 이미지 복원을 달성하는 데 결정적인 요소임을 시사합니다. 이 연구는 단순한 특징 공유를 넘어 복원 단서를 능동적으로 분리하는 방향으로, 미래의 통합 복원 프레임워크를 위한 새로운 관점을 제시합니다.