ClearAIR: A Human-Visual-Perception-Inspired All-in-One Image Restoration

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **'ClearAIR'**라는 새로운 이미지 복원 기술을 소개합니다. 쉽게 말해, 흐리거나 비가 오거나 노이즈가 낀 망가진 사진을 깨끗하게 고쳐주는 인공지능입니다.

기존 기술들은 "이 사진은 비가 온 거야", "이건 흐린 거야"라고 딱딱하게 구분해서 고치려 했지만, ClearAIR 는 **사람이 눈을 통해 세상을 보는 방식 (Human Visual Perception)**을 그대로 모방해서 더 똑똑하게 고친다고 합니다.

이 기술을 이해하기 쉽게 **'명화 수리공'**의 이야기로 비유해 볼게요.

🎨 ClearAIR: 명화 수리공의 4 단계 비법

기존의 수리공들은 망가진 그림을 보자마자 "아, 이 부분은 비가 묻은 거야!"라고 외치며 무조건 비 제거제를 뿌렸습니다. 하지만 그림 전체를 한 번에 보지 못해서, 비가 없는 부분까지 과하게 닦아내거나 중요한 디테일을 지워버리는 실수를 했죠.

ClearAIR 는 사람의 눈이 그림을 보는 순서를 따라 4 단계로 수리를 진행합니다.

1 단계: 전체적인 느낌 파악하기 (전체 평가)

비유: 명화 수리공이 그림을 가까이서 보지 않고, 멀리서 한 번 훑어보는 것입니다.

"이 그림은 전반적으로 얼마나 상태가 안 좋은가? 색이 바랜 건가, 흠집이 많은 건가?"

ClearAIR 는 **거대 언어 모델 (MLLM)**이라는 초지능 도구를 써서 그림 전체의 '품질 점수'를 매깁니다. 마치 미술평론가가 그림을 보며 "음, 전반적으로 흐릿하네"라고 먼저 판단하는 것처럼요. 이 전체적인 판단이 있어야 나중에 어디를 어떻게 고칠지 방향을 잡을 수 있습니다.

2 단계: 문제 지역 찾기 (지역 인식)

비유: 이제 돋보기를 들고 그림을 자세히 살펴봅니다.

"아, 여기는 비가 묻어서 흐릿하고, 저기는 안개 때문에 뿌옇네. 하지만 저쪽 산은 깨끗하네."

그림 전체가 다 망가진 게 아니라, 어떤 부분에는 비가, 어떤 부분에는 안개가 낀 것을 구분합니다. ClearAIR 는 그림의 '의미' (예: 하늘, 나무, 사람) 를 이해해서, "이 부분은 비가 온 것 같으니 비 제거를, 저 부분은 안개 제거를 해야겠다"라고 지역별로 계획을 세웁니다.

3 단계: 정확한 고장 원인 찾기 (작업 인식)

비유: 수리공이 정확한 도구를 고르는 순간입니다.

"이 부분은 '비' 때문에 망가졌으니 '비 제거 스프레이'를, 저 부분은 '흐림'이니까 '안개 제거제'를 써야지."

지역별로 어떤 문제가 생겼는지 (비, 안개, 흐림, 어두움 등) 를 정확히 파악하고, 그에 맞는 **전용 도구 (프롬프트)**를 꺼내어 사용합니다. 모든 곳에 같은 약을 바르는 게 아니라, 부위마다 다른 약을 발라주는 거죠.

4 단계: 미세한 디테일 살리기 (내부 단서 재사용)

비유: 그림의 원본 질감을 기억해내는 마지막 다듬기 작업입니다.

"이 나무 잎사귀는 원래 이렇게 울퉁불퉁했지. 내가 고친 부분이 너무 매끄러우면 안 되는데..."

그림 자체에 숨겨진 원래의 패턴과 질감을 스스로 찾아내어 (자기 학습), 고친 부분의 디테일을 더 선명하게 만듭니다. 마치 수리공이 "이 그림의 원래 질감은 이런 거였지"라고 기억해내어, 너무 매끄럽게 고쳐진 부분을 다시 자연스러운 질감으로 되돌리는 작업입니다.

🌟 왜 ClearAIR 가 특별한가요?

한 번에 다 해결 (All-in-One):
- 예전에는 비 제거용 AI, 안개 제거용 AI, 흐림 제거용 AI 를 따로 써야 했습니다. ClearAIR 는 하나의 두뇌로 비, 안개, 흐림, 어두움 등 모든 문제를 동시에 해결합니다.
사람처럼 생각함:
- 단순히 "이건 비야"라고 외우는 게 아니라, 전체적인 분위기 → 지역별 문제 → 정확한 원인 → 미세한 디테일 순서로 사람처럼 단계적으로 생각하며 고칩니다.
실제 세상에서도 잘 작동:
- 실험 결과, 인공적으로 만든 더러운 사진뿐만 아니라, 실제 비가 오거나 눈이 내리는 실제 사진에서도 다른 최신 기술들보다 더 선명하고 자연스러운 사진을 만들어냈습니다.

💡 한 줄 요약

ClearAIR는 망가진 사진을 고칠 때, "무작정 닦는" 기존 AI 와 달리 사람의 눈처럼 '전체를 보고, 지역을 구분하고, 원인을 파악한 뒤, 디테일을 살리는' 똑똑한 수리공입니다. 덕분에 더 자연스럽고 선명한 사진을 돌려받을 수 있게 되었습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 제기 (Problem)

배경: 모든 것을 하나로 통합한 이미지 복원 (All-in-One Image Restoration, AiOIR) 은 다양한 현실 세계의 열화 (노이즈, 안개, 비, 저조도 등) 를 단일 모델로 처리할 수 있어 유망한 분야로 부상했습니다.
기존 방법의 한계:
- 대부분의 기존 AiOIR 모델은 특정 열화 유형에 의존하는 표현을 사용하거나, 이미지 전체에 균일한 (Uniform) 처리 전략을 적용합니다.
- 이로 인해 이미지의 공간적 위치에 따라 열화의 강도와 분포가 다를 때 (비균일 열화), 과도한 평활화 (Oversmoothing) 나 아티팩트가 발생하는 문제가 있습니다.
- 또한, 복잡한 텍스처가 있는 지역과 평탄한 지역의 복원 난이도 차이를 고려하지 못해 세부 사항 회복이 부족합니다.
핵심 문제: 인간이 시각 정보를 처리할 때 '전체적인 구조'를 먼저 파악한 후 '국부적인 세부 사항'을 점진적으로 분석하는 **인간 시각 지각 (Human Visual Perception, HVP)**의 계층적 특성을 기존 AI 모델이 충분히 반영하지 못하고 있다는 점입니다.

2. 제안 방법론: ClearAIR (Methodology)

저자들은 인간 시각 지각 (HVP) 에서 영감을 받아 거칠게부터 정교하게 (Coarse-to-Fine) 이미지를 복원하는 계층적 프레임워크인 ClearAIR를 제안했습니다. 전체 파이프라인은 크게 네 가지 단계로 구성됩니다.

1) 전체 품질 평가 (Overall Assessment - "How")

MLLM 기반 이미지 품질 평가 (IQA): 초기 HVP 단계에서 전체적인 구조를 파악하는 것처럼, 멀티모달 대형 언어 모델 (MLLM) 을 활용한 IQA 모델을 도입합니다.
기능: 입력 이미지의 전반적인 품질을 텍스트와 비주얼 토큰을 통해 평가하여 '품질 임베딩 (Score Embedding)'을 생성합니다. 이는 이후 복원 과정의 품질 가이드 모듈 (QGM) 로 전달되어 전역적인 복원 방향을 설정합니다.

2) 영역 인식 (Region Awareness - "Where")

시맨틱 가이드 유닛 (SGU): 열화가 발생할 가능성이 높은 지역을 식별하기 위해 사전 학습된 Segment Anything Model (SAM) 을 활용합니다.
기능: 이진 마스크를 생성하여 이미지의 시맨틱 영역을 구분하고, '마스크 평균 풀링 (Mask Average Pooling)'을 통해 지역별 특징을 추출합니다. 이를 시맨틱 크로스 어텐션 (SCA) 을 통해 복원 백본과 결합하여 지역별 맥락을 제공합니다.

3) 작업 인식 (Task Recognition - "What")

열화 식별 및 프롬프트 생성: 지역별 열화 유형 (비, 안개, 노이즈 등) 을 예측합니다.
기능: DA-CLIP 모델을 사용하여 지역별 열화 유형을 추정하고, 이를 '열화 프롬프트 (Degradation Prompt)'로 변환합니다. 이 프롬프트는 열화 인식 모듈 (DAM) 에 입력되어 해당 지역에 적합한 복원 전략을 적용하도록 유도합니다.

4) 내부 단서 재사용 메커니즘 (Internal Clue Reuse Mechanism, ICRM)

세부 사항 복원 강화: 복원된 이미지의 미세한 디테일을 회복하기 위해 자체 학습 (Self-supervised) 방식을 도입합니다.
기능: 복원된 이미지에 약한 증강과 강한 증강을 순차적으로 적용한 후, 두 결과 간의 일관성 (Internal Consistency) 을 손실 함수 ( $L_{inter}$ ) 로 계산합니다. 이를 통해 이미지 고유의 내부 통계 정보를 활용하여 세부 텍스처를 정교하게 복원합니다.

3. 주요 기여 (Key Contributions)

HVP 영감의 계층적 프레임워크: 인간이 이미지를 지각하는 방식 (전체 $\rightarrow$ 지역 $\rightarrow$ 세부) 을 모방한 새로운 AiOIR 프레임워크 ClearAIR 를 제안했습니다.
통합된 지각 파이프라인: MLLM 기반의 전역 품질 평가, 시맨틱 가이드를 통한 지역 인식, 그리고 작업 식별기를 결합하여 비균일 열화에 대응하는 적응형 복원 전략을 구현했습니다.
자기 지도 학습 기반 세부 복원: 외부 레이블 없이 이미지 내부의 통계적 단서를 재사용하는 ICRM 을 도입하여 미세한 디테일 회복 능력을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

ClearAIR 는 다양한 합성 및 실제 데이터셋에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 보였습니다.

3 가지 열화 작업 (Noise, Haze, Rain): SOTS(안개 제거), Rain100L(비 제거), BSD68(노이즈 제거) 에서 평균 PSNR 32.74 dB, SSIM 0.919 를 기록하여 VLU-Net 및 AdaIR 등을 능가했습니다. 특히 고농도 안개와 심한 노이즈 제거에서 뛰어난 성능을 발휘했습니다.
5 가지 열화 작업 (Blur, Low-light 추가): GoPro(블러 제거) 와 LOL(저조도 향상) 을 포함한 5 가지 작업에서도 평균 PSNR 30.45 dB, SSIM 0.916 으로 최상위 성능을 달성했습니다.
All-Weather 및 복합 열화: 눈, 비, 안개, 빗방울이 섞인 복잡한 날씨 조건 (All-Weather) 과 CDD-11(복합 열화) 데이터셋에서도 기존 모델 대비 평균 0.22~0.62 dB 의 성능 향상을 보였습니다.
실제 환경 적용: RainDS 및 Snow100K-real 과 같은 실제 데이터셋에서도 아티팩트 제거와 디테일 보존 측면에서 시각적으로 더 자연스러운 결과를 제공했습니다.
Ablation Study: 'How-Where-What' 순서 (전체 평가 $\rightarrow$ 지역 인식 $\rightarrow$ 작업 인식) 가 다른 순서보다 성능이 우수함을 확인하여, HVP 의 계층적 처리 순서의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

패러다임 전환: 기존 AiOIR 모델이 가졌던 '균일한 처리'의 한계를 극복하고, **비균일 열화 (Non-uniform Degradation)**에 효과적으로 대응할 수 있는 새로운 접근법을 제시했습니다.
지각 기반 AI: 단순히 데이터 패턴을 학습하는 것을 넘어, 인간 시각 시스템의 인지적 원리 (전체 $\rightarrow$ 부분, 맥락 기반 적응) 를 모델에 통합함으로써 더 자연스럽고 견고한 이미지 복원을 가능하게 했습니다.
실용성: 단일 모델로 다양한 열화 유형과 강도를 처리할 수 있어, 실제 응용 환경 (자율주행, 감시, 모바일 촬영 등) 에서의 적용 가능성을 높였습니다.

결론적으로 ClearAIR 는 인간 시각 지각의 원리를 체계적으로 모델링하여, 복잡한 현실 세계의 이미지 열화 문제를 해결하는 데 있어 새로운 기준 (SOTA) 을 제시한 연구입니다.