Derain-Agent: A Plug-and-Play Agent Framework for Rainy Image Restoration

이 논문은 기존 정적 추론의 한계를 극복하고, 계획 네트워크와 강도 조절 메커니즘을 통해 각 이미지 인스턴스에 맞춰 최적의 복원 도구를 동적으로 적용하는 플러그 앤 플레이 에이전트 프레임워크인 Derain-Agent 를 제안하여 실제 우천 환경에서의 이미지 복원 성능을 획기적으로 향상시킵니다.

핵심

비 오는 날의 사진, 이제 '스마트한 사진관'이 다듬어줍니다: Derain-Agent 소개

비 오는 날 찍은 사진은 흐릿하고, 노이즈가 섞이며, 색감도 이상해지기 쉽죠. 기존의 인공지능 기술은 이 문제를 해결하려고 노력했지만, 마치 **"모든 비 오는 날에 똑같은 세척제를 뿌리는 자동세차장"**처럼 작동했습니다. 비가 얼마나 많이 왔는지, 어디가 더러워졌는지에 따라 다르게 대처하지 못했기 때문에, 사진이 깨끗해지기는 해도 여전히 잔여 얼룩이나 흐릿함이 남는 경우가 많았습니다.

이 논문은 이 문제를 해결하기 위해 **'Derain-Agent(더레인 에이전트)'**라는 새로운 시스템을 제안합니다. 이를 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 기존 방식 vs 새로운 방식: "공식 요리사" vs "현명한 요리사"

• 기존 방식 (Static Inference):
  마치 정해진 레시피대로만 요리를 하는 요리사 같습니다. 비가 온 사진이 들어오면 "무조건 소금 1g, 후추 0.5g"을 넣고 볶습니다. 비가 조금만 왔든, 폭우였든, 기름기가 많았든 상관없이 똑같은 과정을 거칩니다. 그래서 때로는 소금이 너무 많거나, 기름기를 제거하지 못해 맛이 이상해질 수 있습니다.

• Derain-Agent (Dynamic Agent):
  이 시스템은 사진을 보고 상황을 진단한 뒤, 직접 요리를 조절하는 현명한 요리사입니다.

  1. 진단 (Planning): 사진을 먼저 살펴봅니다. "아, 여기는 비가 너무 많이 와서 흐릿하네 (블러), 저기에는 먼지 같은 노이즈가 있구먼, 색감은 노랗게 변했네."
  2. 계획 수립: 진단 결과에 따라 "먼저 노이즈 제거제를 뿌리고, 그다음 흐릿함을 잡는 도구를 쓰고, 마지막으로 색감을 보정하자"라고 순서를 정합니다.
  3. 정밀 조절 (Strength Modulation): 모든 곳에 똑같은 양을 뿌리는 게 아니라, "노이즈가 심한 곳에는 강하게, 깨끗한 곳은 살짝만" 적용합니다. 마치 스마트폰 카메라의 '현미경 모드'처럼, 필요한 부분에만 집중해서 세척하는 것입니다.

2. Derain-Agent 의 핵심 기능 2 가지

이 시스템은 두 가지 핵심 능력을 가지고 있습니다.

① '스마트 계획가' (Planning Network)

이 부분은 사진의 상태를 분석해서 **"어떤 도구들을 어떤 순서로 써야 가장 잘 나오는지"**를 결정합니다.

• 비유: 자동차 정비소에서 차를 들어올리고, "엔진 오일부터 갈고, 그다음 타이어 공기압을 체크하고, 마지막으로 세차를 하자"라고 맞춤형 정비 순서를 짜는 매니저 같은 역할입니다.
• 효과: 기존의 방식처럼 모든 경우에 같은 과정을 거치는 것이 아니라, 사진마다 가장 효율적인 '치료 과정'을 찾아냅니다.

② '정밀 조절기' (Strength Modulation)

도구를 사용할 때, 어디에 얼마나 강하게 적용할지를 조절합니다.

• 비유: 얼굴에 여드름이 난 곳에 약을 바를 때, 얼굴 전체에 두껍게 바르는 게 아니라 여드름이 난 부위에만 집중해서 바르는 것과 같습니다.
• 효과: 사진의 일부는 깨끗한데 일부만 흐릿할 때, 깨끗한 부분은 건드리지 않고 흐릿한 부분만 선명하게 만들어줍니다.

3. 왜 이것이 중요한가요?

• 실제 비 오는 날에도 잘 작동합니다: 기존 기술은 인공적으로 만든 비 데이터로만 훈련되어, 실제 비 오는 날의 복잡한 상황 (흐림, 색감 변화, 노이즈가 섞인 상태) 에는 약했습니다. 하지만 Derain-Agent 는 실제 상황을 분석해서 대응하므로, 실전에서도 훨씬 자연스럽고 선명한 사진을 만들어냅니다.
• 기존 기술을 업그레이드해줍니다: 이미 잘 작동하는 다른 비 제거 프로그램들 (기존 모델) 위에 이 에이전트를 '플러그인'처럼 끼우기만 하면, 그 프로그램들의 성능이 자동으로 향상됩니다. 마치 잘 나가는 스마트폰에 최신 카메라 앱만 추가해도 화질이 좋아지는 것과 같습니다.
• 빠르고 가볍습니다: 모든 것을 처음부터 새로 만드는 게 아니라, 필요한 부분만 수정하므로 계산 비용이 많이 들지 않습니다.

4. 결론: 사진의 미래를 바꾸는 '개인 비서'

Derain-Agent 는 단순히 비를 지우는 것을 넘어, 사진이 가진 모든 결함을 상황에 맞게 진단하고 치료하는 '개인 비서' 역할을 합니다.

• 자율 주행 자동차: 비 오는 날에도 차가 앞을 똑똑하게 볼 수 있게 도와줍니다.
• 감시 카메라: 흐릿한 영상을 선명하게 만들어 범죄 예방에 기여합니다.
• 일상 사진: 비 오는 날 찍은 소중한 추억을 맑고 아름다운 모습으로 되살려줍니다.

결국 이 기술은 **"하나의 정해진 규칙이 아니라, 상황마다 똑똑하게 변신하는 적응형 기술"**로, 우리가 비 오는 날에도 선명한 세상을 볼 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 단일 이미지 빗물 제거 (Single-image Deraining) 기술은 딥러닝의 발전으로 인해 표준 벤치마크에서 우수한 성능을 보이지만, 실제 환경 (Real-world) 에 적용할 때 다음과 같은 근본적인 한계를 겪습니다.

• 정적 추론의 한계 (Static Inference Paradigm): 기존 모델들은 고정된 아키텍처를 사용하여 모든 입력 이미지에 대해 동일한 처리 로직을 적용합니다. 이는 빗물 제거 후에도 남아있는 복잡한 잔류 왜곡 (잔류 노이즈, 모션 블러, 색상 편차 등) 이 서로 결합된 (Coupled) 상태에 적응하지 못하게 합니다.
• 실제 환경의 복잡성: 실제 빗줄기는 단순한 스트라이크 패턴이 아니라, 노이즈, 흐림, 색상 왜곡 등이 복합적으로 나타납니다. 기존 모델은 이러한 결합된 왜곡을 처리하지 못해 잔류 아티팩트와 불일치하는 지각적 품질을 초래합니다.
• 기존 대안의 비효율성: 기존 연구에서 제안된 반복적 검색 (Iterative search) 기반의 에이전트 접근법은 최적의 처리 순서를 찾지만, 계산 비용이 너무 높아 실용성이 떨어집니다. 또한, 고정된 도구 강도 (Strength) 를 사용하면 공간적으로 변하는 왜곡을 정밀하게 제어하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Derain-Agent를 제안하여 빗물 제거를 '정적 처리'에서 '동적 에이전트 기반 복구'로 전환합니다. 이 프레임워크는 기존 빗물 제거 모델의 출력을 받아 플러그 앤 플레이 (Plug-and-Play) 방식으로 작동하며, 두 가지 핵심 단계로 구성됩니다.

A. 전체 파이프라인 (Overall Pipeline)

1. 지각 단계 (Perception Stage):

   • 입력: 기존 빗물 제거 모델의 초기 출력 이미지 ($I_{base}$).
   • Planning Network (계획 네트워크): $I_{base}$의 잔류 왜곡을 분석하여 두 가지 정보를 생성합니다.
     • Tool Scheduler (도구 스케줄러): 잔류 왜곡 유형에 따라 최적의 도구 실행 순서 (Tool Path, $P$) 를 예측합니다. (예:先去噪后去模糊)
     • Strength Modulator (강도 변조기): 각 도구별 픽셀 단위 (Pixel-wise) 의 적용 강도 맵 ($\Lambda$) 을 생성합니다. 이는 공간적으로 변하는 왜곡에 따라 특정 영역에만 강하게 적용하거나 약하게 적용할 수 있게 합니다.
   • 출력: 실행 가능한 복구 프로그램 $\Pi = (P, \Lambda)$.

2. 실행 단계 (Execution Stage):

   • 예측된 도구 순서 ($P$) 에 따라 도구들을 순차적으로 실행합니다.
   • 각 단계에서 해당 도구의 효과를 강도 맵 ($\lambda$) 으로 조절하여 중간 이미지를 업데이트합니다.
   • 잔여 스케일링 메커니즘 (Residual Scaling): $I^{(\ell)} = I^{(\ell-1)} + \lambda^{(\ell)} \odot (f_{T^{(\ell)}}(I^{(\ell-1)}) - I^{(\ell-1)})$ 공식을 사용하여, 강도 맵에 따라 도구 적용 정도를 정밀하게 제어합니다.

B. 학습 전략 (Training Strategy)

계산 효율성과 학습 안정성을 위해 2 단계 학습 (Two-stage training) 을 사용합니다.

1. 1 단계 (경로 스케줄링): 공유 백본과 도구 경로 예측 헤드를 교차 엔트로피 손실로 학습합니다. (그라운드 트루스 경로는 오프라인에서 완전 탐색을 통해 생성)
2. 2 단계 (강도 변조): 백본과 경로 스케줄러를 고정 (Freeze) 하고, 강도 변조 헤드만 복원 손실 (L1 + SSIM) 로 최적화합니다.

3. 주요 기여 (Key Contributions)

1. Derain-Agent 프레임워크 도입: 빗물 제거를 정적 처리에서 동적 에이전트 기반의 점진적 정밀화 (Progressive Refinement) 로 전환하는 최초의 플러그 앤 플레이 프레임워크를 제안했습니다.
2. 적응형 도구 스케줄링 및 공간적 강도 변조:
   • Planning Network: 브루트 포스 (Brute-force) 검색 없이 각 인스턴스별 최적의 도구 순서를 학습합니다.
   • Strength Modulation: 공간적으로 변하는 강도 맵을 생성하여 잔류 아티팩트를 억제하면서도 구조적 세부 정보와 색상 충실도를 보존합니다.
3. 범용성 및 일반화: 다양한 기존 빗물 제거 모델 (Backbone) 과 합성/실제 데이터셋 모두에서 SOTA 성능을 달성하며, 모델에 구애받지 않는 범용 향상기 (Universal Enhancer) 로서의 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: LHP-Rain (실제 빗물 데이터셋) 에서 다양한 백본 (Restormer, IDT 등) 에 적용 시 평균 PSNR 이 0.81~1.19 dB 향상되었습니다. 특히 도메인 간격이 큰 Rain200H 에서 훈련된 모델에서도 큰 개선을 보였습니다.
• 실제 환경 평가 (Unpaired): ground truth 가 없는 RE-Rain 데이터셋에서 BRISQUE 및 NIQE(무참조 품질 지표) 가 개선되어, 실제 환경에서 더 자연스럽고 깨끗한 이미지를 생성함을 확인했습니다.
• 계산 효율성: 파라미터 수는 증가하지만, FLOPs(연산량) 증가는 약 3.5% 에 불과하여 매우 효율적입니다. 무거운 처리는 기본 모델이 담당하고, 에이전트는 경량화된 정밀 조정을 수행합니다.
• 다운스트림 작업 영향: 객체 감지 (YOLOv8) 및 인스턴스 분할 작업에서 빗물 제거 후의 잔류 아티팩트가 감소함에 따라 탐지 정확도와 마스크 정밀도가 크게 향상되었습니다.
• Ablation Study:
  • 학습 전략: 2 단계 학습이 1 단계 엔드투엔드 학습보다 성능이 우수했습니다.
  • 도구 상자 (Toolbox): 노이즈 제거, 색보정, 블러 제거 등 다양한 도구를 포함할수록 성능이 향상되었습니다.
  • 강도 변조: 공간적 강도 변조 (SM) 를 적용하지 않을 때보다 PSNR 이 0.09dB 향상되었고, 아티팩트가 감소했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 빗물 제거 분야에서 고정된 추론에서 적응형 에이전트 추론으로의 패러다임 전환을 제시합니다.

• 실용성: 기존 모델을 재학습하거나 구조를 변경하지 않고도, 가벼운 에이전트 모듈을 추가하여 실제 환경의 복잡한 왜곡을 해결할 수 있습니다.
• 확장성: 빗물 제거뿐만 아니라 안개 제거 (Dehazing), 저조도 향상 등 다른 이미지 복구 작업에도 동일한 에이전트 기반 적응 스케줄링 패러다임을 적용할 수 있는 가능성을 열었습니다.
• 미래 전망: 향후 대형 언어 모델 (LLM) 의 시맨틱 사전 지식을 활용하여 왜곡 진단 능력을 더욱 고도화할 계획입니다.

요약하자면, Derain-Agent는 계산 비용은 최소화하면서, 각 이미지별 잔류 왜곡을 지능적으로 진단하고 적응적으로 수정하여 실제 환경에서의 이미지 복구 품질을 획기적으로 높인 혁신적인 프레임워크입니다.