기술 요약: PVRF

문제 정의

실제 시나리오에서의 악천후 제거 (AWR) 는 두 가지 주요 과장에 직면해 있습니다. 첫째, 실제 세계의 이미지는 종종 추론과 조건 설정이 어려운 이질적이고 혼합된 열화 (예: 동시적인 비, 눈, 안개) 로 고통받습니다. 기존 접근 방식은 "하드" 원-핫 조건 설정 (단일 이산적 날씨 라벨 예측) 에 의존하는데, 이는 취약합니다. 모호하거나 결합된 열화에 어려움을 겪으며, 교차 데이터셋 외관 변화에 민감합니다. 둘째, 근본적인 지각 - 왜곡 트레이드오프가 존재합니다. 왜곡 주도 방법 (MSE 최소화) 은 종종 과도하게 부드러운 결과를 생성하는 반면, 확산 기반 방법은 시각적으로 매력적이지만 충실도가 부족할 수 있습니다. 지상 진실 (ground truth) 에 충실하면서도 사진처럼 사실적인 복원을 달성하는 것은 모든-in-one AWR 모델에게 여전히 큰 장벽입니다.

방법론

저자들은 제로샷 소프트 날씨 지각과 속도 제약 정제 흐름 (rectified-flow) 정제 과정을 통합한 통합 프레임워크인 PVRF(Prior-modulated and Velocity-constrained Rectified Flow) 를 제안합니다. 이 방법은 두 가지 주요 단계로 작동합니다:

1. AWR-QA 를 통한 제로샷 소프트 지각 사전 지식

이산적 날씨 라벨을 예측하기 위해 분류기를 훈련하는 대신, PVRF 는 고정된 비전 - 언어 모델 (VLM) 을 사용하여 소프트 지각 사전 지식을 추출합니다.

• AWR-QA 모듈: 시스템은 정의 강화 질문을 사용하여 VLM 에 쿼리를 보냅니다.
  • 유형 지각: 각 날씨 유형 (예: "이 이미지가 비가 오는가요?") 에 대해 VLM 은 "예"와 "아니오"에 대한 원시 로짓을 제공합니다. 이를 시그모이드와 같은 함수를 사용하여 소프트 확률 ($P_{type}$) 로 변환하여 불확실성을 유지합니다 (여러 유형이 무시할 수 없는 가중치를 갖도록 함).
  • 속성 지각: VLM 에는 열화 심각도를 측정하기 위해 가시성, 대비, 선명도 등의 저수준 속성에 대해 쿼리가 전송됩니다.
• 조건 설정 메커니즘: 이러한 소프트 사전 지식은 두 가지 구성 요소를 통해 복원 백본 (AWR 전용 네트워크) 을 조절합니다.
  • 속성 조절 정규화 (AMN): 속성 점수를 사용하여 레이어 정규화된 특징에 특징별 아핀 변환을 수행하여 연속적인 심각도 조절을 제공합니다.
  • 날씨 가중 어댑터 (WWA): 각 날씨 유형별로 여러 개의 병렬 어댑터 분기를 구현합니다. 소프트 유형 확률은 이러한 분기의 출력을 집계하는 혼합 가중치로 작용하여, 하드 전환 없이 혼합된 열화를 처리할 수 있도록 합니다.

2. 말단 일관성 잔차 정제 흐름

지각 조건 설정 백본이 생성한 초기 앵커 추정치 ($\mu$) 를 정제하기 위해, PVRF 는 교란된 소스 분포에서 깨끗한 이미지 분포로의 전송 맵을 학습하는 정제 흐름 모델을 사용합니다.

• 후방 앵커 잔차 공간: 흐름은 소스가 $Z_0 = \mu + \delta\epsilon$인 잔차 공간 ($r_t = Z_t - \mu$) 에서 정의됩니다. 이 공식은 말단 상태에서 기대 잔차가 구성상 0 이 되도록 하여 학습 목적을 단순화합니다.
• 지각 적응형 소스 교란: 고정된 전역 교란 스케일을 사용하는 표준 방법과 달리, PVRF 는 소프트 지각에 기반하여 교란 크기 ($\delta$) 를 동적으로 조정합니다. 유형 불확실성과 속성 심각도에서 도출된 난이도 점수를 통해 경미한 경우는 교란을 적게 하여 (충실도 유지) 심각하거나 모호한 경우는 교란을 더 많이 하여 (학습 안정화) 처리합니다.
• 말단 일관성 속도 파라미터화: 속도장은 $v_\phi(r_t, t) = t r_t + t(1-t)\Phi_\phi(\dots)$로 파라미터화됩니다. $t(1-t)$항은 $t=1$에서 소멸하므로, 네트워크의 예측과 관계없이 말단 상태에서의 속도가 정확히 $r_1$이 되도록 보장합니다. 이는 $t \to 1$ 근처에서 학습을 안정화시키며 말단 일관성을 명시적으로 강제합니다.

주요 기여

1. 정의 유도 제로샷 지각: 작업별 미세 조정이 필요 없이 고정된 VLM 을 활용하여 소프트, 불확실성 인식 유형 및 속성 사전 지식을 생성하는 AWR-QA 모듈의 도입.
2. 지각 유도 조절: 소프트 사전 지식을 복원 백본에 효과적으로 통합하여 열화 인식 후방 추정을 가능하게 하는 AMN 및 WWA 모듈의 설계.
3. 말단 일관성 잔차 흐름: 사진 사실주의와 충실도를 균형 있게 맞추기 위해 지각 적응형 소스 교란과 말단 일관성 속도 파라미터화를 특징으로 하는 새로운 정제 흐름 공식.

실험 결과

저자들은 PVRF 를 세 가지 설정에서 평가했습니다:

• 설정 I (3-작업 AWR): 안개 제거, 비 제거, 눈 제거. PVRF 는 충실도 (PSNR, SSIM) 와 지각 품질 (LPIPS, FID, MUSIQ) 모두에서 최첨단 (SOTA) CNN, Transformer, 확산 기반 베이스라인 (예: AdaIR, UniRestore, PromptIR) 을 능가했습니다. 특히, 최상위 SOTA 대비 평균 PSNR 1.14dB 개선을 달성했습니다.
• 설정 II (4-작업 AWR): 저조도 향상을 포함하여 일관된 우월성을 보였습니다.
• 설정 III (5-작업 일반 복원): 블러 제거를 포함했습니다. PVRF 는 모든 지표에서 최상위 성능을 유지했습니다.
• 일반화: 모델은 보이지 않는 데이터셋 (예: HIDE, RealRain-1k) 에서 강력한 일반화를 보였으며, 특히 혼합된 열화 (예: 안개 + 비, 저조도 + 눈) 에서 결정적으로 우수한 성능을 발휘했습니다. 이러한 까다로운 혼합 열화 시나리오에서 PVRF 는 다른 방법들이 종종 여러 동시 열화를 처리하지 못했던 지각 지표 (MUSIQ, MANIQA) 에서 베이스라인을 크게 능가했습니다.

의의

이 논문은 PVRF 가 취약한 하드 조건 설정 패러다임에서 유연하고 지각 주도적인 접근 방식으로 전환함으로써 기존 올인원 AWR 모델의 중요한 한계를 해결한다고 주장합니다. 고정된 VLM 의 의미적 이해를 소프트 사전 지식에 활용하고 말단 일관성 제약으로 생성적 정제 과정을 안정화시킴으로써, PVRF 는 왜곡 최소화와 지각적 사실주의 사이의 우수한 균형을 달성합니다. 저자들은 재훈련 없이 혼합되고 보이지 않는 열화를 처리할 수 있는 이 방법의 능력이 복잡하고 예측 불가능한 날씨 조건이 존재하는 실제 세계 응용에 특히 적합하다고 강조합니다.