기술 요약: 혼합 주파수 전문가를 통한 올인원 이미지 복원을 위한 멀티모달 대규모 언어 모델 활용

문제 제기

올인원 이미지 복원은 다양한 미지의 열화 (degradation) 가 포함된 입력으로부터 깨끗한 이미지를 복구하는 것을 목표로 하며, 이를 위해 통합된 프레임워크를 사용합니다. 최근 방법들은 열화 특성을 식별함으로써 성능을 개선했지만, 종종 열화를 이산적인 범주로 취급합니다. 이러한 접근 방식은 복합 열화 (예: 한 열화가 지배적인 저조도, 안개, 비가 동시에 발생한 이미지) 에 내재된 연속적인 관계 구조를 모델링하지 못합니다. 기존 열화 민감 표현들은 종종 대비 목적 (contrastive objectives) 을 통해 학습되며, 열화 유형을 고립된 클러스터로 분리하여 혼합 열화의 연속적인 스펙트럼을 간과합니다. furthermore, 멀티모달 대규모 언어 모델 (MLLM) 을 활용하는 현재 접근법들은 종종 고수준 텍스트 표현에만 의존하여, 이러한 모델 내에 인코딩된 풍부한 내부 시각적 지식을 충분히 활용하지 못합니다. 이로 인해 세밀한 픽셀 수준의 복구를 위한 표현 격차가 발생합니다.

방법론

저자들은 사전 훈련된 멀티모달 대규모 언어 모델 (특히 Qwen2.5-VL) 을 저수준 이미지 복원 네트워크와 통합하는 MMFE-IR 프레임워크를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. MLLM 유도 융합 블록 (MGFB)

고수준 의미 지식과 저수준 복원 간의 격차를 해소하기 위해, 이 프레임워크는 MLLM 에서 파생된 특징을 Restormer 기반의 인코더 - 디코더 백본에 주입합니다. MGFB 는 크로스 어텐션 메커니즘을 사용하여 특정 MLLM 임베딩을 다른 네트워크 단계에 할당합니다:

• 인코더: MLLM 의 이미지 토큰에서 풀링된 컨텍스트화된 비전 유도 임베딩인 $E_{Image}$를 수신합니다. 이는 구조적 특징 추출을 강화합니다.
• 디코더: 모든 토큰에서 풀링된 비전 - 언어 조건부 임베딩인 $E_{Joint}$를 수신합니다. 이는 의미적 맥락을 통합하여 열화 인식 복원을 용이하게 합니다.
  이 융합은 시각적 특징 맵을 쿼리로, MLLM 임베딩을 키와 값으로 사용하는 잔차 연결을 통해 달성됩니다.

2. 혼합 주파수 전문가 (MoFE)

서로 다른 열화들이 고유한 주파수 특성을 나타낸다는 점을 인식하여, 저자들은 공간 도메인이 아닌 주파수 도메인에서 작동하는 MoFE 모듈을 도입했습니다.

• 주파수 분해: 원래 열화된 이미지는 이산 웨이블릿 변환 (DWT) 을 사용하여 서브밴드로 분해됩니다. 저주파 성분 ($LL$) 은 트랜스포머의 자기 어텐션 메커니즘에 의해 본질적으로 포착되므로 제외됩니다. 나머지 고주파 서브밴드 ($LH, HL, HH$) 가 처리됩니다.
• 전문가 라우팅: 경량 컨볼루션 전문가 세트 ($N=8$) 가 이러한 고주파 성분을 처리합니다. 라우터는 MLLM 의 고수준 텍스트 임베딩 ($E_{Answer}$) 에 의해 안내되어 이러한 전문가들을 위한 혼합 가중치를 예측합니다. 이를 통해 다양한 열화를 처리하기 위한 동적 구성이 가능해집니다.
• 융합: 집계된 주파수 특징은 멀티 Dconv 헤드 전치 어텐션 (MDTA) 을 사용하여 공간 특징으로 다시 융합되어, 공간 특징이 필요한 고주파 세부 사항을 적응적으로 쿼리할 수 있도록 합니다.

3. MLLM 유도 라우터 최적화

라우터가 MLLM 이 포착한 열화의 연속적인 의미 관계를 유지하도록 보장하기 위해, 특정 손실 함수가 도입됩니다.

• 관계 정렬 손실 ($\mathcal{L}_{MGL}$): 이 손실은 MLLM 의 고수준 임베딩의 쌍별 코사인 유사도를 계산하고, 이를 라우터 출력 가중치의 쌍별 유사도와 정렬합니다. 이는 라우터가 의미적으로 유사한 열화에는 유사한 전문가 조합을 할당하고, 서로 다른 열화에는 서로 다른 조합을 할당하도록 유도하여 임베딩 공간의 연속적인 구조를 유지합니다.
• 학습 전략: 이 모델은 점진적인 다중 스케일 학습 전략을 사용하여 입력 해상도를 점차 증가시킴으로써 라우터 최적화를 안정화하고 다양한 이미지 크기 전반에 걸친 견고성을 향상시킵니다.

주요 기여

1. 연속 열화 모델링: 이 프레임워크는 사전 훈련된 MLLM 의 연속 열화 임베딩을 활용하여 경직된 프롬프트 이산화의 한계를 극복하고, 복잡한 열화 구조를 더 정확하게 포착할 수 있게 합니다.
2. MGFB 통합: MLLM 비전 임베딩과 비전 - 언어 조건부 임베딩을 모두 복원 네트워크의 인코더와 디코더에 직접 통합하여 표현 격차를 해소하는 MLLM 유도 융합 블록이 도입되었습니다.
3. 주파수 도메인 전문가 라우팅: 관계 정렬 손실로 훈련된 MLLM 유도 라우터를 활용하는 혼합 주파수 전문가 (MoFE) 모듈이 제안되었습니다. 이를 통해 모델은 분산된 열화 관계를 학습하고 다양한 복합 열화에 대해 주파수 전문가를 적응적으로 결합할 수 있습니다.

실험 결과

이 방법은 복합 열화를 위한 까다로운 CDD11 데이터셋과 단일 열화를 위한 표준 올인원 설정을 포함한 여러 벤치마크에서 평가되었습니다.

• 복합 열화 (CDD11): 제안된 방법은 CDD11 데이터셋에서 이전 방법들을 최대 1.35 dB 상회하는 최첨단 성능을 달성했습니다. 이중 (예: 저조도 + 안개) 및 삼중 (예: 저조도 + 안개 + 비) 열화 시나리오에서 뛰어난 견고성을 보여주어 평균 PSNR 30.40 dB 및 SSIM 0.889를 달성했습니다.
• 올인원 벤치마크: 이 방법은 5 열화 설정에서 31.44 dB의 최고 평균 PSNR 을, 3 열화 설정에서는 32.94 dB의 PSNR 을 달성했습니다. 저주파 작업 (안개 제거) 과 고주파 작업 (선명도 복원) 모두에서 특히 강력한 성능을 보였습니다.
• 애블레이션 연구: 실험은 다음을 확인했습니다:
  • 인코더에는 $E_{Image}$를, 디코더에는 $E_{Joint}$를 사용하는 것이 최적의 성능을 제공합니다.
  • MoFE 모듈은 최소한의 파라미터 증가로 성능을 크게 향상시킵니다 (베이스라인 대비 +1.02 dB).
  • MLLM 유도 손실과 점진적 다중 스케일 학습은 성능 향상에 결정적입니다.
  • 주파수 도메인 MoE 가 공간 도메인 MoE 보다 우수합니다.
  • 이 프레임워크는 더 작은 MLLM (예: FastVLM-0.5B) 을 사용하더라도 견고성을 유지하지만, 가장 큰 MLLM (Qwen2.5-VL-3B) 이 품질과 지연 시간 사이의 가장 좋은 균형을 제공합니다.

중요성과 주장

이 논문은 MMFE-IR 이 특히 복잡하고 복합적인 열화에 대해 올인원 이미지 복원 분야에서 새로운 최첨단 상태를 확립했다고 주장합니다. 이 연구의 중요성은 단순한 텍스트 표현을 넘어 내부 시각적 특징과 주파수 도메인 전문가 라우팅을 포함하도록 MLLM 유도를 성공적으로 확장한 데 있습니다. MLLM 유도 라우터와 손실을 통해 열화의 연속적인 의미 관계를 유지함으로써, 이 프레임워크는 저수준 비전 작업에서 흔히 발견되는 표현 격차를 효과적으로 완화합니다. 저자들은 이 접근 방식이 열화를 이산적이고 고립된 범주로 취급하는 방법들보다 여러 열화의 공존과 상호작용을 더 정확하게 처리할 수 있다고 주장합니다.