Restoration Adaptation for Semantic Segmentation on Low Quality Images

1. 문제 정의 (Problem Definition)

• 현실적 한계: 실제 환경에서 촬영된 저화질 (LQ, Low-Quality) 이미지 (흐림, 노이즈, 왜곡 등) 에서는 기존 고화질 (SQ) 데이터로 학습된 의미 분할 (Semantic Segmentation) 모델의 성능이 급격히 저하됩니다.
• 기존 접근법의 결함:
  • 단순 재학습 (Fine-tuning): LQ 이미지로 모델을 미세 조정하면 구조는 어느 정도 복구되지만, 불명확한 특징으로 인해 여전히 부정확한 결과가 나옵니다.
  • 전처리 방식 (Restoration as Preprocessing): 이미지 복원 (Restoration) 을 분할 전에 수행하는 방식은 일반적입니다. 그러나 기존 복원 모델은 픽셀 수준의 충실도 (fidelity) 에만 집중하여 의미론적 (semantic) 구조를 왜곡하거나 잘못된 디테일을 생성 (Over-generation) 하는 경우가 많습니다. 이는 이후 분할 작업에서 오탐지 (Misclassification) 를 유발합니다.
  • 생성형 모델의 한계: Stable Diffusion 기반의 최신 복원 모델은 강력한 생성 능력을 가지지만, 텍스트 프롬프트에만 의존하여 공간적 정렬이 부족하고 의미론적으로 잘못된 결과를 초래할 수 있습니다.

2. 제안 방법론 (Methodology: RASS Framework)

저자들은 RASS (Restoration Adaptation for Semantic Segmentation) 라는 새로운 프레임워크를 제안했습니다. 이는 이미지 복원과 의미 분할을 분리된 단계가 아닌 통합된 프로세스로 다루며, LoRA (Low-Rank Adaptation) 기반의 모듈 병합을 핵심으로 합니다.

가. Semantic-Constrained Restoration (SCR) 모델 (1 단계)

• 목적: 의미론적 일관성을 갖춘 고품질 이미지를 복원하는 것.
• 구조: 사전 학습된 Stable Diffusion (SD) 모델을 백본으로 사용하며, VAE 인코더/디코더는 고정 (Frozen) 하고 Diffusion 네트워크에 SCR LoRA 레이어만 학습 가능합니다.
• 핵심 기술: Semantic-Constrained Loss (SCL)
  • 기존 복원 모델이 텍스트 프롬프트만 사용하는 것과 달리, 분할 마스크 (Semantic Masks) 를 복원 과정에 주입합니다.
  • SCR LoRA 의 크로스 어텐션 (Cross-attention) 맵과 실제 시맨틱 마스크를 정렬 (Align) 하는 손실 함수를 도입합니다.
  • 이를 통해 모델이 객체의 경계와 구조를 왜곡하지 않고, 분할 작업에 필요한 의미론적 정보를 정확하게 복구하도록 유도합니다.
  • 추가적으로 RAM (Recognize Anything Model) 등을 활용해 이미지 설명을 추출하여 텍스트 임베딩을 풍부하게 만듭니다.

나. Restoration Adaptation Segmentation (RAS) 모델 (2 단계)

• 목적: 복원에서 학습된 지식을 분할 작업으로 전이 (Transfer) 하여 LQ 이미지에 대한 강건성을 확보.
• 작동 원리:
  1. 1 단계에서 학습된 SCR LoRA 가중치를 백본 네트워크의 초기값으로 병합 (Merge) 합니다.
  2. 이 위에 분할 전용 LoRA (Seg LoRA) 를 추가하여 분할 헤드를 학습시킵니다.
  3. 특징 전이: VAE 디코더를 통해 복원된 이미지를 다시 인코딩하는 과정 없이, 잠재 공간 (Latent Space) 에서 정제된 특징 (Cleaned Latent Features) 을 직접 분할 헤드로 전달합니다.
• 장점: 중간 복원 이미지를 생성하고 다시 인코딩하는 과정이 생략되어 계산 비용이 절감되며, 복원 단계에서 발생한 오류가 분할 단계로 전파 (Error Propagation) 되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. RASS 프레임워크: 저자들은 저화질 이미지의 의미 분할을 위해 복원과 분할을 통합한 최초의 프레임워크를 제안했습니다.
2. SCR 모델 및 SCL: 복원 과정에 분할 사전 지식 (Segmentation Priors) 을 주입하여, 시각적 품질뿐만 아니라 의미론적으로 일관된 콘텐츠를 복구하는 Semantic-Constrained Restoration 모델을 개발했습니다.
3. 새로운 데이터셋 구축: 실제 저화질 이미지를 포함하고 고품질 주석이 달린 RealLQ 데이터셋을 구축하여 실증적 평가를 가능하게 했습니다.
4. 성능 입증: 합성 및 실제 저화질 벤치마크에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 데이터셋: ADE20K (합성 LQ), RealLQ (실제 LQ), DIV2K, RealSR 등.
• 분할 성능 (mIoU):
  • ADE20K (FT 설정): RASS 는 47.42 mIoU를 기록하여, 기존 SOTA 모델인 Mask2Former (44.19 mIoU) 보다 3.23 포인트 높은 성능을 보였습니다.
  • RealLQ: 실제 저화질 데이터에서도 RASS 가 가장 우수한 성능을 발휘했습니다.
  • 효율성: RASS 는 전체 파라미터는 크지만 (백본 포함), 학습 가능한 파라미터는 27.9M으로 Mask2Former (215.5M) 보다 훨씬 적습니다. 추론 시 VAE 디코더를 거치지 않아 효율적입니다.
• 복원 성능:
  • SCR 모델은 단일 스텝 (One-step) 추론에도 불구하고, StableSR, SeeSR 등 다단계 모델들과 경쟁하거나 더 나은 무참조 (No-reference) 지수 (MUSIQ, MANIQA 등) 를 기록했습니다.
  • 특히 의미론적 일관성 (예: 나뭇잎 복구, 지붕 타일 텍스처) 에서 다른 모델보다 우수한 결과를 보였습니다.
• Ablation Study:
  • 복원 적응 (Restoration Adaptation) 전략을 적용하지 않은 경우보다 RASS 가 성능이 월등히 뛰어났습니다.
  • VAE 디코더 특징을 사용하지 않고 잠재 공간 특징만 사용하는 것이 효율성과 성능의 최적 균형을 이룸을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존에 "복원 후 분할"이라는 분리된 파이프라인을, 복원 지식을 분할 모델 내부에 통합하는 방식으로 전환하여 오류 전파를 차단하고 성능을 극대화했습니다.
• 실용성: 실제 환경의 복잡하고 예측 불가능한 열화 (Degradation) 조건에서도 강건한 분할이 가능함을 입증했습니다.
• 미래 방향: 대형 모델의 추론 비용 문제와 작은 객체 (Small Object) 분할의 어려움은 향후 연구 과제로 남겼으며, 경량화 아키텍처와 고해상도 정밀화 전략을 통해 해결할 계획입니다.

요약하자면, 이 논문은 LoRA 기반의 모듈 병합과 의미론적 제약이 가해진 복원 (SCR) 을 통해, 저화질 이미지에서도 고품질의 의미 분할을 달성하는 획기적인 접근법을 제시했습니다.