Revisiting Vision Language Foundations for No-Reference Image Quality Assessment

논문 개요

이 논문은 무참조 이미지 품질 평가 (NR-IQA, No-Reference Image Quality Assessment) 작업에 있어 최근 주목받는 대규모 시각 - 언어 (Vision-Language, VL) 사전 학습 모델들의 기반 (Backbone) 모델 선택과 **MLP 헤드의 활성화 함수 (Activation Function)**가 성능에 미치는 영향을 체계적으로 분석한 연구입니다. 저자들은 기존 연구들이 주로 CLIP 모델 하나에 의존하거나 확산 모델 (Diffusion Models) 의 높은 계산 비용을 감수하는 한계를 극복하기 위해, 다양한 VL 기반 모델과 새로운 활성화 메커니즘을 제안하여 새로운 State-of-the-Art (SOTA) 성능을 달성했습니다.

1. 연구 배경 및 문제 정의

• 문제: NR-IQA 는 원본 참조 이미지 없이 이미지의 지각적 품질을 추정하는 작업으로, 소비자 사진, 스트리밍, AI 생성 이미지 (AIGC) 평가에 필수적입니다.
• 한계:
  • 기존 딥러닝 기반 방법들은 손으로 설계된 특징을 대체했으나, 보지 못한 왜곡이나 도메인 이동 (Domain Shift) 에 취약했습니다.
  • 최근 비전 트랜스포머 (ViT) 와 VL 인코더 (예: CLIP) 가 도입되었으나, 어떤 기반 모델이 NR-IQA 에 가장 적합한지에 대한 체계적인 비교 연구는 부재했습니다.
  • 기존 연구들은 대부분 CLIP 을 단일 기반으로 사용하거나, 확산 모델 (Diffusion Models) 을 활용하여 높은 추론 비용을 발생시켰습니다.
  • 예측 헤드의 활성화 함수 (ReLU, GELU 등) 선택이 성능에 미치는 영향에 대한 심층 분석이 부족했습니다.

2. 제안 방법론

가. 기반 모델 (Backbone) 의 체계적 비교

저자들은 6 가지 주요 사전 학습된 VL 및 비전 기반 모델을 동일한 조건 (LoRA 를 통한 경량 파인튜닝, 동일한 3 층 MLP 헤드) 에서 비교 평가했습니다.

• 비교 대상 모델: CLIP, SigLIP2, DINOv2, DINOv3, Perception, ResNet-152.
• 적용 기술: 모든 백본에 **LoRA (Low-Rank Adaptation)**를 적용하여 파라미터 효율성을 높이고, 3 층 MLP 어댑터를 통해 파인튜닝했습니다.

나. 활성화 함수의 중요성 발견 및 학습 가능한 선택 메커니즘

• Sigmoid 의 우위: 실험 결과, 예측 헤드의 첫 번째 활성화 함수로 Sigmoid를 사용하는 것이 일반적인 ReLU 나 GELU 보다 여러 벤치마크에서 더 높은 성능을 보였습니다. 특히 데이터가 적은 환경 (Low-data regime) 에서 일반화 능력이 크게 향상되었습니다.
  • 이유: Sigmoid 는 고강도 응답 (고차원 의미론적 특징) 을 억제하여, 이미지 품질 판단에 중요한 **중간 강도의 미묘한 왜곡 신호 (Mid-response cues)**에 모델이 집중하도록 돕습니다.
• 학습 가능한 게이트드 활성화 (Learnable Gated Activation):
  • Sigmoid 는 대규모 데이터셋에서는 기울기 소실 (Vanishing Gradient) 문제가 발생하여 성능이 저하되는 한계가 있었습니다.
  • 이를 해결하기 위해 **채널별 적응형 게이트 (Channel-wise Gating)**를 도입했습니다. 이 메커니즘은 각 채널마다 Sigmoid와 LeakyReLU 중 하나를 학습 가능한 가중치로 혼합하여 선택합니다.
  • 수식: $y = \sigma(g) \odot (\gamma \odot \sigma(\alpha \odot x + \beta)) + (1 - \sigma(g)) \odot \text{LReLU}_a(x)$
  • 이를 통해 소규모 데이터셋에서는 Sigmoid 의 이점을, 대규모 데이터셋에서는 LeakyReLU 의 안정성을 자동으로 취할 수 있게 되었습니다.

3. 주요 실험 결과

가. 기반 모델 성능 비교 (Table 1)

• SigLIP2-SO400M이 CLIP, DINOv2, DINOv3, ResNet 등 다른 모든 백본을 일관되게 능가했습니다.
• 이는 시각 - 언어 대비 학습 (Contrastive Image-Text Pre-training) 이 얻은 의미론적 풍부함이 NR-IQA 의 지각적 회귀 작업에 더 유리함을 시사합니다.
• CLIP과 Perception은 그다음으로 좋았으며, 순수 자기지도 학습 (Self-supervised) 인 DINO 계열이나 CNN 기반 ResNet 은 상대적으로 낮은 성능을 보였습니다.

나. 활성화 함수 및 게이트드 메커니즘의 효과 (Table 2, Table 6)

• Sigmoid 적용: 기존 LeakyReLU 기반보다 평균 SRCC (Spearman Rank Correlation Coefficient) 가 약 3% 포인트 향상되었습니다.
• 게이트드 활성화 (Gated Activation): SigLIP2 백본에 게이트드 헤드를 적용한 모델은 모든 데이터셋 (소규모 및 대규모) 에서 최상의 성능을 기록했습니다.
  • CLIVE: 0.909 (SRCC)
  • KADID10K: 0.970 (SRCC)
  • AGIQA3K: 0.928 (SRCC)
• 교차 도메인 평가 (Cross-dataset): 훈련 데이터와 다른 테스트 데이터셋에서 평가했을 때, 제안된 방법은 기존 SOTA 방법들 (LoDA, DP-IQA 등) 보다 우수한 일반화 성능을 보였습니다.

다. 확산 모델 (Diffusion Models) 대비 효율성

• 기존 확산 모델 기반 방법 (LGDM, DP-IQA) 은 높은 추론 비용이 소요되지만, 제안된 방법은 SigLIP2 + 80 만 파라미터의 경량 헤드만으로 구성됨에도 불구하고, CLIVE, KADID10K, AGIQA3K 에서 확산 모델 기반 방법들을 능가하거나 유사한 성능을 달성했습니다.

4. 주요 기여점

1. 첫 번째 체계적 비교: NR-IQA 를 위한 6 가지 주요 VL 기반 모델 (CLIP, SigLIP2, DINO 등) 의 첫 번째 통합 비교 연구를 수행하여 SigLIP2의 우월성을 입증했습니다.
2. 활성화 함수의 재발견: 예측 헤드의 활성화 함수 선택이 성능에 결정적임을 규명하고, Sigmoid가 NR-IQA 의 일반화 능력 향상에 핵심 역할을 함을 증명했습니다.
3. 학습 가능한 활성화 선택 메커니즘: 데이터 규모와 도메인에 따라 적응적으로 비선형성을 선택하는 **게이트드 활성화 (Gated Activation)**를 제안하여 소규모 및 대규모 데이터셋 모두에서 SOTA 성능을 달성했습니다.
4. 자원 효율적인 SOTA: 무거운 확산 모델 없이도 경량화된 아키텍처로 최상위 성능을 달성하여, 향후 NR-IQA 연구의 강력한 베이스라인을 제시했습니다.

5. 의의 및 결론

이 연구는 NR-IQA 가 단순히 저수준의 텍스처나 왜곡 패턴을 인식하는 문제가 아니라, 의미론적 내용과 지각적 품질 간의 복잡한 상호작용을 이해하는 작업임을 재조명했습니다. 특히, SigLIP2 와 같은 VL 기반 모델이 의미론적 맥락을 효과적으로 활용하며, 이를 Sigmoid 기반의 활성화 함수가 보완할 때 가장 높은 성능을 낸다는 점을 밝혔습니다.

제안된 게이트드 활성화 메커니즘은 모델이 데이터의 특성에 따라 최적의 비선형성을 스스로 선택하게 함으로써, 다양한 도메인과 데이터 규모에 강건한 NR-IQA 시스템을 구축하는 새로운 방향을 제시합니다. 이는 모바일 배포 등 자원 제약이 있는 환경에서도 고품질 이미지 품질 평가가 가능함을 의미합니다.