Causal Disentanglement for Full-Reference Image Quality Assessment

1. 문제 정의 (Problem Definition)

기존의 딥러닝 기반 풀-레퍼런스 이미지 품질 평가 (FR-IQA) 모델들은 주로 참조 이미지 (Reference) 와 왜곡 이미지 (Distorted) 간의 딥 특징 (Deep Features) 을 쌍별 비교 (Pairwise Comparison) 하여 품질 점수를 예측하는 방식을 사용합니다. 그러나 이러한 접근법에는 다음과 같은 한계가 존재합니다.

• 데이터 의존성: 학습 기반 (Training-dependent) 모델은 방대한 양의 인간 주관적 평가 데이터 (MOS, Mean Opinion Scores) 가 필요하며, 이는 획득 비용이 매우 높고 특정 도메인 (의료, 수중, 적외선 등) 에서는 데이터가 부족합니다.
• 도메인 적응성 부족: 학습 불필요 (Training-free) 모델들은 ImageNet 등으로 사전 학습된 모델을 사용하지만, 자연 이미지와 다른 특수 도메인 (예: X-ray, 수중 이미지) 에 적용 시 성능이 급격히 저하됩니다.
• 시각적 가림 효과 (Visual Masking) 반영 부재: 기존 방법들은 왜곡 자체의 강도만 측정하는 경향이 있어, 인간 시각 시스템 (HVS) 이 이미지 콘텐츠에 따라 왜곡의 가시성이 달라지는 현상 (예: 매끄러운 하늘의 노이즈는 잘 보이지만, 복잡한 잔디밭의 노이즈는 잘 안 보임) 을 충분히 반영하지 못합니다.

2. 제안된 방법론 (Methodology)

저자들은 FR-IQA 문제를 인과적 분리 (Causal Disentanglement) 및 분리된 표현 학습의 관점에서 재정의했습니다. 핵심은 왜곡을 단순히 특징 차이로 보는 것이 아니라, 이미지 콘텐츠가 왜곡의 가시성에 미치는 인과적 영향을 모델링하는 것입니다.

A. 구조적 인과 모델 (Structural Causal Model, SCM)

• 가정: 왜곡된 이미지는 '콘텐츠 (C)'와 '왜곡 (D)'이라는 두 가지 요인으로 구성됩니다.
• 인과 관계: 기존 모델은 $C \rightarrow I_d \leftarrow D$로 보지만, 저자들은 **시각적 가림 효과 (Visual Masking Effect)**를 반영하여 콘텐츠 ($C$) 가 왜곡의 가시성 ($D$) 에 인과적으로 영향을 미친다고 가정합니다 ($C \rightarrow D$). 즉, 같은 왜곡이라도 콘텐츠에 따라 지각되는 품질이 달라집니다.

B. 인과적 분리 및 학습 프레임워크

1. 왜곡 특징 분리 (Decoupling):
   • 참조 이미지 ($I_r$) 와 왜곡 이미지 ($I_d$) 간의 콘텐츠 불변성을 활용합니다.
   • 인과적 개입 (Intervention, $do$-operator) 을 통해 잠재 공간 (Latent Space) 에서 콘텐츠 정보를 참조 이미지로부터 가져와 왜곡 특징과 분리합니다. 이를 통해 콘텐츠와 무관한 순수 왜곡 특징을 추출합니다.
2. 인과적 표현 학습 (Causal Representation Learning):
   • 분리된 왜곡 특징 ($D$) 에 참조 이미지의 콘텐츠 정보 ($C$) 를 인과적으로 결합합니다.
   • 마스크 모듈: 콘텐츠가 왜곡의 가시성을 어떻게 조절 (Masking) 하는지 모델링하는 계층을 설계합니다. 이는 콘텐츠가 왜곡 특징에 가중치를 부여하거나 억제하는 방식으로 구현됩니다.
3. 품질 점수 예측 (Score Prediction):
   • 지도 학습 (Supervised): 학습 가능한 데이터가 있을 경우, 분리된 콘텐츠-영향 왜곡 특징을 통해 MOS 를 회귀 (Regression) 합니다.
   • 무지도/제로샷 학습 (Zero-shot/Label-free): 라벨이 없는 경우, 학습된 왜곡 특징이 저차원 매니폴드 (Manifold) 상에 분포한다는 가정을 기반으로 UMAP를 사용하여 1 차원 임베딩을 생성합니다. 이 임베딩 좌표가 상대적인 품질 순위 (Ranking) 를 결정합니다.

C. 학습 전략

• Pre-training: 합성 왜곡 데이터셋 (Waterloo DB 기반) 을 사용하여 모델의 기본 분리 능력을 학습합니다.
• Fine-tuning: 특정 도메인 데이터셋에 맞춰 미세 조정하거나, 라벨 없이 UMAP 을 통해 직접 예측합니다.
• 손실 함수: 픽셀 단위 손실 (MSE), 지각적 손실 (VGG Loss), 적대적 손실 (GAN Loss) 을 결합하여 왜곡의 재구성을 통해 특징 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 FR-IQA 패러다임: 전통적인 쌍별 특징 비교를 넘어, **인과적 분리 (Causal Disentanglement)**를 기반으로 한 새로운 프레임워크를 제안했습니다.
2. 시각적 가림 효과의 인과적 모델링: 콘텐츠와 왜곡 간의 인과적 경로 ($C \rightarrow D$) 를 명시적으로 모델링하여, 인간 시각 시스템의 가림 효과를 효과적으로 시뮬레이션했습니다.
3. 라벨 없는 적응성 (Label-free Adaptability): MOS 라벨이 없는 특수 도메인 (수중, 의료, 적외선 등) 에서도 사전 학습만으로도 우수한 성능을 내며, 기존 학습 불필요 모델들의 도메인 이동 (Domain Shift) 문제를 해결했습니다.
4. 범용성 검증: 완전 지도 학습, 소량 데이터 (Few-shot), 그리고 완전 무지도 (Zero-shot) 설정 모두에서 경쟁력 있는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 표준 벤치마크 (LIVE, TID2013, CSIQ 등): 기존 SOTA 모델들 (DISTS, TOPIQ-FR, DeepCausal 등) 과 비교하여 PLCC 및 SRCC 지표에서 매우 경쟁력 있는 성능을 보였습니다. 특히 지도 학습 및 무지도 설정 모두에서 높은 정확도를 달성했습니다.
• 비표준 도메인 (Cross-domain): 수중, 적외선, 중성자, 의료, 스크린 콘텐츠 등 특수 도메인 이미지에서 기존 학습 불필요 모델들이 성능이 급격히 떨어지는 반면, 제안된 방법은 SOTA 성능을 기록했습니다. 이는 도메인 특화적 사전 학습이 효과적임을 의미합니다.
• Few-shot 실험: 소량의 라벨 데이터 (2%~15%) 만으로도 높은 품질 점수 예측 능력을 보여주었으며, 특징 추출기의 파라미터를 고정 (Frozen) 한 상태에서도 우수한 일반화 능력을 입증했습니다.
• Ablation Study: 인과적 계층 (Causal Layer) 과 UMAP 투영이 성능 향상에 결정적인 역할을 함을 확인했습니다. 특히 $C \rightarrow D$ 방향의 인과 모델링이 역방향이나 무관한 모델보다 성능이 우수했습니다.

5. 의의 및 중요성 (Significance)

이 연구는 이미지 품질 평가 분야에서 다음과 같은 중요한 의의를 가집니다:

• 데이터 부족 문제 해결: 고비용의 인간 주관적 평가 (MOS) 데이터에 의존하지 않고도, 특정 도메인에 맞는 고품질 IQA 모델을 구축할 수 있는 길을 열었습니다.
• 인간 시각 시스템 모방: 단순한 통계적 유사성이 아닌, 인간이 왜곡을 지각하는 방식 (콘텐츠에 따른 가림 효과) 을 인과적 관점에서 모델링하여 지각적 정확도를 높였습니다.
• 실용적 적용 가능성: 의료 영상, 수중 탐사, 위성 영상 등 라벨 데이터 확보가 어려운 특수 분야에서 즉시 적용 가능한 강력한 솔루션을 제공합니다.

결론적으로, 이 논문은 **인과 추론 (Causal Inference)**과 **분리된 표현 학습 (Decoupled Representation Learning)**을 결합하여, 데이터 효율성과 도메인 적응성을 동시에 만족시키는 차세대 FR-IQA 패러다임을 제시했습니다.