기술 요약: MST-CLIPIQA

문제 정의

현재의 시각-언어 모델(VLM) 기반 AI 생성 이미지(AIGI) 품질 평가(AGIQA) 접근 방식은 근본적인 의미론적 왜곡 차원의 충돌(semantic-distortion dimensional conflict) 문제에 직면해 있다. CLIP과 같은 모델들은 고차원적인 의미론적 구별에 최적화되어 있어, 그 표현 기하학(representational geometry)이 구성적 이해와 저수준의 지각적 민감도를 서로 엉키게 만든다. 결과적으로, 이러한 단일 구조의 표현 방식은 인간의 품질 판단에 결정적인 미세한 질감 저하, 국소적 아티팩트, 그리고 미묘한 생성적 이상 현상에 대해 체계적으로 "맹목적"이다.

또한, 표준적인 다중 스케일 특징 추출 방식은 종종 **교차 스케일 정보 중복(cross-scale information redundancy)**을 유발하며, 기존의 융합 전략(예: 결합/concatenation)을 통해 처리될 때 인접한 정밀도 간의 중첩된 표현이 품질 식별 신호를 희석시킨다. 아울러, 기존 방법론들은 생성 프롬프트를 명시적인 교차 모달 추론을 위한 특권적 의미 닻(privileged semantic anchors)으로 활용하는 메커니즘이 부족하여, 생성 의미론적 불일치(예: 해부학적 부적절성 또는 프롬프트-콘텐츠 불일치)를 해결하는 데 어려움을 겪는다.

방법론: MST-CLIPIQA

저자들은 명시적인 표현 분리(representational decoupling)를 통해 계층적 시각-언어 정렬을 달성하도록 설계된 프레임워크인 MST-CLIPIQA(Multi-Scale Two-Stream Vision-Language Alignment)를 제안한다. 이 아키텍처는 세 가지 단계로 구성된다:

1. 다중 스케일 이중 스트림 특징 추출 (MSTFE)

명시적인 이미지 피라미드를 구축하는 대신, 이 프레임워크는 동결된 비전 인코더(예: CLIP)의 고유한 패치 기반 토큰화 유연성을 활용한다. 이는 상보적인 패치 정밀도를 가진 두 개의 병렬 스트림을 사용한다:

• 조립질 스트림 ($P_c$): 더 큰 패치 크기를 사용하여 공간적 풀링을 강제함으로써, 전역적인 의미론적 일관성과 구성적 구조("무엇이 묘사되었는가")를 포착한다.
• 세밀질 스트림 ($P_f$): 더 작은 패치 크기를 사용하여 고주파 질감 시그니처, 에지 선명도, 국소적 아티팩트 패턴("얼마나 잘 렌더링되었는가")을 보존한다.
  두 스트림 모두 공유된 동결 비전 인코더 $\mathcal{E}_\theta$를 사용하지만, 서로 다른 토큰화 연산자 $T^{(s)}$를 통해 입력 이미지를 처리하여 별개의 특징 벡터 $f^{(c)}$와 $f^{(f)}$를 생성한다.

2. 게이트형 특징 융합 (GFF)

품질 식별력을 희생하지 않으면서 스케일 간의 중복을 해결하기 위해, 저자들은 정보 병목(Information Bottleneck)에서 영감을 얻은 게이트형 특징 융합 모듈을 도입한다.

• 학습 가능한 게이팅 네트워크는 결합된 이중 스트림 특징을 기반으로 차원별 선택 계수($g \in [0,1]^D$)를 계산한다.
• 최종 융합된 표현 $z$는 요소별 보간을 통해 계산된다: $z = g \odot \phi_c(f^{(c)}) + (1-g) \odot \phi_f(f^{(f)})$.
• 이 메커니즘은 스케일별 중복을 적응적으로 필터링하여, 모델이 존재하는 특정 품질 저하에 따라 조립질 의미론 또는 세밀한 질감 중 무엇을 우선시할지 동적으로 결정할 수 있게 한다.

3. 프롬프트 기반 교차 모달 정렬

프레임워크는 두 가지 변형을 제공한다:

• MST-CLIPIQA: 생성 프롬프트 없이 작동하며, 융합된 시각적 특징을 학습 가능한 품질 인식 텍스트 템플릿과 비교한다.
• MST-CLIPIQA:* 생성 프롬프트가 사용 가능한 경우 경량화된 교차 주의(Cross-Attention) 메커니즘을 포함한다. 이 모듈은 텍est-이미지 의미론적 대응 관계에 품질 예측을 접지(grounding)함으로써 프롬프트-콘텐츠 정렬을 명시적으로 검증하고, 해부학적 불가능성이나 프롬프트 불일치 문제를 해결한다.

모델은 예측 오차를 최소화하고 쌍별 순위 일관성(pairwise ranking consistency)을 강제하기 위해 복합 손실 함수($\mathcal{L}_{MSE} + \lambda\mathcal{L}_{rank}$)로 학습되며, 백본은 동결한 채 약 0.8M 개의 경량 융합 및 회귀 파라미터만을 업데이트한다.

주요 기여

1. 의미론적 왜곡 충돌의 공식화: 본 논문은 VLM 기반 IQA의 내재적 충돌을 식별하고 이를 해결하며, 전역적 의미 이해와 국소적 지각 민감도를 명시적으로 분리하는 다중 스케일 이중 스트림 아키텍처(MSTFE)를 제안한다.
2. 게이트형 특징 융합 (GFF): 정보 병목에서 영감을 받은 선택적 교차 스케일 게이팅 메커니즘을 도입하였다. 이는 최소한의 계산 오버헤드로 적응적이고 품질 인지적인 특징 증류를 달려하며, 기존의 융합 전략보다 우수한 성능을 보인다.
3. 프롬프트 기반 프레임워크: 생성 프롬프트를 의미론적 품질 참조로 격상시켜, AIGI 특유의 차원에 대한 명시적인 텍스트-이미지 대응 검증을 가능하게 하는 새로운 정렬 프레임워크를 제시한다.
4. 최첨단(SOTA) 성능: 5개의 다양한 데이터셋(AGIQA-1K/3K, AIGCIQA2023, AIGIQA-20K, PKU-AIGIQA-4K)에 걸친 벤치마크를 통해 확립되었으며, 확산 기반(diffusion-based) 및 GAN 생성 이미지 모두에서 강력한 일반화 성능을 입증하였다.

실험 결과

5개의 벤치마크에 걸친 광범위한 실험은 MST-CLIPIQA가 최첨단 성능을 달음을 보여준다:

• 품질 예측: MST-CLIPIQA*는 품질 예측에서 이전 최고 방법인 LIQE 대비 평균 1.11% SRCC 및 0.98% PLCC의 향상을 달성했다.
• 진위성 예측: 모델은 진위성 예측에서 LIQE보다 평균 1.12% SRCC 및 1.31% PLCC 우수한 성능을 보였으며, 이는 텍스트-이미지 정렬이 실재감 평가를 위한 보조 단서를 제공함을 나타낸다.
• 텍스트-이미지 대응: MST-CLIPIQA*는 대응 관계 예측에서 2.35% SRCC 및 1.99% PLCC의 상당한 이득을 보였으며, 이는 제로샷 텍스트-이미지 매칭 방법들을 크게 앞지르는 수치이다.
• 효율성: 이러한 이득에도 불구하고, 모델은 약 0.8M 개의 학습 가능한 파라미터만으로 높은 효율성을 유지한다.

어블레이션 연구(Ablation studies)를 통해 이중 인코더 설계(MSTFE)와 게이트형 특징 융합 모듈이 상보적인 정보를 제공하며, 단일 스케일 베이스라인 및 표준 융합 방식(선형 보간, 풀링, 교차 주의)보다 우수한 성능을 제공함을 확인하였다.

의의

본 논문은 MST-CLIPIQA가 단일 구조의 VLM 표현이 가진 한계에 대한 원칙적인 해결책임을 주장한다. 의미론적 차원과 왜곡 차원을 명시적으로 분리하고 적응형 게이팅을 통해 이를 조화시킴으로써, 이 프레임워크는 인간의 품질 지각이 가진 계층적 특성을 성공적으로 포착한다. 생성 프롬프트를 의미론적 닻으로 활용하는 능력은 생성 의도와 지각적 충실도 사이의 간극을 더욱 좁히며, 빠르게 진화하는 AI 생성 이미지 평가 분야를 위한 강력하고 효율적이며 일반화 가능한 접근 방식을 제공한다.