ELIQ: A Label-Free Framework for Quality Assessment of Evolving AI-Generated Images

다음은 "ELIQ: 진화하는 AI 생성 이미지 품질 평가를 위한 라벨 없는 프레임워크" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

텍스트-이미지 (T2I) 생성 모델의 급속한 진화는 AI 생성 콘텐츠 (AIGC) 의 품질 상한선이 지속적으로 이동하는 '지각적 편이 (perceptual drift)'를 초래했습니다. 전통적인 이미지 품질 평가 (IQA) 방법은 인간이 부여한 주석에서 도출된 **평균 의견 점수 (MOS)**에 의존합니다. 그러나 이는 진화하는 AIGC 의 맥락에서 두 가지 치명적인 한계에 직면해 있습니다:

• 구식화 (Obsolescence): 이전 모델 (예: 2023 년 이전) 에 대해 수집된 MOS 라벨은 아티팩트가 변화하고 지각 기준이 이동함에 따라 새로운 세대 (예: 2025 년) 에 대해서는 신뢰할 수 없게 됩니다.
• 확장성 (Scalability): 유효한 감독을 유지하려면 수백만 건의 평가가 포함된 빈번하고 대규모의 재주석이 필요하며, 이는 비용이 많이 들고 지속 가능하지 않습니다.

기존의 비지도 또는 라벨 없는 방법들은 종종 저수준 통계나 자연 장면 통계 (NSS) 에 의존하여 AIGC 특유의 실패 모드(예: 프롬프트 - 이미지 불일치, 의미론적 환각) 와 시각적 충실도 및 프롬프트 준수 간의 복잡한 상호작용을 포착하지 못합니다.

2. 방법론: ELIQ 프레임워크

ELIQ(Evolutionary Label-free IQA) 는 자동으로 구성된 상대적 감독을 사용하여 품질 평가를 고정된 MOS 척도에서 분리하는 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다:

A. 라벨 없는 감독 구성

인간 평가 대신 ELIQ 는 양성 및 측면별 음성 쌍을 생성하여 자체 학습 데이터를 생성합니다:

1. 프롬프트 선정: 7 가지 의미론적 카테고리 (예: 도시, 자연, 인물) 에 걸쳐 400 개의 다양한 프롬프트를 선별합니다.
2. 양성 샘플 생성: 세 가지 최첨단 T2I 모델 (Qwen-Image, FLUX.1-dev, Stable Diffusion 3.5) 을 사용하여 고품질 이미지 ($I^+$) 를 생성합니다.
3. 음성 샘플 생성: 다양한 음성 샘플을 합성하여 세 가지 차원에 걸쳐 기존 왜곡과 AIGC 특유의 실패를 모두 포괄합니다:
   • 기술적 품질 ($I^-_{tec}$): JPEG 압축, 가우시안 노이즈, 또는 조기 확산 디코딩을 통해 시뮬레이션합니다.
   • 미적 품질 ($I^-_{aes}$): 제어된 이미지 - 이미지 편집 (구도/색상 저하) 또는 저품질 T2I 모델을 통해 생성합니다.
   • 정렬 품질 ($p^-_{ali}$): 이미지 - 프롬프트 쌍을 셔플하거나 프롬프트를 수정하여 의미론적 불일치를 유발하도록 생성합니다.

B. 모델 학습 파이프라인

ELIQ 는 사전 훈련된 멀티모달 대규모 언어 모델 (MLLM) 을 두 단계 프로세스를 통해 품질 인식 비평가로 적응시킵니다:

1. 품질 인식 지시 미세 조정 (Quality-Aware Instruction Tuning):

   • MLLM 을 측면 인식 백본으로 미세 조정합니다.
   • 구체적인 지시 (예: "기술적 품질 평가") 를 받고 구성된 양성/음성 쌍을 기반으로 이산 라벨 ("높음" 또는 "낮음") 을 출력합니다.
   • 이 단계는 인간 점수 없이 기술적, 미적, 정렬 측면에 대해 추론할 수 있는 고정된 백본 ($MLLM_{\theta^*}$) 을 생성합니다.

2. 경량 스코어링 모듈 (QQT):

   • 게이트된 시각 - 정렬 표현: 시스템은 기술적 ($z_{tec}$) 및 미적 ($z_{aes}$) 품질에 대한 임베딩을 추출합니다. 게이트 메커니즘(각 분기의 기여도를 조절하는 학습 가능한 게이트) 을 사용하여 이를 융합하여 통합된 시각 임베딩 ($z_{vis}$) 을 생성합니다.
   • 품질 쿼리 트랜스포머 (QQT): 경량 트랜스포머 인코더가 연결된 시각 및 정렬 임베딩 ($z_{va}$) 과 두 개의 학습 가능한 쿼리 토큰 ($q_{vis}, q_{ali}$) 을 입력받습니다.
   • 학습 목표: 모델은 **쌍별 순위 손실 (pairwise ranking losses, 마진 기반)**을 사용하여 양성 샘플이 해당 음성 샘플보다 높은 점수를 받도록 학습됩니다. 훈련 중 절대 MOS 값으로의 회귀는 수행되지 않습니다.

3. 주요 기여

• 라벨 없는 프레임워크: ELIQ 는 절대 MOS 감독을 자동으로 구성된 측면별 상대 비교로 대체하는 최초의 프레임워크로, 진화하는 모델에 대한 확장 가능한 평가를 가능하게 합니다.
• 이중 차원 모델링: 이는 시각적 품질(기술적 + 미적) 과 프롬프트 - 이미지 정렬을 공동으로 모델링하여 기존 IQA 가 놓치는 AIGC 의 고유한 실패 모드를 해결합니다.
• 일반화: 이 프레임워크는 아키텍처 변경 없이 AIGC 에서 사용자 생성 콘텐츠 (UGC) 로 원활하게 일반화되어 다양한 데이터 분포 전반에 걸친 견고성을 입증합니다.
• 효율성: 지시 미세 조정과 경량 스코어링 헤드를 사용하여 대규모 인간 주석 데이터셋의 필요성을 피하면서도 기존 라벨 없는 방법들을 능가합니다.

4. 실험 결과

저자들은 ELIQ 를 세 가지 AIGC 벤치마크 (AGIQA-3K, AIGCIQA2023, AIGIQA-20K) 와 두 가지 UGC 벤치마크 (KonIQ-10k, SPAQ) 에서 평가했습니다.

• 시각적 품질 성능:
  • 라벨 없는 설정: ELIQ 는 기존 모든 라벨 없는 베이스라인 (예: NIQE, CLIP-IQA, QualiCLIP) 을 크게 능가했습니다. 예를 들어, AGIQA-3K 에서 0.801의 SRCC 를 달성하여 다음으로 가장 좋은 라벨 없는 방법 (DUBMA, 0.684) 보다 훨씬 높은 성능을 보였습니다.
  • 약한 감독 설정: MOS 데이터의 20-30% 만으로 미세 조정했을 때, ELIQ 는 최첨단 성능을 달성하여 완전 감독 베이스라인 (예: AGIQA-3K 에서 SRCC 0.876 vs MA-AGIQA 의 0.893) 과 일치하거나 초과했습니다.
• 정렬 품질 성능:
  • 라벨 없는 설정에서 ELIQ 는 AGIQA-3K 에서 0.717의 SRCC 를 달성하여 다른 라벨 없는 정렬 지표 (예: CLIP-IQA+ 의 0.501) 를 크게 능가했습니다.
• 어블레이션 연구:
  • 기존 및 AI 특유의 왜곡을 결합하는 것이 최상의 결과를 산출함을 확인했습니다.
  • 세 가지 측면 (기술적, 미적, 정렬) 을 모두 모델링하는 것이 필요함을 입증했으며, 한 가지 측면만 사용하면 다른 차원에서 성능이 저하됩니다.

5. 의의

ELIQ 는 생성형 AI 생태계의 중요한 병목 현상인 모델이 진화함에 따라 품질을 평가할 수 없는 문제를 해결합니다. 정적, 인간 기반 감독에서 동적, 모델 주도 상대 감독으로 전환함으로써 ELIQ 는 품질 평가를 위한 지속 가능한 경로를 제공합니다.

• 확장성: 새로운 모델이 출시됨에 따라 지속적인 고비용 인간 재주석이 필요하지 않습니다.
• 적응성: 이 프레임워크는 새로운 모델로 양성/음성 쌍을 재생성하여 주기적으로 갱신할 수 있어 평가 지표의 관련성을 유지합니다.
• 실용성: 개발자와 연구자에게 새로운 생성 모델을 벤치마킹하고 실제 응용 프로그램의 품질 편이를 모니터링할 수 있는 신뢰할 수 있고 저비용의 대안을 제공합니다.