ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

기술 요약: ML-CLIPSim: 기계 지향 이미지 품질을 위한 다층 CLIP 유사도

문제 제기

전통적인 이미지 품질 평가 (IQA) 는 신호 충실도 (예: PSNR) 나 인간 시각 지각과의 정렬 (예: LPIPS, DISTS) 에 중점을 둡니다. 그러나 현대의 비전 파이프라인에서는 이미지들이 점점 더 인간 관찰자보다는 하류 기계 모델 (분류기, 탐지기, 분할기, 비전 - 언어 모델) 에 의해 소비되고 있습니다. 중요한 불일치가 존재합니다: 유사한 충실도 점수를 가진 왜곡은 하류 예측에 극적으로 다른 결과를 초래할 수 있는 반면, 시각적으로 눈에 띄는 아티팩트는 작업 관련 증거가 보존된다면 기계 추론에는 영향을 미치지 않을 수 있습니다. 기존 작업 기반 압축 접근법은 종종 특정 작업 주석이 필요하거나 특정 모델 아키텍처에 종속되어 있어 일반화 가능성이 제한적입니다. 배포 시 감독 없이 안정적인 기계 추론에 필요한 정보 보존을 반영하는 작업 무관하고 기계 인식적인 품질 지표가 필요합니다.

방법론

이 논문은 잠재적 기계 유용성의 대리 지표로서 **예측 일관성 (Predictive Consistency)**을 중심으로 한 프레임워크를 제안합니다.

1. 기계 지각을 위한 예측 일관성 데이터셋 (PCMP):
기계 지향 지표를 훈련하기 위해 저자들은 인간 의견이 아닌 모델 행동에서 파생된 감독을 포함하는 데이터셋을 구축합니다.

• 잠재 유용성 공식화: 기계 지향 품질은 왜곡된 이미지가 하류 모델 군집 전체에 걸쳐 예측 관련 정보를 보존하는 정도로 정의됩니다. 절대적 유용성은 관찰할 수 없으며 다양한 작업 간에 보정하기 어렵기 때문에, 저자들은 쌍별 비교를 통해 이를 근사합니다.
• PSNR 일치 쌍 샘플링: 저차원 왜곡 크기에서 작업 관련 효과를 분리하기 위해, 데이터셋은 기준 이미지와 관련하여 거의 동일한 PSNR 값을 갖는 왜곡된 이미지 쌍으로 구성됩니다.
• 다중 모델 투표: 각 쌍에 대해 분류, 탐지, 분할을 아우르는 사전 훈련된 모델 풀 (ResNet50, ViT, YOLO, Mask R-CNN 등) 이 어떤 왜곡이 더 작은 예측 차이를 유발하는지에 따라 투표를 행사합니다.
• 소프트 레이블: 감독 신호는 한 왜곡을 다른 왜곡보다 선호하는 모델의 비율을 나타내는 연속적인 "투표 비율"($y \in [0,1]$) 입니다. 이는 단일 모델의 편향을 줄이고 잠재적 유용성에 대한 견고한 추정을 제공합니다.

2. ML-CLIPSim (다층 CLIP 유사도):
제안된 지표는 고정된 CLIP 시각 인코더를 기반으로 구축된 미분 가능한 전체 참조 품질 측정치입니다.

• 다층 특징 집계: 전역 CLIP 임베딩에만 의존하는 방법과 달리, ML-CLIPSim 은 국소적 증거 저하와 고수준 의미 일관성을 모두 포착합니다. 이는 고정된 CLIP 인코더의 여러 트랜스포머 레이어에서 중간 패치 - 토큰 표현을 추출합니다.
• 이중 분기 유사도:
  • 토큰 분기: 선택된 레이어에 걸쳐 기준 이미지와 왜곡된 이미지의 패치 토큰 간 유사도를 계산합니다. 이러한 레이어는 (초기, 중간, 후기) 로 그룹화되고 학습 가능한 가중치를 사용하여 집계됩니다.
  • 전역 분기: 전역 CLIP 이미지 임베딩의 코사인 유사도를 계산합니다.
• 학습 가능한 융합: 경량 게이팅 메커니즘 (시그모이드 활성화 스칼라) 이 토큰 수준 및 전역 수준 유사도를 동적으로 결합하여 최종 점수를 생성합니다.
• 훈련: 모델은 PCMP 의 쌍별 선호 레이블을 사용하여 이진 교차 엔트로피 (BCEWithLogits) 로 훈련되며, 예측된 점수 차이와 소프트 투표 비율 간의 차이를 최소화합니다.

3. 학습된 이미지 압축에의 적용:
ML-CLIPSim 은 학습된 이미지 압축을 위한 속도 - 왜곡 목적 함수의 미분 가능한 왜곡 항으로 활용됩니다 ($L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$). 이는 코덱이 배포 시 특정 작업 모델에 독립적으로 유지되면서도 하류 작업 예측에 유용한 시각 정보를 보존하도록 장려합니다.

주요 기여

• 공식화: 하류 모델 군집 전체에 걸친 예측 일관성 쌍별 감독을 통해 근사된 잠재적 기계 유용성으로서 기계 지향 이미지 품질을 정의합니다.
• 데이터셋 (PCMP): 다중 모델 투표로 생성된 소프트 선호 레이블을 가진 PSNR 일치 왜곡 쌍 데이터셋을 도입하여 저차원 왜곡 크기 편향을 줄이는 확장 가능한 감독을 제공합니다.
• 지표 (ML-CLIPSim): 고정된 CLIP 인코더에서 중간 패치 - 토큰 유사도와 전역 임베딩을 집계하여 국소적 및 전역적 기계 관련 특징을 모두 포착하는 미분 가능한 지표를 제안합니다.
• 성능: ML-CLIPSim 이 기존 충실도 및 지각 지표보다 기계 지향 선호도와 더 잘 정렬되며, 외부 벤치마크로 일반화되고 학습된 이미지 압축에서 속도 - 작업 트레이드오프를 개선함을 입증합니다.

실험 결과

• PCMP 벤치마크: 제안된 데이터셋에서 ML-CLIPSim 은 PSNR, MS-SSIM, LPIPS, DISTS, 그리고 전역 CLIP 유사도 (CLIPScore) 를 능가하는 최첨단 성능 (SRCC: 0.7937, PLCC: 0.7364) 을 달성합니다.
• 외부 일반화 (MPD): 기계 선호도 데이터베이스 (MPD) 에서 평가될 때, ML-CLIPSim 은 다양한 왜곡 심각도 및 작업 카테고리 (분류, 탐지, VQA 등) 에서 기존 지표들을 능가합니다.
• 인간 - IQA 상관관계: 기계 선호도로 훈련되었음에도 불구하고, ML-CLIPSim 은 표준 벤치마크 (TID2013, LIVE) 에서 인간 의견 점수와 경쟁력 있는 상관관계를 유지하며, 이는 기계와 인간 지각 특성 간의 부분적 일관성을 시사합니다.
• 학습된 이미지 압축: MLIC++ 코덱을 위한 왜곡 항으로 사용될 때, ML-CLIPSim 은 속도 - 작업 트레이드오프를 크게 개선합니다. ImageNet 분류, VOC/COCO 탐지, 분할, 그리고 비전 - 언어 모델 (VLM) 작업에서 MSE, MS-SSIM, LPIPS, 작업 무관 UG-ICM 과 같은 베이스라인에 비해 가장 우수한 BD-Rate 감소를 달성합니다. 예를 들어, ImageNet 분류에서 -76.1% 의 BD-Rate 개선과 VOC 탐지에서 -80.7% 의 개선을 보입니다.

중요성 및 주장

이 논문은 ML-CLIPSim 이 이미지 품질 평가를 위한 작업 무관하지만 기계 인식적인 솔루션을 제공한다고 주장합니다. 단일 작업이나 인간 의견이 아닌 다양한 하류 모델의 집단적 행동에서 학습함으로써, 이는 "잠재적 기계 유용성"에 대한 확장 가능한 대리 지표를 제공합니다. 저자들은 이 접근법이 배포 시 작업별 정답이나 모델 적응 없이 기계 소비자를 더 잘 서비스하기 위해 이미지 압축 및 품질 평가 파이프라인의 최적화를 가능하게 한다고 강조합니다. 이 연구는 기계 지향 IQA 및 유용성 기반 압축에 대한 보다 광범위한 연구를 촉진하는 것을 목표로 합니다.