ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

技術概要：ML-CLIPSim：機械指向型画像品質のための多層 CLIP 類似性

問題定義

従来の画像品質評価（IQA）は、信号忠実度（例：PSNR）または人間の視覚知覚との整合性（例：LPIPS、DISTS）に焦点を当てています。しかし、現代のビジョンパイプラインでは、画像は人間の観測者ではなく、下流の機械モデル（分類器、検出器、セグメンテーション器、ビジョン - ランゲージモデル）によって消費されるケースが増えています。重大な不一致が存在します：忠実度スコアが類似した歪みであっても、下流の予測には著しく異なる結果をもたらす一方、視覚的に明らかなアーティファクトであっても、タスクに関連する証拠が保持されていれば機械推論には影響を与えない場合があります。既存のタスク駆動型圧縮アプローチは、特定のタスク注釈を必要とするか、特定のモデルアーキテクチャに依存する傾向があり、汎用性が制限されています。展開時の監督を必要とせず、安定した機械推論に必要な情報の保持を反映する、タスク非依存かつ機械を考慮した品質メトリックの必要性があります。

手法

本論文は、潜在機械有用性の代理指標として「予測整合性（Predictive Consistency）」を中心としたフレームワークを提案します。

1. 機械知覚のための予測整合性データセット（PCMP）：
機械指向型メトリックを学習するために、著者らは人間の意見ではなくモデルの行動から導出された監督信号を持つデータセットを構築します。

• 潜在有用性の定式化： 機械指向型品質とは、歪んだ画像が下流モデル群全体にわたって予測関連情報をどの程度保持するかとして定義されます。絶対的な有用性は観測不可能であり、異なるタスク間で較正することが困難であるため、著者らはペアワイズ比較を通じてこれを近似します。
• PSNR 一致ペアサンプリング： 低レベルの歪み強度からタスク関連効果を分離するために、データセットは参照画像に対してほぼ同一の PSNR 値を持つ歪んだ画像のペアで構成されます。
• 多モデル投票： 各ペアに対して、分類、検出、セグメンテーションを網羅する事前学習済みモデル群（例：ResNet50、ViT、YOLO、Mask R-CNN）が、どちらの歪みが予測の不一致を小さくするかに基づいて投票を行います。
• ソフトラベル： 監督信号は、一方の歪みを他方よりも好むモデルの割合を表す連続的な「投票比率（$y \in [0,1]$）」です。これにより、単一のモデルからのバイアスを低減し、潜在有用性の頑健な推定値を提供します。

2. ML-CLIPSim（多層 CLIP 類似性）：
提案されるメトリックは、凍結された CLIP 視覚エンコーダに基づいた微分可能なフルリファレンス品質測定器です。

• 多層特徴集約： 単にグローバルな CLIP 埋め込みに依存する手法とは異なり、ML-CLIPSim は局所的な証拠の劣化と高レベルのセマンティック整合性の両方を捉えます。これは、凍結された CLIP エンコーダの複数のトランスフォーマー層から中間パッチトークン表現を抽出します。
• 双枝類似性：
  • トークン枝： 選択された層全体にわたって、参照画像と歪んだ画像のパッチトークン間の類似性を計算します。これらの層は（初期、中期、後期）にグループ化され、学習可能な重みを用いて集約されます。
  • グローバル枝： グローバルな CLIP 画像埋め込みのコサイン類似性を計算します。
• 学習可能な融合： 軽量なゲーティング機構（シグモイド活性化スカラー）が、トークンレベルとグローバルレベルの類似性を動的に組み合わせ、最終スコアを生成します。
• 学習： モデルは、PCMP からのペアワイズ選好ラベルを用いて、予測スコア差とソフト投票比率の差を最小化するように、二値交差エントロピー（BCEWithLogits）を用いて学習されます。

3. 学習済み画像圧縮への応用：
ML-CLIPSim は、学習済み画像圧縮のレート歪み目的関数における微分可能な歪み項として利用されます（$L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$）。これにより、コーデックは下流タスクの予測に有用な視覚情報を保持しつつ、展開時に特定のタスクモデルに依存しないように促されます。

主な貢献

• 定式化： 機械指向型画像品質を、下流モデル群全体にわたる予測整合性ペアワイズ監督を通じて近似された潜在機械有用性として定義します。
• データセット（PCMP）： 多モデル投票によって生成されたソフト選好ラベルを持つ PSNR 一致歪みペアのデータセットを導入し、低レベルの歪み強度バイアスを低減するスケーラブルな監督を提供します。
• メトリック（ML-CLIPSim）： 凍結された CLIP エンコーダからの中間パッチトークン類似性とグローバル埋め込みを集約する微分可能なメトリックを提案し、局所的かつグローバルな機械関連特徴を捉えます。
• 性能： ML-CLIPSim が、従来の忠実度および知覚メトリックよりも機械指向型選好とよく整合し、外部ベンチマークに汎化し、学習済み画像圧縮におけるレート - タスクのトレードオフを改善することを示します。

実験結果

• PCMP ベンチマーク： 提案されたデータセットにおいて、ML-CLIPSim は最先端の性能（SRCC: 0.7937、PLCC: 0.7364）を達成し、PSNR、MS-SSIM、LPIPS、DISTS、およびグローバル CLIP 類似性（CLIPScore）を上回ります。
• 外部汎化（MPD）： 機械選好データベース（MPD）で評価された際、ML-CLIPSim は、さまざまな歪み強度およびタスクカテゴリ（分類、検出、VQA など）において既存のメトリックを上回ります。
• 人間-IQA 相関： 機械選好に基づいて学習されているにもかかわらず、ML-CLIPSim は標準ベンチマーク（TID2013、LIVE）における人間の意見スコアとの競争力のある相関を維持しており、機械と人間の知覚特性の間に部分的な整合性があることを示唆しています。
• 学習済み画像圧縮： MLIC++ コーデックの歪み項として使用された場合、ML-CLIPSim はレート - タスクのトレードオフを著しく改善します。MSE、MS-SSIM、LPIPS、およびタスク非依存の UG-ICM などのベースラインと比較して、ImageNet 分類、VOC/COCO 検出、セグメンテーション、およびビジョン - ランゲージモデル（VLM）タスク全体で最良の BD-Rate 削減を達成します。例えば、ImageNet 分類では -76.1%、VOC 検出では -80.7% の BD-Rate 改善をもたらします。

意義と主張

本論文は、ML-CLIPSim が画像品質評価のためのタスク非依存かつ機械を考慮したソリューションを提供すると主張しています。単一のタスクや人間の意見ではなく、多様な下流モデルの集合的な行動から学習することで、これは「潜在機械有用性」のスケーラブルな代理指標を提供します。著者らは、このアプローチにより、展開時にタスク固有の真の値やモデル適応を必要とすることなく、画像圧縮および品質評価パイプラインを機械消費者により適切にサービス提供するように最適化できることを強調しています。この研究は、機械指向型 IQA および有用性駆動型圧縮に関するより広範な研究を促進することを目的としています。