技術要約: MST-CLIPIQA

問題提起

現在のビジョン・ランゲージ・モデル（VLM）ベースのAI生成画像（AIGI）品質評価（AIGIQA）アプローチは、根本的なセマンティック・ディストーション（意味的歪み）・次元の衝突に直面している。CLIPのようなモデルは高次なセマンティック識別に対して最適化されているため、その表現幾何学において、構成的な理解と低次の知覚的感度が絡み合ってしまう。その結果、これらのモノリシックな表現は、人間の品質判断において極めて重要な、微細なテクスチャの劣化、局所的なアーティファクト、および微妙な生成上の異常に対して、系統的に「盲目」となる。

さらに、標準的なマルチスケール特徴抽出は、しばしばクロススケール情報の冗長性を導入してしまう。これは、従来の融合戦略（例：結合）を通じて処理される際、隣接する粒度間の重複する表現が品質判別信号を希釈してしまう現象である。加えて、既存の手法は、生成プロンプトを明示的なクロスモーダル推論のための特権的なセマンティック・アンカーとして活用するメカニズムを欠いているため、生成的セマンティックの不整合（例：解剖学的な不自然さやプロンプトとコンテンツの不一致）に対処することに苦慮している。

手法: MST-CLIPIQA

著者らは、明示的な表現デカップリングを通じて階層的なビジョン・ランゲージ・アライメントを実現するように設計されたフレームワーク、MST-CLIPIQA（Multi-Scale Two-Stream Vision-Language Alignment）を提案する。このアーキテクチャは、3つの連鎖的なステージで動作する。

1. マルチスケール・ツースリーム特徴抽出 (MSTFE)

明示的なイメージピラミッドを構築する代わりに、本フレームワークは凍結されたビジョンエンコーダ（例：CLIP）のネイティブなパッチベースのトークナイゼーションの柔軟性を活用する。本手法は、補完的なパッチ粒度を持つ2つの並列ストリームを採用する：

• 粗粒度ストリーム ($P_c$): より大きなパッチサイズを使用して空間的なプーリングを強制し、大局的なセマンティックの一貫性と構成的な構造（「何が描かれているか」）を捉える。
• 細粒度ストリーム ($P_f$): より小さなパッチサイズを使用して、高周波のテクスチャ特性、エッジの鋭さ、および局所的なアーティファクトのパターン（「どのようにレンダリングされているか」）を保持する。
  両方のストリームは共有された凍結ビジョンエンコーダ $\mathcal{E}_\theta$ を使用するが、異なるトークナイゼーション演算子 $T^{(s)}$ を通じて入力画像を処理し、異なる特徴ベクトル $f^{(c)}$ と $f^{(f)}$ を生成する。

2. ゲート付き特徴融合 (GFF)

判別力を損なうことなくスケール間の冗長性を解決するために、著者らは情報ボトルネックに着想を得たゲート付き特徴融合モジュールを導入している。

• 学習可能なゲーティングネットワークが、結合されたデュアルストリーム特徴に基づき、次元ごとの選択係数 ($g \in [0,1]^D$) を計算する。
• 最終的な融合表現 $z$ は、要素ごとの補間によって計算される：$z = g \odot \phi_c(f^{(c)}) + (1-g) \odot \phi_f(f^{(f)})$。
• このメカニズムは、スケール固有の冗長性を適応的にフィルタリングし、存在する特定の品質劣化に応じて、モデルが大局的なセマンティクスまたは微細なテクスチャを動的に優先できるようにする。

3. プロンプト・アンカー型クロスモーダル・アライメント

本フレームワークには2つのバリアントがある：

• MST-CLIPIQA: 生成プロンプトを使用せず、融合された視覚的特徴を学習可能な品質認識テキストテンプレートと比較して動作する。
• MST-CLIPIQA:* 生成プロンプトが利用可能な場合に、軽量なクロスアテンションメカニズムを組み込む。このモジュールは、品質予測をテキストと画像のセマンティックな対応関係に接地させることで、プロンプトとコンテンツのアライメントを明示的に検証し、解剖学的な不可能性やプロンプトの不一致といった問題に対処する。

モデルは、予測誤差を最小化し、ペアワイズのランキング一貫性を強制するために、複合損失 ($\mathcal{L}_{MSE} + \lambda\mathcal{L}_{rank}$) を用いて訓練される。この際、バックボーンを凍結したまま、軽量な融合および回帰パラメータ（約0.8M）のみを更新する。

主な貢献

1. セマンティック・ディストーション衝突の定式化: 本論文は、VLMベースのIQAにおける固有の衝突を特定し、グローバルなセマンティック理解とローカルな知覚的感度を明示的にデカップリングするマルチスケール・ツースリーム・アーキテクチャ（MSTFE）を提案することで、これに対処している。
2. ゲート付き特徴融合 (GFF): 情報ボトルネックに着想を得た選択的なクロススケール・ゲーティングメカニズムの導入。これにより、最小限の計算オーバーヘッドで適応的かつ品質認識型の特徴蒸留を実現し、従来の融合戦略を凌駕している。
3. プロンプト・アンカー型フレームワーク: 生成プロンプトをセマンティックな品質リファレンスへと昇華させ、AIGI特有の次元における明示的なテキスト・画像対応関係の検証を可能にする、新しいアライメントフレームワーク。
4. 最先端の性能: 5つの多様なデータセット（AGIQA-1K/3K, AIGCIQA2023, AIGIQA-20K, PKU-AIGIQA-4K）にわたる新たなベンチマークを確立し、拡散モデルベースおよびGAN生成画像の両方に対する堅牢な汎用性を実証した。

実験結果

5つのベンチマークにおける広範な実験により、MST-CLIPIQAが最先端の結果を達成していることが示された：

• 品質予測: MST-CLIPIQA* は、品質予測において前述の最高手法（LIQE）に対し、平均で 1.11% の SRCC および 0.98% の PLCC の改善を達成した。
• 真実性予測: 本モデルは、真実性予測において LIQE を平均で 1.12% SRCC および 1.31% PLCC 上回り、テキスト・画像のアライメントがリアリズム評価のための補助的な手がかりを提供することを示した。
• テキスト・画像対応関係: MST-CLIPIKA* は、対応関係の予測において 2.35% SRCC および 1.99% PLCC の大幅な向上を示し、ゼロショットのテキスト・画像マッチング手法を大きく上回った。
• 効率性: これらの利点にもかかわらず、モデルはわずか 約0.8M の学習可能パラメータで高い効率性を維持している。

アブレーション研究により、デュアルエンコーダ設計（MSTFE）とゲート付き特徴融合モジュールが、補完的な情報を提供し、シングルスケールのベースラインや標準的な融合手法（線形補間、プーリング、クロスアテンション）よりも優れた性能を発揮することが確認された。

意義

本論文は、MST-CLIPIQAが、モノリシックなVLM表現におけるAIGIQAの限界に対する原理的な解決策を提示していると主張している。セマンティック次元とディストーション次元を明示的にデカップリングし、適応的なゲーティングを通じてそれらを調和させることで、本フレームワークは人間の品質知覚の階層的な性質を捉えることに成功している。生成プロンプトをセマンティック・アンカーとして活用する能力は、生成の意図と知覚的忠実度の間の溝をさらに埋め、急速に進化するAI生成画像の評価領域に対して、堅牢で効率的かつ汎用性の高いアプローチを提供するものである。