技術要約: PromptSplit

問題提起

プロンプトに誘導される生成AIモデル（視覚および言語の両方にまたがる）は普及しているが、特定の入力プロンプトに対してその挙動を体系的に比較する手法は限定的である。FID、Inception Score、CLIP-Scoreといった既存の評価指標は、モデルの挙動を単一のスカラー値に圧縮する集約的な品質指標を提供している。これらの指標は、プロンプト依存の不一致を覆い隠してしまうことが多い。例えば、あるモデルは特定のプロンプトに対して高品質な画像を生成する一方で、特定のプロンプトカテゴリ（例：「人」というプロンプトに対して、一方は一貫して男性の人物を生成し、他方は女性の人物を生成するなど）に基づいて、出力の「内容」や「スタイル」において大きく乖離する場合がある。現在のスペクトルおよび分布比較手法は、プロンプトのない設定で動作しており、プロンプトを周辺化してしまうため、挙動の乖離を引き起こしている特定の入力カテゴリを特定することができない。

手法

著者らは、2つの生成モデル間のプロンプト依存の不一致を検出・分析するために設計された、プロンプト認識型の教師なしスペクトルフレームワークであるPromptSplitを提案する。

1. プロンプトと出力の結合表現

PromptSplitは、プロンプトの特徴量（$\phi_T$）と出力の特徴量（$\phi_X$ または $\phi_Y$）のテンソル積埋め込みを形成することで、結合表現を構築する。プロンプト $t$ と出力 $x$ に対して、結合特徴量は次のように定義される：
$$\phi^\otimes(t, x) = \phi_T(t) \otimes \phi_X(x)$$
これにより、入力空間と出力空間の間の乗法的相互作用を捉える積カーネル $k^\otimes([t, x], [t', x']) = k_T(t, t') \cdot k_X(x, x')$ が誘導される。

2. カーネル共分散の差

2つのデータセット $D_X$（モデル $X$ から）および $D_Y$（モデル $Y$ から）に対して、本手法は経験的な結合カーネル共分散演算子 $\hat{C}_{T \otimes X}$ および $\hat{C}_{T \otimes Y}$ を計算する。分析の核となるのは、共分散差演算子である：
$$\hat{\Lambda}_{X,Y|T} = \hat{C}_{T \otimes X} - \eta \hat{C}_{T \otimes Y}$$
ここで、$\eta$ はハイパーパラメータである。この演算子の主固有ベクトルは、2つのモデルが最も顕著な挙動の違いを示す結合空間内の方向を明らかにする。

3. カーネルトリックとスペクトル解析

高次元の共分散演算子を直接固有値分解することは計算量的に不可能である。著者らはカーネルトリックを適用し、高次元演算子と同じ非ゼロ固有値を共有するサイズ $(n+m) \times (n+m)$ のブロックカーネル行列 $K_{X,\eta Y|T}$ を定式化する。このブロック行列の固有ベクトルは、結合空間における不一致モードに対応する。

4. スケーラブルなランダム投影

大規模なデータセット（$n, m$ が数万を超える場合）を扱うために、PromptSplitはランダム投影近似を採用している。結合テンソル特徴量は、ガウス型ランダム行列を用いて低次元 $r$ に投影される。これにより、スペクトル分解の計算複雑度が $O((n+m)^3)$ から $O((n+m)r^2 + r^3)$ に削減される。

• 理論的保証: 本論文では、固有空間の推定値のフル次元の結果からの期待偏差が $O(1/r^2)$ で抑えられることを証明しており、近似が高確率で不一致の方向を保持することを保証している。

主な貢献

1. プロンプトレベルの比較定式化: 本研究は、モデル比較を結合プロンプト・出力スペクトル問題として定式化し、集約的な指標を超えて、挙動の乖離を引き起こす特定のプロンプトカテゴリを特定する。
2. PromptSplitフレームワーク: テンソル積埋め込みを通じてプロンプトと出力を結合し、結合カーネル共分散差の固有スペクトルを分析する、カーネルベースのフレームワークの導入。
3. スケーラブルな近似: 理論的な誤差境界 $O(1/r^2)$ を持つランダム投影法を開発し、大規模なデータセットの分析を可能にした。これにより、実世界の生成モデル評価における実用性を確保している。
4. 解釈可能性: 本手法は解釈可能な「不一致モード」を提供し、特定のプロンプトクラスターを、出力の乖離の性質へと明示的に結びつける。

実験結果

著者らは、テキストから画像への（T2I）およびテキストからテキストへの（LLM）設定において、PromptSplitを評価した：

• 合成検証: 制御された設定（例：既知の色/グレースケールのプロンプトの不一致を持つMNIST-M）において、PromptSplitは不一致の原因となっている真のプロンプトカテゴリを特定することに成功した。
• テキストから画像へのモデル: Stable Diffusion XL、PixArt-Σ、およびKandinskyの比較により、スタイル、構成、およびアライメントにおけるプロンプト依存の乖離が明らかになった。例えば、本手法は、特定の職業に基づくプロンプト（例：「看護師」、「大工」）において、モデルが著しく異なる視覚的表現を生み出すことを特定した。
• 大規模言語モデル (LLM): NQ-Openデータセットを用いたQwen 3とGemma 3の比較により、モデルが回答を分岐させる明確な質問のクラスター（例：米大統領や俳優に関する質問）を特定した。
• ガイダンスへの応用: 著者らは、不一致の勾配をサンプリングプロセスに組み込むことで、生成画像の分布をリファレンスデータセット（例：特定の絵画スタイル）に整合させ、潜在拡散プロセスをガイドすることに成功した。

意義と主張

本論文は、PromptSplitが集約的な品質指標が残した空白を埋める、モデルが「どこで」「どのように」不一致を起こしているかを検出するための、原理に基づいた解釈可能なツールであることを主張している。プロンプトと出力の結合空間を明示的にモデル化することで、挙動の差異を駆動している特定の入力カテゴリを分離できる。

著者らは、PromptSplitを埋め込みベースの二次スペクトル手法と位置付けている。設計によってスケーラビリティと解釈可能性が可能になっている一方で、条件付き生成挙動のすべての高次側面を特徴付けることを目的としているわけではない、と控えめに述べている。本研究は、増え続ける生成AIモデルのエコシステムにおいて、より粒度の高い、プロンプト条件付きの評価に向けた一歩として提示されている。さらなる研究を促進するため、実装は公開されている。