技術要約：条件付きVendiスコア（Conditional Vendi Score）

問題提起

生成AIモデル、特にテキストプロンプトによって制御されるモデル（例：LLM、テキスト・トゥ・イメージ、テキスト・トゥ・ビデオ・モデル）は、主に忠実度（プロンプトへの適合性）と品質の観点から評価されています。多様性は非条件的な生成モデルにとって重要な指標ですが、既存の多様性指標であるVendiスコアや**レニー・カーネル・エントロピー（RKE）**は、プロンプト誘導型のシステムには適していません。

現在の指標は、一連の生成サンプルにおけるあらゆる変動を単一のソースとして扱います。それらは以下の区別を行うことができません：

1. プロンプト起因の多様性： 入力プロンプトの違いから生じる変動（例：「犬」と「猫」を生成する場合）。
2. モデル起因の多様性： 同一または類似のプロンプトが与えられた際の、モデル内部の確率性から生じる変動（例：「犬」というプロンプトに対して異なる犬種を生成する場合）。

この混同は、多様性の比較にバイアスをもたらします。あるモデルは、広範なプロンプトでテストされたために多様であるように見えるだけで、内部的な変動性の欠如を隠蔽してしまう可能性があり、あるいはその逆も起こり得ます。本論文は、モデル起因の変動性を分離するための、プロンプトを考慮した多様性評価の必要性に取り組んでいます。

手法

著者らは、正定値（PSD）カーネル行列の条件付きエントロピーから導出される多様性スコアである、Conditional-VendiおよびConditional-RKEを提案しています。

理論的枠組み

このアプローチは、情報理論的なVendi（フォン・ノイマン・エントロピー）およびRKE（2次レニー・エントロピー）の定義を、条件付きの設定へと拡張したものです。プロンプトと出力のペアの集合 $\{(t_i, x_i)\}_{i=1}^n$ が与えられたとき（$T$ はプロンプト、$X$ は出力を表す）：

• カーネル行列： この手法は、正規化されたカーネル行列 $K_X$（出力用）および $K_T$（プロンプト用）を構築します。
• 条件付きエントロピー： ハダマール積（要素ごとの積）を用いて、プロンプト・カーネルに対する出力・カーネルの条件付きエントロピーを以下のように定義します：
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  ここで、$H(\cdot)$ は行列ベースのエントロピー（Vendiの場合はフォン・ノイマン、RKEの場合は2次レニー）を表します。
• 分解： 全体の多様性スコアは以下のように分解されます：
  $$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$$
  ここで、Conditional-Vendiはプロンプトが与えられた際に出力が持つ多様性（モデル起因）を分離し、Information-Vendiはプロンプトと出力の間の相互情報量を捉えます。

スケーラビリティと収束性

• Conditional-RKE： 著者らは、Conditional-RKEが $O(1/\sqrt{n})$ の収束率を享受し、フロベニウスノルムに依存するため計算効率が高い（$O(n^2)$）ことを証明しています。これは次元依存性を伴いません。
• Conditional-Vendi： Conditional-Vendiの直接的な推定は、「次元の呪い」に苦しみます。その収束率は、テキスト・カーネルと画像・カーネルの各特徴次元の積（$d_X d_T$）に依存します。これに対処するため、著者らは**スペクトル切断近似（truncated-spectrum approximation）**を導入しました。上位$t$個の固有値を保持して再正規化することで、特徴次元に依存しない、スケーラブルな推定器である $\tilde{O}(\sqrt{t/n})$ の収束率を実現します。

アプリケーション：ガイダンス

本論文は、これらの指標を拡散モデルにおけるガイダンスへと拡張しています。サンプリングプロセス中に（潜在空間における勾配上昇を通じて）最大化された切断型Conditional-Vendiスコアを用いることで、モデルはアンビエント空間において単に多様であるだけでなく、プロンプト分布に対して多様な出力を生成するように促されます。

主な貢献

1. プロンプトを考慮した指標： モデル起因の変動性とプロンプト起因の変動性を分離するために特別に設計された、初の多様性スコアであるConditional-VendiおよびConditional-RKEの導入。
2. 理論的保証： 両方のスコアに対する有限サンプル収束界の確立。特に、Conditional-RKEの証明は次元に依存しない収束性を示しており、一方で切断型Conditional-Vendiは高次元の埋め込みに対するスケーラブルな代替案を提供します。
3. 切断手法： 固有スペクトルの切断を条件付き設定に適応させた新しい手法であり、サンプルサイズが埋め込み次元に対して限定的な大規模生成タスクにおいて、一貫した推定を可能にします。
4. 実証的検証： 以下の4つのドメインにおける包括的な評価：
   • Text-to-Image: Stable Diffusion XL、Flux、PixArtを含むモデル。
   • Text-to-Video: VideoCrafter、Show-1、Open-Soraを含むモデル。
   • Image Captioning: BLIP-2、GIT、GPT-4o-miniを含むモデル。
   • LLMs: Llama 2、Gemmaを含むモデル。
5. ガイダンス機構： Conditional-Vendiガイダンスが、プロンプトとの整合性（忠実度）を損なうことなく、拡散モデルにおけるサンプル多様性を向上させられることのデモンストレーション。

結果

• グラウンドトゥルースの復元： グラウンドトゥースの多様性の順序が既知である制御された実験（例：プロンプト内で指定される動物の種類数を変化させる場合）において、条件付きスコアは意図されたランキングを正常に復元しました。無条件のスコア（標準的なVendi/RKE）は、プロンプト駆動の多様性とモデル駆動の多様性を区別することに失敗しました。
• 収束性： MS-COCOデータを用いた実験では、Conditional-RKEと切断型Conditional-Vendiは中程度のサンプルサイズ（例：約15,000サンプル）で収束しましたが、非切断型のConditional-Vendiは実行可能な計算限界内で収束しませんでした。
• モデル比較： これらのスコアは、異なるモデルが異なるレベルの固有の多様性を示すことを明らかにしました。例えば、Text-to-Videoにおいては、Open-SoraはVideoCrafterよりも高い条件付き多様性を示しました。LLMにおいては、温度パラメータの増加がConditional-VendiおよびRKEスコアの増加と相関しており、出力の多様性が高まっていることを反映していました。
• ガイダンスの有効性： Stable Diffusion XLおよびPixArtにConditional-Vendiガイダンスを適用した結果、標準的なVendiガイダンスと比較して、テキスト・画像間の整合性（CLIPScore）を低下させることなく、より高いサンプル多様性（Vendiおよびインバッチ類似度で測定）とプロンプトカテゴリへの優れた適合性が得られました。

意義と主張

本論文は、Conditional-VendiおよびConditional-RKEが、生成モデルの評価における不可欠な進化を提供するものであると主張しています。モデル起因の多様性を分離することで、研究者や実務家は以下のことが可能になります：

• 使用されるテスト用のプロンプト分布とは独立して、生成モデルの固有の変動性を正確に評価する。
• モデルの「多様性」が、単に広範なプロンプトの網羅によるものなのか、それとも真の確率的生成能力によるものなのかを特定する。
• 生成プロセスをプロンプトの文脈を尊重する多様な出力へと導き、高忠実度な拡散モデルでしばしば見られる「モード崩壊」や過度な決定論性を解決する。

著者らは、これらのスコアを、次世代のプロンプト条件付き生成AIのための基礎的なツールとして位置づけており、これまでヒューリスティックや無条件な手法によってのみ対処されてきた問題に対し、厳密な情報理論的アプローチを提供しています。