技術的概要：DynT2I-Eval

問題定義

既存のテキストから画像（T2I）モデルのベンチマークは、主に固定されたプロンプトのセットに依存しています。初期段階の評価には効果的ですが、これらの静的ベンチマークは、プロンプトセットが公開され反復的に再利用されるようになると、重大な限界に直面します。モデルは特定のテスト分布に向けた明示的または暗黙的な最適化の影響を受けやすくなり、リーダーボード上の性能が真のオープンワールド汎化能力から乖離するようになります。この現象は「プロンプトセットの過学習」または「ベンチマーク汚染」として知られており、よりスケーラブルで汚染に強い評価パラダイムへの転換を必要とします。さらに、T2I 生成における動的評価には固有の課題が存在します：動的に生成されたプロンプトは、些細なケースに退化することなく、高い品質と識別力を維持しなければならず、システムは変化するプロンプト分布と継続的なモデルの投入にもかかわらず、信頼性の高いランキングを維持しなければなりません。

手法

著者らは、ワンショットの静的テストを、プロンプト生成、ペアワイズ比較、オンラインランキング更新の継続的プロセスに置き換えるように設計された、完全自動化された動的評価フレームワーク「DynT2I-Eval」を提案します。このフレームワークは、以下の 3 つの中核コンポーネントを通じて動作します。

1. 構造化された動的プロンプト生成

固定されたリストを使用する代わりに、本システムは DOCCI データセットからの 14,845 の長文画像記述から導き出された構造化された視覚的意味空間を構築します。

• 分解: 記述は、主題、認知的論理制約、環境、照明/雰囲気、カメラ/構図、媒体/形式という 6 つの制御可能な意味次元に分解されます。
• タスク固有の空間: フレームワークは、異なる評価目標のために、以下のような固有のプロンプト空間を作成します。
  • アライメント空間: 意味的忠実度のために設計され、明確な主題、明示的な論理制約（例：数え上げ、空間関係、テキスト描画）、および支援次元を組み合わせます。
  • 品質空間: 知覚的および美的評価のために設計され、評価者を混乱させる論理制約を減らし、主題が明確で構図が軽やかなものを利用します。
• 難易度意識サンプリング: プロンプトは、基本的な属性バインディングから複雑な長文描画までをカバーする、難易度意識ポリシー（ティア 1 からティア 4）を通じてオンラインで生成されます。これにより、理論的な構成空間が$10^{12}$を超え、多様で評価可能かつ識別力のあるテストサンプルの連続ストリームが保証されます。

2. 多次元評価

このフレームワークは、それぞれが独自のリーダーボードを維持する 3 つの独立した次元にわたってモデルを評価します。

• テキストアライメント: Qwen3.5 ベースのビジョンランゲージジャッジを用いてペアワイズ形式で評価され、プロンプトと原子チェックリストに基づいて制約の充足に厳密に焦点を当てます。
• 知覚的品質: VisualQuality-R1（SOTA の IQA モデル）を用いて評価されます。システムは不確実性意識プロトコルを使用し、画像ごとに複数回サンプリングして平均と分散を導き出し、これらを Thurstone モデルを通じて相対的な勝利確率に変換します。
• 美的品質: ArtiMuse（SOTA の IAA モデル）を用いて評価され、曖昧なケースでの過信な決定を避けるために、しきい値付きのスカラ美的スコアを比較します。
• 統合: すべての異種出力は、ランキングスケジューラへの入力として機能する統合されたプロンプト条件付きペアワイズ形式（{A, B, Tie}）にマッピングされます。

3. 動的ランキングとスケジューリング

変化するプロンプト分布の下で安定したオンラインリーダーボードを維持するために、このフレームワークは、スケジューリングと更新のための特定のメカニズムを備えたベイズランキングシステムを採用します。

• 状態表現: 各モデル $i$ は、事後平均と不確実性を表すベイズ評価状態 $(\mu_i, \sigma_i)$ に関連付けられます。
• 保守的スコアリング: リーダーボードのランキングは、保守的スコア $s_i = \mu_i - \eta_i \sigma_i$ に基づきます。ここで、不確実性ペナルティ $\eta_i$ は、初期の抑圧を防ぐために新しいモデルに対してウォームアップされます。
• UCB 風スケジューリング: 動的スケジューラは、グローバルなカバレッジとローカルなランク解像度をバランスさせるためにモデルペアを選択します。これは、事後平均が類似するペア（利用）を優先しつつ、UCB 風の基準を用いて未サンプリングのペア（探索）に予算を割り当てます。
• マイクロバッチ集約: ペアは、単一のプロンプトではなく、マイクロバッチ（例：15 のプロンプト）で評価されます。結果は、決定的なしきい値に基づいてマクロ結果（勝利/敗北/引き分け）に集約されます。
• 重み付きベイズ更新: システムは重み付き事後更新を適用します。決定的なバッチは標準的なガウス近似更新をトリガーし、引き分けバッチは平均を中点に引き寄せ分散を縮小させるソフト更新を適用します。このアプローチは、プロンプトレベルのノイズを抑制しつつ、情報量の多いほぼ同率の結果を保持します。

主要な貢献

1. 動的評価パラダイム: 固定されたプロンプトセットベンチマークを動的に生成されたプロンプトに置き換えるフレームワークの導入により、過学習を軽減し、モデルの進歩に伴って評価を進化させることを可能にします。
2. 構造化プロンプトエンジン: 長文記述から制御可能な視覚的意味空間を抽出し、アライメント、知覚的品質、美的品質のためのタスク固有の空間を構築するシステム。これにより、多様で識別力のあるテストプロンプトの継続的な作成が可能になります。
3. オンラインスケジューリングとベイズランキング: 異種評価者をペアワイズインターフェースに統合し、リーダーボードに保守的スコアリングを採用し、マイクロバッチ集約と重み付きベイズ更新を利用して非定常条件下で安定したランキングを実現する新規フレームワーク。

結果

著者らは 12 の T2I モデルを評価し、アライメント、知覚的品質、美的品質それぞれについて個別のリーダーボードを報告しました。

• 能力の乖離: 結果は明確な能力のトレードオフを示しました。例えば、FLUX.2-klein-9B はアライメントで、Z-Image-Turbo は知覚的品質で、FLUX.1-Krea-dev は美的品質でそれぞれ先行しました。これは、個別の次元評価の必要性を支持します。
• 人間による検証: 小規模な人間による検証（450 ケース）は、自動評価者と人間の判断間の高い一致（緩和一致率 92.22%、厳密一致率 80.66%）を示し、自動評価者の信頼性を確認しました。
• 過学習の転移性の低下: シミュレーションにより、特定のプロンプトセット（セット A）で最適化された構成は、独立してサンプリングされた動的ストリーム（セット B/C/D）への転移性が弱いことが示されました。これにより、動的プロトコルがプロンプトセット固有のチューニングの影響を軽減することが確認されました。
• 堅牢性と効率性: 6 つのストレステスト環境（ノイズ、難易度、プロンプトの異質性を変化させたもの）におけるモンテカルロシミュレーションは、DynT2I-Eval が ELO、TrueSkill、Glicko-2、K-Sort Arena などのベースラインと比較して、最高の初期段階ランキング精度（SRCC@500 および SRCC@1500）を達成し、平均約 5.75 ラウンドという非常に安定した後発モデルの発見を維持したことを示しました。

意義と主張

本論文は、DynT2I-Eval が急速に進化する T2I モデルにとって、より堅牢で持続可能な評価環境を提供すると主張しています。静的ベンチマークを動的プロトコルに置き換えることで、フレームワークはベンチマーク暴露後のターゲット最適化のリスクを軽減します。著者らは、システムがベンチマーク固有の過学習に対する堅牢性を向上させるものの、特に使用される自動評価者に固有の評価バイアスを完全に排除するものではないことを強調しています。したがって、このフレームワークは人間の判断の代替としてではなく、固定された評価者下でのより堅牢なプロトコルとして位置づけられており、画像品質の微妙な側面については人間による評価が重要な補完として残ります。この研究は、新しいモデルを効率的に取り込み、オープンワールド展開の文脈において信頼性の高いランキングを維持する動的リーダーボードの基盤を確立します。