技術要約: DefaultShift – 加速型テキスト画像生成モデルにおけるセマンティック・デフォルト・シフトの監査

1. 問題提起

高忠実度なジェネレーターの代替として、数ステップのテキスト画像（T2I）生成モデルが急速に導入される中で、微細ながらも重大なリスクが生じている。それが**セマンティック・デフォルト・シフト（semantic default shift）*である。加速型モデルからの個々の出力は、多くの場合、リアリティを保ちプロンプトに沿ったものとなるが、指定されていない属性（例：色、背景、照明、視点）の分布*が、参照モデルから静かに乖離してしまう可能性がある。

既存の評価プロトコルは以下の点に焦点を当てている：

• 個々の出力品質： アライメント、嗜好性、および忠実度の指標（例：CLIPスコア、美的スコア）。
• 集合的な多様性： 単一のモデルの出力セット内における変動の尺度（例：FID、GRADE、DIMCIM）。

これらの手法は、置換されたモデルが宣言された参照モデルの**セマンティック・デフォルト（意味論的なデフォルト値）**を保持しているかどうかを検出できない。セマンティック・デフォルトとは、指定されていない属性に対するプロンプト条件付きの分布と定義される。加速型モデルが参照モデルを置き換える際、これらの属性における確率質量の変化が「セマンティック・デフォルト・シフト」を構成する。これは、加速された出力がダウンストリームの学習や監査対象のデプロイメントに使用される場合、置換モデルが元のデータ分布には存在しない系統的なバイアスを導入する可能性があるため、極めて問題である。

2. メソドロジー

2.1 DefaultShift: 監査フレームワーク

著者らは、マグニチュード（大きさ）と方向性を測定するために設計された、ペアリングされた参照相対的な監査手法であるDefaultShiftを提案している。

• ペア・サンプリング： 与えられたプロンプト $p$ に対して、参照ジェネレーター $T$ と加速型置換モデル $S$ の両方から繰り返しサンプルを生成する。
• 閉じたセマンティック語彙： ビジョン・ランゲージ・モデル（VLM）、具体的には Qwen2.5-VL-3B-Instruct を使用して、画像を固定された語彙（例：黒、白、赤など11の色カテゴリ）でラベル付けする。
• バイアス軽減距離指標：
  • 経験的分布 $\hat{P}_T$ と $\hat{P}_S$ の間の生の全変動（Total Variation, TV）を計算する。
  • 有限サンプル効果（経験的分布が同一の基礎分布であっても異なって見える現象）を補正するため、著者らはブートストラップ・リサンプリングを用いて、参照モデル単体から一致した参照ノイズフロア（$\eta_T$）を推定する。
  • 主要なスコアは**調整済み全変動（Adjusted Total Variation）**である：
    $$TV_{adj}(T, S, p, a) = TV(T, S, p, a) - \eta_T(p, a)$$
  • 方向性を保持するため、負の値はクリップ（切り捨て）せずに保持する。
• 方向性分析： 手法は符号付きのカテゴリ別移動（$\Delta_{T \to S}$）を追跡し、特定の確率質量の増減（例：「グレー」から「ウォームカラー」へのシフト）を特定する。
• 統計的厳密性：
  • スクリーニング ($q=32$)： レシピのランキングに $TV_{adj}$ を使用する。
  • 確認 ($q=64$)： サンプリングの分散に対する堅牢性を確保するため、効果量と符号を検証する**符号付きクロスフィット推定（signed cross-fit estimation）**を採用する。

2.2 DefaultShift-Select: オフライン・キャリブレーション

検出されたシフトを緩和するために、著者らは参照ガイド型のオフライン・キャリブレーション手法であるDefaultShift-Selectを導入している。

• メカニズム： ジェネレーターを再学習させるのではなく、加速型モデルによって生成された大規模な候補プールからサブセットを選択する。
• プロセス：
  1. 参照サンプルからターゲットとなるヒストグラムを推定する。
  2. 凍結された品質フロア（例：CLIPスコア）を候補プールに適用する。
  3. 参照ターゲット・ヒストグラムに対する分布の不一致（$TV$）を最小化するサブセットを選択する。
• 目的： 品質の大幅な低下を招くことなく、参照のセマンティック分布を回復すること。

3. 主な貢献

1. セマンティック・デフォルト・シフトの定義と監査： 本論文はセマンティック・デフォルトの概念を定式化し、個別の妥当性ではなく分布の保存を測定するペアリング監査である DefaultShift を導入した。
2. レシピ固有のシフトの発見： 14組の参照・置換ペア（蒸留、フロー・マッチング、コンシステンシー・モデルを網羅）を通じて、著者らは以下の事実を明らかにした：
   • レシピ依存性： 加速技術（例：DMD2、Turbo、FLUX）によって、異なるシフトパターンが生じる。
   • 方向性： あるモデルは「グレー」の質量を減少させつつ「ウォームカラー」の質量を増加させるが、FLUXのような他のモデルはその逆の動きをする。
   • 標準的な指標では検出不能： 品質、嗜好性、およびグローバルな多様性の変化は、これらのセマンティック・シフトと信頼できる相関関係を持たない。
3. 検証とキャリブレーション：
   • 人間による検証： VLMベースの監査で見出された順序が、1,000枚の画像を用いた人間による監査でも再現された。
   • 選択の効果： DefaultSelect-Select は、Turbo、DMD2、FLUX において、品質を損なうことなく、人間が測定したシフトを 10.3%～35.1% 減少させた。
   • ダウンストリームへの影響： バランスの取れた合成データ分類において、選択されたデータを使用することで、未校正の置換データと比較して、精度が 4.3 ポイント、ワーストグループの精度が 7.5 ポイント 回復した。

4. 実験結果

• シフトの大きさ： 調整済みカラー・ディスクレパンシー（色の不一致）は、LCM の 0.054 から NitroFusion-4 の 0.303 まで及ぶ。
• 属性の特異性： 色がシフトの主要な要因であり（TV 範囲 0.05–0.30）、次いで背景（0.03–0.12）である。照明や視点のシフトは、一般的に小さいか、あるいは決定的な結論が出ない。
• 安定性： レシピのランキングは、評価器の変更（BLIP, LLaVA）、プロンプトのバリエーション（短文、長文、多言語）、および構成のストレス・テストに対しても安定している。
• 分解能： シフトは既知の多様性低下（エントロピー損失）と大きく重なっているが、DefaultShift はカテゴリのアイデンティティと方向性を保持するという点で、エントロピーベースの指標にはない価値を提供する。
• キャリブレーション性能： DefaultShift-Select は、予算が増えるにつれて「候補プール・オラクル」の性能に近づく。品質指標（CLIP、美的スコア、DINO ダイバーシティ）において非劣性を維持しながら、シフトを効果的に削減できる。

5. 意義と主張

本論文は、DefaultShift が加速下におけるセマンティック保存を「測定可能」かつ「実行可能」にすると主張している。

• 妥当性と区別： この監査は、デプロイメントの適合性（置換モデルは参照モデルと同様に振る舞うか？）と、画像レベルの妥当性（その画像は現実的か？）を分離している。モデルは妥当な画像を生成しながらも、セマンティック保存の監査には失敗することがある。
• 実行可能な介入： 特定の方向性のあるシフト（例：「グレーの質量の喪失」）を特定することで、DefaultShift-Select のようなターゲットを絞った介入が可能になる。これはコストのかからないオンライン補正ではなく、オフラインのキャリブレーションである。
• 限界と範囲： 著者らは自らの主張に対して慎重である：
  • エビデンスは色の属性において最も強く、背景のシフトは小さく、視点のシフトは決定的な結論が出ていない。
  • この手法は、社会的な真実や公平性を絶対的な意味で監査するのではなく、宣言された行動ベースライン（参照モデル）を監査するものである。
  • メカニズムの調査（例：CFG や教師のエントロピーとの相関）は、相関関係を示すものであり、因果関係を示すものではない。
  • 選択メソッドは追加の候補生成を必要とするため、限定的なオフラインプロセスである。

要約すると、本論文は、T2I 生成の加速が進む中で、品質や多様性の指標のみに頼ることは不十分であると論じている。加速されたモデルが、生成するデータの統計的特性を密かに変えてしまわないようにするために、セマンティック・デフォルトの参照相対的な監査が必要である。