Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

技術的サマリー：対称的注意分解による拡散モデルにおける忠実度と多様性のバランス

問題定義
拡散モデルは、注意機構がグローバルな文脈を統合し、長距離依存関係をモデル化する能力に支えられ、画像生成における主要なパラダイムとなっています。しかし、このグローバルな接続性は根本的なトレードオフを生み出します。すなわち、新規性と多様性を高める一方で、異なるオブジェクト間の材料を混合するなど、互換性のない特徴の「偽りの混合（spurious mixing）」を引き起こす傾向があります。有益な文脈統合と有害な意味的漏洩を区別することは、両者が同じ基盤メカニズムを共有しているため、容易ではありません。現在の分析は、注意を単にトークンごとの検索メカニズムとして扱うことが多く、注意行列そのものに符号化された豊かな相互作用ダイナミクスを捉えきれていません。その結果、注意が非整合な「準安定混合（metastable mixtures）」に落ち着くタイミングを特定し、この振る舞いを制御して忠実度と多様性のトレードオフを navigated するための原理的な手法が存在していません。

手法
著者らは、ソフトマックス前の注意行列 $QK^\top$ を、ペアごとの特徴関連を符号化する動的な連想記憶として特徴づけるフレームワークを提案します。トランスフォーマーの自己注意が現代のホップフィールドネットワークの更新則を近似するという洞察に基づき、論文は注意行列を 2 つの明確な成分に分解します。

1. 対称成分（$M_{sym}$）： エネルギー地形を表します。これは検索された特徴の安定性を支配し、より低いエネルギーは連想記憶によって強く支持された状態に対応します。
2. 反対称成分（$M_{skew}$）： 循環ダイナミクスを表します。反対称行列は実数値状態に対して二次エネルギーにゼロを寄与するため、この成分は循環を駆動する方向力として作用し、準安定状態を攪乱する可能性があります。

この分解に基づき、著者らは検索の質を定量化するホップフィールドスタイルの安定性指標を導出します。

• エネルギー（$E_X$）： 状態が対称的相互作用によってどの程度強く支持されているかを表すグローバルな指標。
• 不安定分率（$r_X$）： 局所的な場が現在の状態と衝突する空間的位置の分率を特定するローカル指標。
• アライメントスコア（$Align_X$）： 検索された特徴とその誘起された局所的な場との間のグローバルな方向的合意を定量化するコサイン類似度指標。

生成プロセスを制御するために、著者らは学習不要の介入メカニズムを提案します。スカラー制御パラメータ $\alpha$（循環スケール）を介して反対称成分を変調し、得られた攪乱された検索をパラメータ $\beta$ を用いてベースライン検索と混合します。これにより、基礎的なエネルギー地形を変更することなく、準安定混合を打破するための「循環駆動ドリフト」の注入が可能になります。さらに、各サンプルの注意行列の実現された機能的対称性指数（$\eta_M$）に基づいて注入強度を変調する適応制御バリアントを導入し、すでに高品質な生成物に対する過剰な攪乱を防ぎます。

主要な貢献

• 連想記憶フレームワーク： 論文は、注意行列内にペアごとの特徴関連を符号化するフレームワークを確立し、エネルギーに基づく安定性と循環駆動ドリフトを分離する対称/反対称分解を導入します。
• 安定性指標： 対称成分を活用し、著者らは特徴の安定性を定量化するホップフィールドスタイルの安定性指標（$E_X$、$r_X$、$Align_X$）を導出します。これら内部指標と外部の忠実度 - 多様性のトレードオフとの間に強い相関があることを実証します。
• 制御可能な循環ノブ： 著者らは、反対称成分をテスト時の介入用の調整可能なノブとして使用することを提案します。方向的なドリフトを注入することで、この手法は準安定混合を攪乱して構造的整合性を回復し、忠実度と多様性のバランスを取るメカニズムを提供します。

結果
提案手法は、1,000 の COCO2014 プロンプトを用いた SDXL 上で評価されました。主要な知見は以下の通りです。

• 品質との相関： 提案された安定性指標は、外部指標と一貫した相関を示します。高いアライメントスコア（$Align_X$）は、高い審美性スコアと低い LPIPS 多様性（構造的整合性を示す）と相関し、低いアライメントはより高い多様性と相関しますが、構造的な非整合性とアーティファクトの増加を伴います。
• 領域依存効果： 介入は状態依存の振る舞いを示します。「不安定（低品質）」サブセットでは、循環注入は偽りの混合を打破することで審美性スコアと ImageReward を大幅に向上させます。逆に、「安定（高品質）」サブセットでは、過剰な循環は整合的な構造を乱すことで指標を劣化させる可能性があります。
• 適応制御： サンプルの実現された対称性指数（$\eta_M$）に基づいて攪乱を変調する適応型バリアントは、静的な過剰な攪乱下で高品質サンプルに見られた劣化を成功裡に軽減しました。これにより、低品質サンプルでの改善を維持しつつ、高品質サンプルでのパフォーマンスを保持します。
• グローバル温度調整との比較： 相互作用を無差別に鋭くしたり減衰させたり（しばしば四肢の重複などのアーティファクトを生む）するグローバルな注意温度スケーリングとは異なり、提案された循環制御は、弱い支持を受けた混合アーティファクトを選択的に抑制しつつ、支配的な構造的サポートを保持します。

意義と主張
本論文は、注意を単なるトークン混合演算子としてではなく、明確なエネルギー支持成分と循環駆動成分を持つ相互作用行列として分析するための原理的なレンズを提供すると主張しています。偽りの混合を準安定状態への閉じ込めとして再定義することで、この研究は、忠実度と多様性のトレードオフを navigated するための診断ツール（安定性指標）と制御メカニズム（循環変調）を提供します。著者らは、この視点が拡散モデルを超えて、大規模言語モデルなどの他のトランスフォーマーアーキテクチャにも拡張可能であり、注意ダイナミクスを研究する新たな方法を提供すると示唆しています。この手法は、注意機構における意味的漏洩の根本原因に対処することで、生成システムの信頼性と制御性を向上させる、学習不要の事後介入として提示されています。