テクニカルサマリー：大規模活性化（Massive Activation）の変調による拡散トランスフォーマーの覚醒

1. 問題提起

拡散トランスフォーマー（DiT）は、高品質な視覚生成（SD3、Flux、Wanなど）における支配的なアーキテクチャとなっており、さらに高密度な視覚理解タスク（意味的対応関係、セグメンテーションなど）のための特徴抽出器としても転用が進んでいます。しかし、これらの二重の能力を司る内部の活性化コンポーネントについては、依然として十分に理解されていません。

DiTにおける特有かつ未探索の現象として、**大規模活性化（Massive Activations: MAs）**の存在があります。これは、少数の特徴次元に集中し、他の次元よりも著しく大きな大きさを持つ隠れ活性化です。MAsは、大規模言語モデル（文脈的知識）やVision Transformer（グローバルな意味論/背景トークン）において研究されてきましたが、DiTにおける役割は異なります。DiTは、すべてのトークンが局所的な再構成に参加する空間グリッド上で反復的なデノイジングを行います。本論文は、この高密度な生成コンテキストにおけるMAsの構造と機能的役割が十分に特徴付けられていないことを指摘しています。これにより、以下の2つの具体的な問題が生じています。

1. 生成（Generation）: MAsが、微細なディテール（fine-grained details）の合成とグローバルな意味論（global semantics）に対してどのように影響を与えるのかが不明確である。
2. 理解（Understanding）: 特徴抽出器として使用する場合、空間トークン間で共有されるMAsの高マグニチュードな方向性が表現をバイアスさせ、局所的な記述子を過度に類似させ、高密度な知覚タスクにおける空間的な識別性を弱めてしまう可能性がある。

2. 手法：大規模活性化の誘発（EMA）

著者らは、生成および表現能力の両方を向上させるために、MAsを変調する統一されたトレーニングフリーのフレームワークであるEMAを提案しています。このフレームワークは、タスク固有の2つのモジュールで構成されています。

A. 大規模活性化の分析

解決策を提案する前に、本論文はDiTにおけるMAsの構造的特性を確立しています。

• 空間分布とチャネル集中: MAsはすべての空間画像トークンに分布していますが、少数の固定された特徴次元（例：SD3における次元810）に集中しています。
• AdaLNとの整合性: MAsを保持する次元は、Adaptive Layer Normalization (AdaLN) によって生成される残差スケーリング係数（$\alpha_k$）と密接に一致しています。
• タイムステップ変調: MAの大きさは、テキスト条件よりも主にデノイジングのタイムステップ（ノイズレベル）によって形作られます。プロセスが高ノイズから低ノイズのタイムステップへ進むにつれて、MAの大きさは増加します。
• 機能的な二面性:
  • 生成: MAsを破壊すると、グローバルな意味論（レイアウト、物体の同一性）は維持される一方で、微細なディテール（テクスチャ、目、髪など）が著しく劣化します。
  • 理解: MAsの共有された高マグニチュードな方向性は、コサイン類似度において、生のDiT特徴を空間的に識別不能なものにし、高密度なマッチングを妨げます。

B. モジュール1：生成のためのMA駆動型ディテールガイダンス（DG）

視覚生成を強化するために、EMAはサンプリングをガイドするための「ディテール欠乏」な反事実的ブランチを構築する自己ガイダンス戦略である**ディテールガイダンス（DG）**を導入します。

• メカニズム: DGは、中間層のDiTブロックにおける隠れ状態内の特定されたMA次元を適応的に抑制します。
• 適応的抑制: ディテールは主にデノイジングの後半段階で形成されるため、抑制はタイムステップ依存の保持係数（$\rho_t$）を介して適用されます。MAsは初期段階では保持され（グローバルな構造のため）、後半段階では強く減衰されます（ディテールの合成を除去するため）。
• ガイダンスの定式化: 最終的な予測は、ディテール欠乏ブランチから遠ざかるようにガイドされます：
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  ここで、$\hat{z}_t$ はMAsが抑制された状態です。
• 効率性と柔軟性:
  • 部分的フォワード推論（Partial-Forward Inference）: 反事実的ブランチは、介入ブロックまでの計算を元のブランチと共有するため、DGはネットワークのサフィックス（後続部分）の再計算のみを必要とし、標準的なCFGと比較してレイテンシを低減します。
  • ローカルDG: 抑制を特定の空間トークン（例：バウンディングボックス内）にのみ適用できるため、ディテールが弱い領域のターゲットを絞った精緻化が可能です。
  • 互換性: DGはClassifier-Free Guidance (CFG) と補完的です。CFGが意味的な整合性を強化するのに対し、DGは局所的なディテールの忠実度を高めます。

C. モジュール2：理解のためのMA変調表現抽出（MREP）

視覚的な理解を向上させるために、EMAはMAsの方向的な支配性を緩和しつつ、その有用な空間構造を保持するMREPを導入します。

• AdaLN変調: MREPは、事前学習済みのAdaLNチャネルごとの重み（$\gamma_k, \beta_k$）を再利用して隠れ状態を変調します。これにより、MAsの次元を破棄することなく、その支配性を低減します。
• 空間正規化: MAsの空間マップは依然として意味のある応答パターンをエンコードしているため、MREPはこれらのマップを抽出し、マグニチュードのバイアスを取り除くために空間的に正規化し、変調された特徴量と結合します。
• 結果: これにより、グローバルなMAの方向に支配されすぎず、かつ情報量の多い空間的な手がかりを保持した表現が生成されます。

3. 主な貢献

1. 体系的な分析: 本論文は、DiTにおけるMAsの最初の体系的な研究を提供し、それらを空間的に分布し、チャネルに集中し、AdaLNに関連し、タイムステップによって変調されるコンポーネントとして特徴付けました。
2. 二面性の解明: MAsの二面性を明らかにしました。すなわち、生成においては微細なディテール合成に不可るとき、一方で表現学習においては、共有された高マグニチュードな方向性によって空間的な識別性を損なうという性質です。
3. EMAフレームワーク: 2つのモジュールを持つトレーニングフリーのフレームワークを導入しました。
   • DG: 画像/ビデオ生成のディテールを強化し、局所的な精緻化を可能にします。
   • MREP: 特徴抽出を変調することで、高密度な視覚理解（対応関係、セグメンテーション、深度）を向上させます。
4. 統一されたツール: MAの変調が、生成タスクと識別タスクの両方において、事前学習済みDiTからより強力な能力を引き出すための統一されたメカニズムであることを示しました。

4. 実験結果

著者らは、幅広いモデル（SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2）とタスクについてEMAを評価しました。

• 画像生成:
  • DGは、プロンプトへの整合性を維持しながら、すべてのモデルにおいて微細なディテールの品質（Aesthetic scores, HPSv2.1）を一貫して向上させました。
  • SD3.5において、DGはAestheticスコアを、条件付き（Cond）で5.94から6.16へ、CFG適用時で6.01から6.18へと向上させました。
  • DGは、ディテール品質の指標において、他のガイダンス手法（CFG++, APG, S2-Guidance）を上回りました。
  • DGとCFGを組み合わせることで最高の全体性能が得られ、両者の補完的な性質が検証されました。
• ビデオ生成:
  • Wanモデルに適用した結果、DGは全体的なスコア、品質、および外観の忠実度を向上させました。DG+CFGは、Wan14Bにおいて最高の合計スコアを達成しました。
• クラス条件付き生成:
  • ImageNet（DiT-XL/2）において、クラス条件付きの下で、DGはFIDを9.52から5.77に減少させ、ISを122.79から179.26に増加させました。
• 視覚的理解:
  • 意味的対応関係（Semantic Correspondence）: MREPは、生のDiTF特徴と比較して、SPair-71k、AP-10K、PF-PascalにおいてPCKスコアを大幅に向上させました。
  • 意味的セグメンテーション: ADE20Kにおいて、MREPは54.9 mIoU（シングルスケール）を達成し、生のDiTF（53.6）を上回り、強力なベースラインに匹敵しました。
  • 深度推定: NYUv2において、MREPはRMSEを0.220に、RELを0.060に減少させ、生の特長量や他の拡散ベースのベースラインを上回りました。
• 効率性:
  • 部分的フォワードDGは、フルCFGの再評価と比較して、品質を向上させつつ推論レイテンシを低減しました（例：SD3.5において15.7秒から10.6秒へ）。
• 汎用性:
  • DGは非標準的なDiTアーキテクチャ（PixArt-$\alpha$, SANA）やクラス条件付きの設定でも効果的であり、これがアーキテクチャ固有のアーティファクトではなく、一般的なメカニズムであることを示しています。

5. 重要性と主張

本論文は、大規模活性化（MAs）が単なる偶然の数値的外れ値ではなく、DiTが視覚情報を処理する方法を根本的に形作る、構造化されたステージ依存のコンポーネントであることを主張しています。MAsを統一された変調信号として扱うことで、著者らは以下を実証しました。

• 生成において: MAsを抑制することで自然な「ディテール欠乏」ブッチが作成され、グローバルな意味論を乱すことなく、微細な合成を特異的にターゲットとするガイダンス信号を抽出できます。
• 理解において: MAsによって導入される「ノイズ」は、AdaLNベースの変調と空間正規化を通じて軽減でき、生成的なバックボーンをより識別的な特徴抽出器へと変換できます。

この研究は、MA変調が、生成コンテンツの忠実度と、ダウンストリームの知覚タスクに対する内部表現の有用性の両方を向上させる、トレーニング不要の汎用的なツールであることを確立しています。著者らは、このアプローチが、大規模な視覚生成モデルにおける制御可能な信号として、内部の活性化構造をさらに探索することを促すものであると結論付けています。