技術要約: LISA (Likelihood Score Alignment)

問題提起

本論文は、モデルが画像やビデオ合成をガイドするために視覚的モダリティ（ポーズ、セグメンテーション、深度マップなど）を統合しなければならない、「視覚的条件付き制御可能な生成（visual-condition controllable generation）」の課題に取り組んでいる。主流のアプローチは「デュアルブランチ・パラダイム」であり、これは学習済み拡散モデルまたはフローマッチングモデルを「メインネットワーク」として凍結し、視覚的条件をエンコードするための別個の「サイドネットワーク」を訓練するものである。これらのサイド特徴量は、その後メインネットワークへと融合される。

この手法は成功しているものの、著者らはサイドネットワークの役割とその学習効率が十分に探求されていないと主張している。既存の手法は、正則化のために外部のセマンティックエンコーダー（表現アライメントなど）に依存することが多く、それが性能を選択したエンコーダーに制限し、複雑さを増大させている。特定された核心的な問題は、サイドネットワークは「尤度スコア（条件付きスコアと無条件スコアの差）」を提供する役割を暗黙的に学習しているものの、訓練中にこの特定の役割に対する明示的な監督（supervision）を欠いていることである。

手法: LISA

著者らは、スコアベース生成モデリングに基づいた正則化手法である LISA (Likelihood Score Alignment) を提案する。

1. 理論的分解

本論文は、ベイズの法則を通じてデュアルブランチ・パラダイムを再解釈している。条件付きスコア $\nabla_{x_t} \log p_t(x_t|c)$ は以下のように分解される：

1. 無条件スコア (Unconditional Score): 凍結されたメインネットワークによって提供される $\nabla_{x_t} \log p_t(x_t)$。
2. 尤度スコア (Likelihood Score): 条件付きスコアと無条件スコアの間のギャップを表す $\nabla_{x_t} \log p_t(c|x_t)$。

標準的なデュアルブランチの設定では、サイドネットワークはこのギャップを埋めることを暗黙的に学習する。LISAはこの役割を明示的なものにする。

2. 近似尤度スコアの構築

サイドネットワークを監督するために、LISAは外部エンコーダーを必要とせずに、ターゲットとなる「近似尤度スコア」($\hat{\ell}_t$) を構築する：

• 無条件ターゲット: 条件注入なしで凍結されたメインネットワークを実行することで得られる：$s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$。
• 条件付きターゲット: 標準的なデノイジングターゲット $\nabla_{x_t} \log p_t(x_t|x_0)$ が、条件付きスコアの扱いやすいプロキシ（代理）として機能する。
• 尤度ターゲット: 近似尤度スコアは、その差分として計算される：
  $$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$$

3. アライメント・メカニズム

• 特徴量抽出: サイドネットワークから特定の中間特徴量レイヤー $r^k_\phi(x_t, c, t)$ を「フック（抽出）」する。
• 軽量デコーダ: この特徴量は、サイドネットワークのサイズの約0.1%に相当する、学習可能な小さなデコーダ $D_\psi$ に入力され、特徴量を潜在スコア空間へと投影する。
• 正則化損失: デコーダの出力は、$L_2$ 距離を用いて近似尤度スコアターゲットとアライメントされる。
• 最適化: 全体の目的関数は、標準的な拡散損失 ($\mathcal{L}_{main}$) と LISA 正則化損失 ($\mathcal{L}_{LISA}$) を組み合わせたものである：
  $$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$$
• 推論: 軽量デコーダは訓練後に破棄される。サイドネットワークは元のアーキテクチャと全く同じように使用されるため、追加の推論コストはゼロである。

主な貢献

1. 新しい視点: 本論文は、メインネットワークとサイドネットワークの役割を、それぞれ無条件スコアと尤度スコアへと分解することで、デュアルブランチ・パラダイムを分析している。
2. LISAフレームワーク: サイドネットワークの特徴を近似尤度スコアに明示的にアライメントさせる効果的な正則化技術を導入し、外部のセマンティックエンコーダーの必要性を排除した。
3. 効率性と性能: わずかな追加の訓練コストで、かつ推論オーバーヘッドなしに、学習の収束を加速させ、最終的な合成品質（知覚的品質および条件への忠実度の両方）を向上させる。
4. もつれ解消 (Disentanglement): 明示的なアライメントにより、サイドネットワークの特徴がより解きほぐされる（disentangled）よう促され、マルチ条件生成における構成的な制御が自然に向上する。

実験結果

著者らは、様々なタスク、アーキテクチャ（U-Net, DiT）、およびモデル（Diffusion, Flow Matching）にわたって LISA を評価した：

• 画像生成タスク: SDXL-1.0 および Stable Diffusion 2.1 を用いた、ポーズ、セグメンテーション、深度、および低解像度画像生成に関する実験。
  • 収束: LISA は一貫して収束を加速させた。例えば、ポーズ条件付き生成において、LISA は 10K イテレーションにおける従来の ControlNet と比較して、10K イテレーションでの PCK (Percentage of Correct Keypoints) を 19.38% から 83.02% へと向上させた。
  • 効率性: LISA は、より少ないイテレーションで優れた結果を実現した（例：深度マップ生成において、LISA による 4K イテレーションが ControlNet の 10K イテレーションを上回った）。
  • 比較: LISA は、外部モデルを必要とせずに、ControlNet+REPA（外部の DINOv2 エンコーダーに依存するもの）と同等またはそれを上回る性能を示した。
• ビデオ生成: ポーズ誘導ビデオ生成（ControlVideo）に適用。LISA は 5K および 30K イテレーションにおいて、FVD (Frechet Video Distance) と PCK を大幅に改善した。
• アーキテクチャに依存しない性質: 本手法は、Diffusion Transformer (DiT) および Optimal Transport Flow Matching (OT-FM) モデル（例：Stable Diffusion 3）にも汎用的に適用可能であった。
• 構成的制御: 独立して訓練されたポーズネットワークとセグメンテーションネットワークを組み合わせた際、LISA はベースラインと比較して優れた構成的生成能力を示し、学習された特徴のより優れた解きほぐし（disentanglement）を示唆した。
• オーバーヘッド: 本手法は、訓練中に約 0.1% のパラメータと 0.2 秒のレイテンシのみを追加したが、推論時にはコストはゼロであった。

意義と主張

本論文は、LISA がデュアルブランチ・パラダイムの訓練における非効率性に対するシンプルかつ効果的な解決策を提供すると主張している。生成プロセスを明示的に分解し、サイドネットワークを尤度スコアにアライメントさせることで、LISA は強力な事前知識の監督として機能し、以下のを実現する：

1. 訓練の加速: 高品質な結果に到達するために必要なイテレーション数を大幅に削減する。
2. 品質の向上: 出力の知覚的品質と視覚的条件への忠実度の両方を高める。
3. アーキテクチャの簡素化: 以前のアライメント手法で必要とされていた外部のセマンティックエンコーダーへの依存を排除する。
4. 構成的制御の実現: 学習された特徴の解きほぐしが向上したことにより、複数の視覚的条件の組み合わせを自然に促進する。

著者らは、LISA が、異なるモデルアーキテクチャにわたる画像およびビデオの両方のタスクに適した、拡張可能で実用的なアプローチであると結論付けている。