技術的サマリー：TAG：ハルシネーションに強いサンプリングのための接線増幅ガイダンス

1. 問題提起

拡散モデルは画像生成において最先端のパフォーマンスを達成しているが、頻繁にハルシネーション（データの分布における意味的な不一致や違反、例えば余分な指のような解剖学的な不可能性、または混同された物体など）に悩まされている。最近の研究は、これらの誤りがモード間補間に起因することを示唆しており、そこではサンプリング軌跡がデータ分布の異なるモード間の低密度の谷を通過し、属性の不一致や構造的な不一致を引き起こす。

既存の推論時ガイダンス手法、例えば Classifier-Free Guidance (CFG) やその派生手法は、通常、条件付きブランチと無条件ブランチ間の残差スケーリングに依存している。これらは効果的ではあるが、大まかに幾何学的な無視（geometry-unaware）されており、データ分布の局所的な方向構造を考慮することなく、単一のスカラー倍率を残差に適用する。これは意図せずしてデノイジング軌跡を歪め、多様体外へのドリフトや過剰な平滑化を引き起こす可能性がある。さらに、多くの既存の解決策は外部信号、アーキテクチャの変更、または追加のデノイジング評価を必要とし、大幅な計算オーバーヘッドを追加している。

2. 手法：接線増幅ガイダンス (TAG)

著者は、軌道信号のみに作用する、トレーニング不要、アーキテクチャ非依存、プラグアンドプレイ型のガイダンス手法であるTangential Amplifying Guidance (TAG) を提案する。TAG は、サンプリング更新ステップの幾何学的分解に基づいている。

中核概念

Tweedie の恒等式とガウス環定理に鑑み、著者は汚染された分布の高確率領域が薄い球殻（ノイズのあるデータ多様体、$M_k$）上に存在することを観察する。サンプリング更新は以下のように分解できる：

1. 半径（法線）成分：ノイズスケジューリングによって規定され、半径に沿って状態を移動させる。
2. 接線成分：多様体に沿って状態を移動させ、半径を維持しながら意味的構造を洗練させる。

著者は、接線成分が豊富な構造的および意味的情報を担い、一方、法線成分は主に構造化されていないノイズであると仮説を立てている。接線成分を増幅することで、半径方向の進行を変更することなく、軌跡をデータ多様体の高密度領域へと誘導する。

アルゴリズム

タイムステップ $k+1$ におけるベースソルバ増分 $\Delta_{k+1}$（例えば DDIM からのもの）が与えられた場合：

1. 射影：更新を、現在の状態 $x_{k+1}$ に対する半径方向 ($P_{M_{k+1}}$) と直交する接線方向 ($P^\perp_{M_{k+1}}$) への射影を用いて分解する。
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. 増幅：接線成分を係数 $\eta \ge 1$ によって増幅し、半径成分は変更しない。
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

理論的正当性

本論文は、接線成分の増幅が一次対数尤度利得を単調に増加させることを示す一次テイラー分析を提供する。具体的には、定理 4.1 は、$\eta$ を増加させることがサンプリング軌跡をモデル密度の高い領域へと駆動し、それにより多様体外のアーティファクト（ハルシネーション）を削減しつつ、適切なデノイジングに必要な半径方向の較正を維持することを証明する。

CFG への拡張

Classifier-Free Guidance に対して、著者は条件付き予測と無条件予測の間の不整合に対処する。彼らは、条件付き予測を接線残差（接空間に射影された条件付きスコアと無条件スコアの差）と整合させることを提案する。この調和は、標準的な CFG において生成品質を低下させることが多い不一致を軽減する。

3. 主要な貢献

• 幾何学的洞察：本論文は、スコア関数の内在的幾何学とサンプル品質の間の具体的なリンクを確立し、接線成分の増幅がサンプリングを分布内多様体へと誘導することを証明する。
• TAG アルゴリズム：この幾何学的原理を実現する、理論的に裏付けられ、計算量に軽く、アーキテクチャ非依存なアルゴリズムの導入。再トレーニング、追加のネットワーク評価、アーキテクチャ変更を必要としない。
• プラグアンドプレイ互換性：TAG は、更新ベクトルに対する後処理ステップとして、既存のソルバやガイダンス手法（PAG、SEG、SSG など）とシームレスに統合するように設計されている。

4. 実験結果

著者は、COCO 2014 データセットと T2I-CompBench を使用して、さまざまな Stable Diffusion バックボーン（v1.5、v2.1、XL、3）および現代のモデル（Qwen-Image、Wan2.2 ビデオ）で TAG を評価した。

• 定量的改善：
  • 無条件生成：TAG は、関数評価数（NFEs）を増やすことなく、すべてのバックボーンで FID（例：SD v1.5: 58.41 $\to$ 46.20）および CMMD を一貫して改善した。
  • 条件付き生成：TAG は、SD v1.5、v2.1、XL、および 3 において、サンプル忠実度とプロンプト整合性（ImageReward、CLIP-Score）を改善した。
  • ハルシネーション削減：T2I-CompBench（空間的および複雑なサブセット）において、TAG は構造的ハルシネーション（例：誤った物体の配置や関係）の削減を示す構成的忠実度指標を改善し、単なる知覚的スタイルのシフトではなく、構造的なハルシネーションを削減した。
  • ビデオ生成：Wan2.2 に適用された TAG は、動的度、画像品質、時間的整合性を改善し、複雑なシーンにおける構造的アーティファクトを削減した。
• 効率性：
  • TAG は、軽量なベクトル射影のみを含むため、ベースラインと比較して計算オーバーヘッドを無視できる程度（約 +9.4% のレイテンシ）しか追加しない。
  • 対照的に、PAG（Perturbed Attention Guidance）などの手法は、追加の UNet 評価によりレイテンシをほぼ倍増させる（+112.8%）。
• 互換性：既存のガイダンス手法（PAG、SEG、SSG）の上に TAG を積み重ねることで、FID および人間の評価スコアにおいてさらなる改善が得られ、残差ベースのガイダンスに対する直交性を示した。

5. 意義と主張

本論文は、TAG がハルシネーションに対する幾何学的視点を提供し、それらをモード間補間中のデータ多様体上にとどまれない失敗として特定することを主張する。更新の接線成分を分離・増幅することで、TAG はサンプリング軌跡を高密度領域へと効果的に修正する。

著者は、TAG が既存のソルバの代替ではなく、相補的な洗練であることを強調している。これは最小限の計算コストでサンプル品質を向上させ、ハルシネーションを削減するため、既存のパイプラインへの統合に適している。論文は控えめに、理論的分析が局所的な一次尤度利得を確立しているものの、サンプリングプロセス全体にわたる逆軌跡の挙動を完全に特徴づけるものではないと指摘している。将来の研究では、適応的スケーリングやより複雑な局所多様体幾何学の推定を探求することが提案されている。