技術要約：Signed Rectified Flow (Signed RF)

問題提起

多くの生成モデリングのタスクでは、望ましい分布（$\pi_+$）を促進するだけでなく、望ましくない分布（$\pi_-$）を明示的に抑制することも求められます。これは、条件付き生成（ターゲットに一致させつつ不整合を回避する）、安全性へのアライメント（価値観に沿った出力を生成しつつ有害なものを排除する）、および好みの学習において発生します。

現在の手法、特にフローや拡散モデルは、サンプリング時のヒューリスティックなガイダンス（例：Classifier-Free Guidance）に依存しています。これらの手法は、固定または手動で調整されたスケールを用いて、正の場と負の場の間を外挿します。しかし、誘導されるサンプリング分布は十分に理解されておらず、データの空間のどの領域が効果的に促進または抑制されているのかを明らかにすることが困難です。さらに、標準的なガイダンスは「負のデータの欠如」問題に苦慮します。つまり、訓練時に負の例が存在しないことが、モデルがそれらを生成することを本質的に防ぐわけではないという問題です。

手法：Signed Rectified Flow

著者らは、Rectified Flow (RF) を符号付き測度（signed measures）を扱うように一般化した、原理的なフレームワークである Signed Rectified Flow (Signed RF) を提案しています。

1. 符号付きターゲット

標準的な確率分布の代わりに、Signed RF は以下の符号付きターゲット測度を定義します：
$$\pi_{\text{sign}} = (1 + \alpha)\pi_+ - \alpha\pi_-$$
ここで、$\alpha > 0$ です。ここで $\pi_+$ は促進すべき分布を表し、$\pi_-$ は抑制すべき分布を表します。$\pi_{\text{sign}}$ は有効な確率分布ではありません（負の値を取り得、標準的な意味での積分値が1にはなりません）が、明示的な除外制約をエンコードするための中間オブジェクトとして機能します。

2. ダイナミクスと速度場

Signed RF は、この符号付きターゲットに対して RF の速度公式を拡張します。周辺分布 $\pi^+_t$ と $\pi^-_t$、およびソース分布 $\pi_0$ からの線形補間によって誘導されるそれぞれの速度場 $v^+_t$ と $v^-_t$ が与えられるとき、Signed RF の速度場は以下のように導出されます：
$$v^{\text{signRF}}_t(x) = \frac{(1 + \alpha)\pi^+_t(x)v^+_t(x) - \alpha\pi^-_t(x)v^-_t(x)}{(1 + \alpha)\pi^+_t(x) - \alpha\pi^-_t(x)}$$
これは、ガイダンスのような形式に書き換えることができます：
$$v^{\text{signRF}}_t(x) = v^+_t(x) + \lambda^\alpha_t(x) \Delta v_t(x)$$
ここで、$\Delta v_t(x) = v^+_t(x) - v^-_t(x)$ であり、ガイダンス強度 $\lambda^\alpha_t(x)$ は密度比 $r_t(x) = \pi^-_t(x)/\pi^+_t(x)$ によって決定されます：
$$\lambda^\alpha_t(x) = \frac{\alpha r_t(x)}{(1 + \alpha) - \alpha r_t(x)}$$

3. 理論的保証：到達可能領域とゴースト領域

本論文では、このダイナミクス下でのソース初期化された軌跡（$Z_0 \sim \pi_0$）の挙動を分析しています：

• 正の領域の保存: 軌跡は厳密に正の領域 \Omega^+_t = \{x : \pi_{\text{sign}}_t(x) > 0\} 内に留まり、負の領域 $\Omega^-_t$ には決して侵入しません。
• ゼロ集合による障壁: \pi_{\text{sign}}_t(x) = 0 となる集合は、反発的な障壁として機能します。速度場はこの境界において特異となり、浸透を防ぎます。
• 到達可能領域とゴースト領域: サンプリング法則 $\pi^{\text{signRF}}_t$ は、到達可能領域 $\Omega^r_t \subseteq \Omega^+_t$ において、符号付き周辺分布 \pi_{\text{sign}}_t と正確に一致します。正の領域の残りの部分は、ゴースト領域 ($\Omega^g_t$) と呼ばれます。ゴースト領域内の正の質量は、サンプリング法則から除外された負の質量と正確に均衡します。
• 解釈: 著者らは、「荷電粒子」の解釈を提供しており、正の粒子と負の粒子がゼロ境界で消滅（annihilate）することで、サンプリングされた軌跡と負の領域との間に構造的な分離を生み出すとしています。

4. 実装

Signed RF を実装するには、密度比 $r_t(x)$ を推定する必要があります。論文では2つの方法を提案しています：

1. 分類器ベース: 正の分岐と負の分岐からのノイズを含む状態に対してバイナリ分類器を訓練し、オッズ比を推定する。
2. オンライン・レシオ・トラッキング: 連続の式とスコア関数から導出される ODE を軌跡に沿って積分することにより、対数密度比 $u_t = \log r_t(z_t)$ を追跡する。これにより、補助的な分類器の訓練を回避できる。

主な貢献と結果

1. 理論的フレームワーク

本論文は、Signed RF が、到達可能領域において符号付き密度を保持し、それ以外ではゼロ密度を割り当てることで、符号付き周辺分布を有効な確率法則へと整流（rectify）することを確立しています。これにより、負の情報を組み込むための厳密な基礎が提供され、誘導されたフローが、アドホックな制約を必要とせずに自然に負の領域を回避することを証明しています。

2. 実証的応用

著者らは、以下のドメインにおいて Signed RF の性能を示しています：

• 2D トイ・エグザンプル & PointMaze: Signed RF は、定数ガイダンスが失敗する（反発が不十分であるか、過剰に反発するかのいずれかとなる）状況において、正と負のモードを正常に分離し、障害物を回避することに成功しました（欠損した負のデータ問題）。
• ImageNet クラス条件付き生成: 学習済みの Rectified Flow モデルを使用し、Signed RF は忠実度と多様性のトレードオフを改善しました。16 NFE（関数評価回数）において、FID を 2.38 (CFG) から 1.82 に減少させつつ、同等の精度においてより高い Recall を維持しました。
• アンチ・メモライゼーション（記憶防止）: 学習セットを負の分布としてモデル化することで、Signed RF（「Data Repulsive Flow」と呼称）は学習データの複製を減少させます。高リスクなシードにおいて、データセット固有のアーティファクト（ウォーターマーク、境界線など）を抑制し、生成品質を維持しながら学習セットへの最近傍距離を増加させました（SPELL-50 に対して FID 2.03 vs 7.41）。
• コンセプト抑制と安全性: Stable Diffusion 3.5 に適用した結果、Signed RF はヌード生成の攻撃成功率 (ASR) を 15.19% から 6.33% に、および毒性率を減少させ、同時に CLIP スコアと美的スコアを維持しました。また、特定のコンセプト（ミッキーマウスやスパイダーマンのような著作権のあるキャラクターのアイデンティティなど）を効果的に抑制しつつ、望ましい視覚的属性を保持しました。

意義と主張

本論文は、Signed RF が、負の分布を生成フローに組み込むための原理的かつ実践的なフレームワークであることを主張しています。固定されたスケールに依存するヒューリスティックなガイダンス手法とは異なり、Signed RF は、正と負の分岐間の局所的な密度比から、状態依存のガイダンス強度を導出します。

主な主張は以下の通りです：

• 理論的厳密性: 除外のための数学的に根立ったメカニズムを提供し、ソース初期化されたフローが、符号付きゼロ集合における反発障壁を通じて、自然に負の領域を回避することを証明しています。
• 欠損した負のデータの解決: 負の例が不足している学習データの限界に対処し、ユーザーが負の分布（例：学習セット自体や特定のコンセプト）を定義して抑制することを可能にします。
• トレードオフの最適化: 実証的に、既存のベースライン (CFF, SPELL, SAFREE) よりも、大幅な計算コストの増加（実行時間とメモリの約10%の増加）なしに、優れた忠実度–多様性のトレードオフと効果的なコンセプト抑制を実現しています。

本研究は、Signed RF を、単なるヒューリスティックな外挿を超えて、促進と抑制の両方を単一の動的システム内で統一的に扱う、Rectified Flow の一般的な拡張として位置づけています。