Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

以下は、論文「Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）のレッドチーム化は、展開前に脆弱性（有毒または有害な出力）を能動的に発見することを目的としています。強化学習（RL）手法は高報酬の攻撃を発見できますが、モード崩壊に陥り、反復的で狭い攻撃パターンを生成する傾向があります。一方、生成フローネットワーク（GFN）は分布マッチングの枠組みを提供し、理論的には多様な高報酬軌道の発見を可能にします。しかし、GFN を LLM のレッドチーム化に適用する際には、2 つの重要な課題に直面します：

1. 訓練の不安定性：標準的な GFN の目的関数（軌道バランス、TB など）は、グローバルな分配関数（$Z$）の推定を必要とします。LLM の高次元かつ離散的な空間において、$Z$ の推定は数値的に不安定であり、収束の悪化やモード崩壊を招きます。
2. ノイズの多い報酬：毒性分類器は高密度ながらノイズの多い信号を提供します。これらはしばしば意味不明なテキストや分布外（OOD）のテキストにも非ゼロの報酬を割り当て、モデルが流暢で多様な攻撃ではなく、無意味なテキストを生成することで報酬を「ハック」する原因となります。

2. 手法：Stable-GFlowNet (S-GFN)

著者は、明示的な分配関数推定の必要性を排除し、ノイズの多い報酬をフィルタリングすることで、安定した多様な訓練を可能にするフレームワークであるStable-GFlowNet (S-GFN) を提案します。パイプラインは 3 つの中核コンポーネントで構成されます：

A. 対照的軌道バランス (CTB)

$Z$ の推定に伴う不安定性に対処するため、S-GFN は絶対的なフローマッチング目的をペアワイズ比較目的に置き換えます。

• メカニズム：方策フローと報酬の誤差を $Z$ に対して最小化する代わりに、CTB は軌道ペア $(y_1, y_2)$ に対する方策確率の対数比と報酬の対数比の間の二乗差を最小化します：
  $$L_{CTB} = \left( \log \frac{\pi_\theta(y_1)}{\pi_\theta(y_2)} - \log \frac{R(y_1)}{R(y_2)} \right)^2$$
• 理論的保証：著者は、CTB の最適方策が標準的な軌道バランス（TB）のそれと同一（$\pi_\theta(y) \propto R(y)$）であることを証明しています。
• 分散低減：1 つのサンプルをもう 1 つのサンプルの基準として使用することにより（Reinforce Leave-One-Out に類似）、外部の基準ネットワークや $Z$ の推定を必要とせずに、勾配分散を暗黙的に低減します。

B. ノイズ勾配剪定 (NGP)

ペアワイズ比較に固有の報酬ノイズ増幅のリスクを軽減するため、S-GFN はサリエンシーベースのフィルタを導入します。

• メカニズム：勾配の計算は、対数報酬の絶対差が閾値 $\sigma$ を超える軌道ペアに対してのみ行われます：
  $$L_{NGP} = \mathbb{I}(|\log R(y_1) - \log R(y_2)| > \sigma) \cdot L_{CTB}$$
• 効果：これにより、被害 LLM または毒性分類器の確率性によって引き起こされる些細な報酬の差に基づくオプティマイザの更新を防ぎ、ノイズの多い勾配を実質的に剪定します。

C. Min-K 流暢性安定化器 (MKS)

モデルが、誤って毒性スコアを受けやすい意味不明なテキストの局所最適解に収束するのを防ぐため、S-GFN は流暢性の制約を採用します。

• メカニズム：参照モデルへの過学習を招きうるグローバルな KL 発散ペナルティの代わりに、MKS はMin-K 統計量を計算します。これは、参照モデル下での生成シーケンス内の $k$ 個の最も確率が低いトークンの平均対数確率です。
• ハードペナルティ：Min-K スコアが閾値 $T_{mks}$ 未満の場合、報酬はゼロ（または大きな負の値）にクリップされます。
  $$R_{MKS}(y) = \mathbb{I}(M_k(y) \ge T_{mks}) \cdot R(y)$$
• 利点：これにより、流暢で言語的に一貫性のあるプロンプトのみが高報酬とみなされ、モデルが無意味なテキストを生成することなく、より広範な有効な攻撃空間を探索できるようになります。

3. 主な貢献

1. Stable-GFN フレームワーク：分配関数推定（$Z$）を不要とする新規のレッドチーム化フレームワークであり、LLM における GFN の訓練不安定性の主要因を解決します。
2. 対照的軌道バランス (CTB)：TB と同じ最適分布を達成しつつ、分散を大幅に低減し、訓練の安定性を向上させる新しい目的関数です。
3. ノイズへの頑健性：NGP と MKS の統合は、レッドチーム化特有の課題（ノイズの多い分類器と意味不明な報酬）に特に対処し、モード崩壊と報酬ハッキングを防ぎます。
4. 普遍性：本論文は、CTB と NGP がレッドチーム化だけでなく、分子生成やハイパーグリッドナビゲーションなどの他の分布マッチングタスクにおいても有効であることを示しています。

4. 実験結果

著者は、S-GFN を、Qwen、Llama、Gemma などの各種被害モデルおよび防御設定において、PPO、Jailbreak R1、Rainbow Teaming、標準 GFN（TB）などのベースラインと比較評価しました。

• 多様性（ユニークな攻撃）：S-GFN は134 のユニークな攻撃プロンプトを生成し、標準 GFN ベースライン（17）や PPO（3）に対して大幅な改善を示しました。これは GFN ベースラインよりも約7 倍多いユニークな攻撃です。
• 攻撃成功率 (ASR)：S-GFN は**約 92.5%**の高い ASR を維持し、最高性能のベースライン（GFN: 93.7%、PPO: 91.7%）と同等であり、多様性が有効性を犠牲にしたものではないことを証明しました。
• クロス攻撃転移性：S-GFN の攻撃を用いて被害モデルを安全性微調整した結果、他の手法からの攻撃に対する頑健性が大幅に向上しました（GFN 攻撃に対する ASR はほぼ 0% に低下）。逆に、S-GFN の攻撃は他の手法で微調整されたモデルに対しても有効であり、優れた汎化性を示しました。
• 転移攻撃：S-GFN は、Gemma3 や Llama3.2 などの未見の被害モデルへの攻撃転移に成功し、転移シナリオにおいて ASR と多様性の両方で他の手法を上回りました。
• 効率性：$O(N^2)$ のペアワイズ比較があるにもかかわらず、これらはスカラー演算であるため計算コストは無視できます。実際の逆伝播コストは $O(N)$ のままであり、S-GFN は標準 GFN とほぼ同等の効率性を有しています。

5. 意義

本論文は、LLM 安全性研究における重要な進展を表しています。GFN の訓練不安定性を解決することで、モード崩壊により従来の RL 手法が見逃していた多様で高影響な脆弱性の体系的発見を可能にします。

• 安全性のために：展開前に攻撃ベクトルのより広範なスペクトルを特定できる、より頑健なレッドチーム化ツールを提供します。
• 防御のために：S-GFN によって生成された多様な攻撃は、より広範な将来の攻撃に対して耐性のある安全性微調整モデルへとつながります。
• 機械学習のために：提案された対照的軌道バランスは、高次元でノイズの多い環境における分布マッチングに対する汎用可能な解決策を提供し、GFN の適用範囲をレッドチーム化から創薬や材料科学などの分野へ拡張します。

要約すると、Stable-GFlowNet は、GFN の理論的多様性と、実世界の LLM レッドチーム化に必要な実用的な安定性の間のギャップを成功裡に埋め、多様かつ効果的な敵対的プロンプト生成における新たな最先端を確立しました。