技術概要：F-TIS – 協調的 GRPO における多様なモデルの活用

問題定義

グループ相対方策最適化（GRPO）は、推論能力の向上を特に目的とした大規模言語モデル（LLM）の事後学習において、支配的な手法として浮上しています。近接方策最適化（PPO）とは異なり、GRPO は単一のプロンプトに対して生成された複数の完了文のグループに対する相対的なアドバンテージを計算することで、個別の価値モデルの必要性を排除します。しかし、LLM 生成の自己回帰的性質は、推論段階において重大な計算ボトルネックを生み出します。

これを解決するため、先行研究では生成ステップを複数のノードに分散させることが検討されてきました。既存の分散アプローチは、主に「オンポリシー」条件を維持するために均質モデル（同一のアーキテクチャとパラメータ）を前提としています。この仮定は、参加者が異質なリソースと好みを保有する分散型学習シナリオでは非現実的です。そのような環境では、以下の 3 種類の異質性が生じます：

1. モデルサイズ: ノードは、桁違いのパラメータ数を持つモデル（例：1B vs 3B）を実行する可能性があります。
2. モデルの専門性: ノードは、サイズは類似しているが専門性が異なるモデル（例：汎用モデル vs コーディング特化モデル）を保有する可能性があります。
3. 学習可能パラメータ: ノードは、異なる微調整戦略（例：フル微調整 vs LoRA などのパラメータ効率型微調整）を採用する可能性があります。

異質なモデルが調整なしで協調する場合、学習データは極めてオフポリシーなものとなります。生成方策（$\pi_{\gen}$）と更新方策（$\pi_{\theta}$）の間の乖離は、破壊的なノイズを導入し、孤立して学習した場合と比較して、方策の崩壊や著しい性能低下を引き起こします。

手法：フィルタリング付き切り捨て重要度サンプリング（F-TIS）

著者は、通信オーバーヘッドを最小化しつつ、異質なモデル間で安定した協調的 GRPO 学習を可能にする統合フレームワークF-TISを提案します。この手法は、切り捨て重要度サンプリング（TIS）とサンプルフィルタリングという 2 つの主要なメカニズムを組み合わせています。

1. 切り捨て切り捨て重要度サンプリング（TIS）

標準的な GRPO はオンポリシーデータを前提としています。オフポリシーサンプルを処理するために、著者は重要度サンプリングを用いて損失関数を適応させます。彼らは 3 つのアプローチを比較します：

• NoIS（重要度サンプリングなし）: すべてのサンプルをオンポリシーとして扱う（失敗のベースライン）。
• VIS（バニラ重要度サンプリング）: すべてのトークンに重要度比 $\frac{\pi_{\theta}}{\pi_{\gen}}$ を適用する。
• TIS（切り捨て重要度サンプリング）: 極端な重みが学習を不安定化させるのを防ぐため、重要度比を定数 $C$（例：$C=2$）で切り捨てる。この比は、トークンにわたる内側の総和の外側に移動されます。

TIS の損失定式化は以下の通りです：
$$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{\gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$$
ここで、$R_{i,\theta}$ は切り離された比であり、$\hat{A}_i$ はグループアドバンテージです。

2. サンプルフィルタリング

著者は、負のアドバンテージ（$\hat{A}_i < 0$）を持つオフポリシーサンプルが、あり得ないトークンを増幅し、意味不明な完了文につながることを観察しました。彼らは、以下の基準に基づくフィルタリングメカニズムを導入します：

• アドバンテージ: $\hat{A}_i < 0$ のサンプルは、更新ステップから除外されます。
• KL 発散: 現在の方策と生成方策間の KL 発散が閾値 $g$ を超えるサンプル（$D_{KL}(\pi_{\theta} \parallel \pi_{\gen}) > g$）もフィルタリングされます。

フィルタリングされたサンプルは、グループの相対的順位を維持するためにグループアドバンテージの計算には使用されますが、勾配更新からは除外されます。

3. F-TIS フレームワーク

F-TIS は TIS とフィルタリングを統合します。損失関数におけるアドバンテージ項 $\hat{A}_{t,i}$ は、サンプルがフィルタリングされた場合（すなわち、$\hat{A}_i \leq 0$ または $D_{KL} > g$ の場合）、0 に設定されます。

• 通信効率: このフレームワークは、トークンと対数確率のみ（トークンあたり約 8 バイト）を送信する最小限の通信を必要とし、分散型ネットワークに適しています。

主要な貢献

1. 異質性課題の特定: 本論文は、標準的な GRPO が分散型異質環境（NoIS）では失敗し、孤立学習と比較して性能が低下することを実証的に示しています。
2. F-TIS アルゴリズム: 異なるサイズ、専門性、PEFT 構成を持つ多様なモデルからのオフポリシーサンプルを、方策の崩壊なしに効果的に活用する新しい学習パラダイムです。
3. 通信効率: この手法は、完全なモデル同期や重たい価値モデルの交換を必要とする手法とは異なり、対数確率とトークンのみを必要とする低オーバーヘッドを維持します。
4. アブレーション研究: 著者はフィルタリング閾値 $g$ の影響を体系的に分析し、F-TIS をフィルタリング付きバニラ重要度サンプリング（F-VIS）と比較することで、学習の後半段階における切り捨ての優位性を実証しています。

実験結果

著者は、トレーニングに GSM8k データセットを、分布外（OOD）テストに MATH-500 データセットを使用し、Qwen2.5 モデル（1.5B と 3B、Base および Coder 変種）を用いて F-TIS を評価しました。

• 収束: F-TIS は、すべての異質設定において、純粋なオンポリシー（均質）トレーニングと同一の最終モデル収束を達成します。
• 一般化（OOD）: いくつかの構成において、F-TIS は OOD タスクにおいて孤立したオンポリシートレーニングを上回りました。特に：
  • 3B Coderモデルを Base モデルとペアリングした場合、MATH-500 の性能が**5.2%**向上しました。
  • 3B Coderモデルをより小さな Coder モデルとペアリングした場合、**12%**向上しました。
  • 3B PEFTモデルは、協調的に学習された場合、**7%**向上しました。
• フィルタリング閾値（$g$）: アブレーション研究により、より小さな $g$ 値は、ランダムノイズを除去することで初期段階で小さなモデル（1.5B）に有益である一方、より大きなモデル（3B）は学習の後半でより高い $g$（例：50）から恩恵を受け、空間のより広範な探索を可能にすることが明らかになりました。
• 垂直 vs 水平: 本論文は、垂直協調（1 つのノードがプロンプトに対して完全なグループを生成する）が、水平協調（ノードがサブセットを生成する）よりも優れていることを発見しました。水平協調は、スワームの平均に対するアドバンテージ計算にバイアスを導入し、性能を低下させます。

意義と主張

本論文は、F-TIS を LLM 向けの分散型協調 RLへの基礎的な一歩として位置づけています。著者は、異質なモデル間での協調的 RL を成功裡に研究・実現した最初の研究の一つであると主張しています。

主な主張には以下が含まれます：

• 実現可能性: 通常、オフポリシーデータに関連する性能崩壊なしに、単一の GRPO 実行内で多様なモデルを一緒にトレーニングすることが可能です。
• 効率性: この手法は通信効率が高く、さまざまなネットワーク制約を持つ分散システムで実行可能です。
• 強化された推論: オンポリシー性能に一致するだけでなく、オフポリシーサンプルの協調的な使用は、正則化剤または探索促進剤として機能し、孤立してモデルをトレーニングする場合と比較して、分布外タスクにおけるより良い一般化（最大 12% の改善）をもたらします。
• 実用性: このフレームワークは、ユーザーが異なるハードウェア能力（モデルサイズ）と専門的なニーズ（専門モデルまたは PEFT）を持つ現実世界の制約を許容し、同一のインフラを必要とせずに共有学習目標に貢献することを可能にします。