💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL は、2 万 3 千の多様な RLVR サンプルからなる能力指向データセットと、異種マルチタスク最適化のための新規 TMN-Reweight アルゴリズムを通じて長文脈強化学習を強化するオープンソースフレームワークであり、最先端のクローズドソースモデルと同等の性能を達成します。

原著者： Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの集中力が短い生徒に、単一のページではなく膨大な図書館の書物をすべて読み、理解させる方法を教えることを想像してください。これが「長文脈」AI の課題です。論文「GoLongRL」は、これらの AI モデルを訓練するための新たなレシピを提示しており、主に「何を教えるか（データ）」と「宿題をどう採点するか（アルゴリズム）」の 2 つの課題に焦点を当てています。

以下に、簡単な比喩を用いて解説します。

1. 課題：従来の方法は狭すぎた

長い本を読む AI を訓練する従来の方法は、「干し草の山から針を見つける」というパズルだけを訓練するのと同じでした。

問題点: 彼らは、AI に長いテキストに隠された特定の事実を探させることでデータを作成しました。これにより AI は針を見つけることは得意になりましたが、干し草の山全体を要約したり、最も重要な部分をランク付けしたり、複雑な物語を理解したりする方法は教えられませんでした。
結果: AI は特定の事実を見つけることは得意になりましたが、小説を要約したり、散らかった報告書を整理したりするなどの他のスキルは苦手でした。まるで、辞書から特定の単語を見つけることはできるが、エッセイを書くことができない生徒のようです。

2. 解決策：「能力指向」のカリキュラム

GoLongRL の著者たちは、「針探し」だけを続けるのをやめ、賢い読者に必要な 9 つの異なるスキルに基づいた包括的なカリキュラムを構築することを決めました。

データセット（教科書）: 彼らは 23,000 問の練習問題からなる新しいデータセットを構築しました。
- 架空の話ではなく実在の本: 架空の物語を作る代わりに、実在する本、学術論文、法的文書を使用しました。彼らは AI にこれらの実在するテキストに関する質問を生成させました。これにより、AI は人間が書く messy（無秩序で自然な）書き方を扱うことを学ぶことができます。
- 9 つのスキル: データセットは、以下のような多様なタスクを網羅しています。
  - 正確な検索: 特定の事実を見つける。
  - 要約: 長い章を数文に凝縮する。
  - ランク付け: 複数の検索結果のうち、どれが最も有用かを判断する。
  - 推論: 財務報告書内にある数学の問題を解く。
- 比喩: 生徒に「赤いボールを見つけろ」という同じテストを 1 万回与える代わりに、1 万問のテストの混合を与えることを想像してください。中には赤いボールを見つけるよう求めるもの、ゲームを要約するよう求めるもの、選手をランク付けするよう求めるもの、スコアに関する数学の問題を解くよう求めるものがあります。

結果: 派手な新しい数学的トリックを使わなくても、この優れた「カリキュラム」を使うだけで、AI はトップクラスのクローズドソースの競合他社（QwenLong-L1.5）よりも優れたパフォーマンスを発揮しました。

3. アルゴリズム：「公平な採点」システム（TMN-Reweight）

多様なカリキュラムを持ったら、生徒を公平に採点する方法が必要です。標準的な採点方法（GRPO と呼ばれる）は、異なる種類の質問を扱う際に欠陥がありました。

問題点: 数学のテストで正解すると 100 点、読解テストで正解すると 1 点というテストを想像してください。これらを混ぜると、数学の問題が生徒の脳を支配し、読解を無視するようになります。また、問題が非常に難しい場合、標準的な採点は混乱し、幸運な推測に対して過剰な評価を与えたり、あと一歩の失敗に対して過小評価したりする可能性があります。
解決策（TMN-Reweight）: 著者たちは、2 つのステップを持つ新しい採点システムを発明しました。
1. 公平な競争環境の整備（タスクレベルの正規化）: 彼らはスコアを調整し、数学の問題で「完璧」なスコアを取ることと、ランク付けの問題で「完璧」なスコアを取ることが同じ価値を持つようにしました。これにより、AI が数字が小さく見えるだけで難しいタスクを無視することを防ぎます。
2. 苦闘への焦点（難易度適応型再重み付け）:
  - 生徒が易しい質問に正解した場合、教師は「よくやったが、あなたはすでにこれを分かっていた」と言い、報酬を小さくします。
  - 生徒が難しい質問に正解した場合（これは稀です）、教師は「すごい、あれは難しかった！よく解き当てたね！」と言い、大きな報酬を与えます。
  - 生徒が難しい質問に間違えた場合、教師は怒らず、「もう一度試そう」と言い、生徒が落胆しないようにペナルティを軽減します。

比喩: これは単にポイントを数えるだけではないコーチのようなものです。コーチはプレイの難易度に基づいてスコアを調整し、実行が難しかったプレイに対して特に称賛を集中させます。これにより、AI はすべてのスキルにおいて、より速く、より均等に学習できるようになります。

4. 結果：バランスの取れた生徒

彼らはこの新しい方法をテストしたところ、以下の結果が得られました。

すべてにおいて向上: AI は「針探し」だけでなく、すべての 9 つのスキルで大幅に向上しました。
トレードオフなし: 通常、生徒をあること（例えば長い本を読むこと）に優れさせるために訓練すると、他のこと（一般的な論理や記憶など）が劣化します。しかし、この方法は、長文脈読解を教える一方で、AI の一般的な推論能力や記憶力を向上させました。
オープンソース: 著者たちは、誰でも使用できるように、完全な「カリキュラム」（データセット）、「指導計画」（コード）、そして「採点基準」（アルゴリズム）を公開しました。

まとめ

GoLongRL は、単調で反復的なドリル（針を見つけること）から、豊かで多様なカリキュラム（読書、要約、ランク付け、推論）へと AI の教育をアップグレードし、さらに、生徒をどのタイミングでさらに追い詰め、どのタイミングで休ませるべきかを知る、公平で賢明な採点システムを組み合わせるようなものです。その結果、単なる事実発見者ではなく、真の長文思考者となった AI が生まれました。

技術的サマリー：GoLongRL

問題提起

大規模言語モデル（LLM）は事前学習および中間学習を通じてコンテキストウィンドウを急速に拡大させてきたが、ポストトレーニング段階においてこれらの拡張されたコンテキストを効果的に活用することは依然としてボトルネックとなっている。長コンテキスト推論に対する既存の強化学習（RL）アプローチは、主に以下の 2 つの制限に直面している：

データカバレッジの狭隘性：現在の手法は、複雑な検索経路（例：UUID チェーン、チャンクベースの QA）を中心としたデータを構築することが多く、結果としてタスクカバレッジが均質化している。これにより、要約、ランキング、集約、構造化推論といった重要な能力に対する監督が不十分となっている。
マルチタスク設定における最適化の不安定性：標準的なグループ相対方策最適化（GRPO）は、異なる報酬メトリクス（例：EM、F1、NDCG、ROUGE-L）を伴う異種タスクに適用される際に課題に直面する。
- 難易度バイアス：プロンプトごとの正規化（標準偏差 $\sigma_u$ で割る）は、容易および困難なプロンプトの利点を過大評価し、中程度の難易度のサンプルを抑制する傾向がある。
- タスク間スケールの不一致：異なる報酬メトリクスは異なる分散プロファイルを示す。適切な正規化が行われない場合、高分散のタスクが勾配更新を支配し、最適化軌道を歪める。

手法

1. 能力指向のデータ構築

著者は、単にプロンプトに長さを注入するのではなく、9 つの中核的な長コンテキスト能力の分類体系に基づいたデータ構築フレームワークを提案する。

データセット構成：22,965 件の RLVR（検証可能報酬を伴う強化学習）サンプルからなる完全オープンソースのデータセット。
- ソース：確立されたコーパス（例：LongBench Pro、CLongEval）から厳選された約 14K のオープンソースサンプルと、実際の文書（書籍、学術論文、法廷書類）から QA ペアを生成した 9K の合成サンプル。
- タスク分類体系：このデータセットは、精密検索、理解、網羅的検索、数値推論、構造化抽出、構造化マッチング、段階的ランキング、シーケンス順序付け、要約を含む 9 種類のタスク（T1–T9）にまたがる。
- 報酬の整合：各タスクは、単一の二値信号に集約するのではなく、その自然な評価メトリクス（例：ランキングには NDCG、網羅的検索には F1、要約には ROUGE-L）とペアリングされる。
構築パイプライン：ソース収集、タスク指向のフィルタリング、多段階の品質管理（Gemini-2.5-Pro や DeepSeek-V3.2 などのモデルを使用）を伴うサンプル構築、およびベンチマーク診断に基づく反復的改善という 4 フェーズのプロセス。

2. TMN-Reweight アルゴリズム

異種報酬に起因する最適化課題に対処するため、本論文ではTMN-Reweight（難易度適応的重み付けを伴うタスクレベル平均正規化）を導入する。

ステップ 1：タスクレベル平均正規化：スケール補正と難易度増幅を混同させるプロンプトごとの標準偏差（ $\sigma_u$ ）による正規化の代わりに、タスクレベルの集約標準偏差（ $\sigma_{task}$ ）による正規化を行う。これは、特定のタスク内のプロンプトごとの標準偏差の二乗平均平方根として計算される。これにより、タスク間のスケール差を低減しつつ、各タスク内の相対的な利点の大きさを保持する。
ステップ 2：難易度適応的重み付け：タスク内の難易度バイアスを補正するため、プロンプトの難易度を滑らかなパスレート（プロンプトレベルとタスクレベルのベースラインの間を補間）を用いて推定する。
- 4 象限勾配再配分：難易度重み（ $w$ $w$ ）は非対称に適用される：
  - 困難なプロンプト（ $w > 1$ ）の場合：成功したロールアウトが稀であるため正の利点を増幅し、不安定化させる勾配を低減するため負の利点を縮小（ $1/w$ ）する。
  - 容易なプロンプト（ $w < 1$ ）の場合：確率の集中を防ぐため正の利点を減衰させ、予期せぬ失敗からの学習を増加させるため負の利点を増幅する。

主な貢献

オープンソースの能力指向データセット：9 つの多様なタスクタイプと異種報酬関数を網羅する 23K サンプルのデータセットの公開。著者は、このデータのみでトレーニングすること（バニラ GRPO を使用）が、4B および 30B スケールにおいてクローズドソースの QwenLong-L1.5 データセットを上回ることを実証している。
TMN-Reweight アルゴリズム：タスク間報酬スケールの不一致と難易度に起因する利点バイアスを同時に緩和する新しい最適化戦略。個別の値ネットワークを必要とせずに、バニラ GRPO に対して一貫した性能向上をもたらす。
汎化能力の維持：このフレームワークは、能力指向データを用いた長コンテキスト RL が、トレーニング中に遭遇しなかったエージェントメモリや長期対話ベンチマークへの転移を含む、一般的な推論および記憶能力を維持または向上させることを示している。

結果

ベンチマーク性能：
- Qwen3-4B-Thinkingモデルにおいて、能力指向データセットとバニラ GRPO によるトレーニングは、長コンテキストベンチマークの平均を 53.0 から 62.2 に引き上げ、QwenLong-L1.5（59.4）を上回った。TMN-Reweight を追加すると、平均はさらに 63.0 に向上した。
- Qwen3-30B-A3Bモデルにおいて、データセットは平均を 60.1 から 69.8 に改善した（QwenLong-L1.5 は 67.2）。
- このデータでトレーニングされたモデルは、長コンテキストベンチマークにおいて DeepSeek-R1-0528 や Qwen3-235B-A22B-Thinking-2507 といったはるかに大規模なクローズドソースモデルと同等の性能を達成する。
アブレーション研究：
- データセット自体が性能向上の主要な要因と特定され、TMN-Reweight は一貫したものの modest な追加的なブースト（4B モデルで 0.8 ポイント）を提供し、CorpusQA のような集約集約型タスクで特に顕著であった。
- 超パラメータ $\alpha$ （プロンプトレベルとタスクレベルの難易度推定間のバランスを制御）は、0.8 で最良のパフォーマンスを示した。
汎用能力：MMLU-Pro、AIME24/25、GPQA での評価により、一般的な推論能力が維持または向上することが示された。エージェントメモリ（Memory-Vec、Memory-Rec_Sum）および対話メモリ（LongMemEval）において顕著な改善が観察された。
長さ外挿：160K コンテキストでトレーニングされたモデルは、最大 100 万トークンの評価シーケンスに効果的に一般化し、モデルスケール全体で一貫した向上を示した。

意義と主張

本論文は、データカバレッジと報酬の多様性が長コンテキスト RL における主要なボトルネックであり、アルゴリズムの改良単独よりもしばしば重要であると主張している。検索中心のデータ構築から能力指向の分類体系へと移行することで、著者は広範な長コンテキストタスクに恩恵をもたらす、より豊かなトレーニング信号を提供している。

この研究は、標準的な RL アルゴリズムであっても、より広範なカバレッジとより大きな報酬の多様性が長コンテキスト能力の向上に実質的に寄与することを示唆している。さらに、提案された TMN-Reweight は、異種マルチタスク設定における安定した最適化メカニズムを提供し、長コンテキストトレーニングの恩恵が一般的な推論や記憶の低下を犠牲にして得られるものではないことを保証する。データセット、構築パイプライン、トレーニングコードを含むすべてのリソースは、さらなる研究を促進するために公開されている。