技術要約：スキルネイティブなLLMに向けて：長期的推論のベンチマークと学習のためのスキルエントロピー

1. 問題提起

近年の大規模言語モデル（LLM）は、長期的（long-horizon）な推論において強力な能力を示しており、深い研究、エージェンティックなコーディング、およびマルチステップのプランニングの進展を牽引している。しかし、現実世界の長期的なタスクは、多くの場合、**クロススキル推論（cross-skill reasoning）**を必要とする。すなわち、単一の思考の連鎖（chain of thought）の中で、異なる推論スキル（例：数学的な導出からスケジュールの計画、そして情報の抽出へと）を流動的に切り替えなければならない。

既存のベンチマークは、通常、個々のスキルを単独で評価するか、あるいは単一のドメイン内でのステップの連鎖を評価している。これらは、推論の連鎖の中で異なるスキル間の切り替えの難しさを測定、あるいは対処するための原理的なメカニメントを欠いている。経験的な観察によれば、最先端のモデルは単一スキルのベンチマークでは高い性能を示す一方で、複合的なクロススキル・タスクにおいては脆弱性を示す。この「スキル切り替えのギャップ（skill-switching gap）」は、モデルが個々の構成スキルを単独では十分に処理できる場合であっても存在しており、スキルを切り替える能力がドメイン固有の能力とは独立した（直交する）能力であることを示唆している。

2. 手法

2.1 スキルエントロピー (Skill Entropy: SkE)

著者らは、あるスキル $s_a$ から別のスキル $s_b$ への切り替えの難しさを定量化する、方向性を持つペアワイズな尺度であるスキルエントロピーを導入する。

• 定義: スキルエントロピーは、固定された参照モデルの下での平均単一スキル精度とクロススキル精度の間の平滑化された比率として定義される。
  $$\text{SkE}(s_a, s_b) = \frac{\frac{1}{2}(\text{Accuracy}(s_a) + \text{Accuracy}(s_b)) + \alpha}{\text{Accuracy}(s_a, s_b) + \alpha}$$
  ここで、$\alpha$ はラプラス平滑化定数である。
• 解釈: 値が $>1$ であることは、2つのスキルを連鎖させることが、それらを単独で扱う場合と比較して著しい困難さを加えること（切り替えが困難であること）を示す。値が $\le 1$ であることは、その切り替えが容易であることを示唆する。
• タスクレベルの指標: スキルシーケンス $(s_1, \dots, s_L)$ を持つクロススキル・タスク $\tau$ について、タスクレベルのスキルエントロピーは、シーケンスに沿ったペアワイズ・エントロピーの平均である：
  $$\text{SkE}(\tau) = \frac{1}{L-1} \sum_{i=1}^{L-1} \text{SkE}(s_i, s_{i+1})$$

2.2 Skill2-Bench

著者らは、スキルエントロピーの枠組みに基づき、クロススキルな長期的推論のためのベンチマークであるSkill2-Benchを構築した。

• 範囲: 数学、科学、コーディング、論理、情報抽出、プランニング、クリエイティブ・ライティング、コンテキスト検索、および指示遂行の9つのドメインにわたる558のスキルをカバーしている。
• 構築: タスクは、特定のエントロピーレベル（Low, Medium, High）でスキルシーケンスをサンプリングし、各ステップが前の出力に依存するようにシード質問を書き換えることで合成されている。
• 評価プロトコル: モデルは2つのモードで評価される：
  1. 単一スキルモード (Single-Skill Mode): 各ステップが単独で回答される。
  2. クロススキルモード (Cross-Skill Mode): フルな長期的タスクが提示され、逐次的な切り替えが要求される。

2.3 スキルエントロピーRL (Skill-Entropy RL)

特定されたギャップに対処するため、著者らはスキルエントロピーを学習信号として使用する強化学習フレームワークであるSkill-Entropy RLを提案する。

• 出力形式: モデルは各ステップに対して構造化されたレスポンスを出力するように訓練される。これは、使用されるスキルと回答の両方を明示的に予測するものである：
  <skill> Domain_Skill </skill><answer> Step Answer </answer>
• 報酬関数: 合計報酬 $r$ は、ステップレベルの正解性 ($r_{ans}$) とスキルエントロピー報酬 ($r_{ent}$) を組み合わせたものである：
  $$r = \lambda_{ans} r_{ans} + \lambda_{ent} r_{ent}$$
  • $r_{ans}$: ドメイン固有のスコアラーに基づく平均ステップ精度。
  • $r_{ent}$: 予測されたスキルシーケンスとゴールド（正解）のスキルシーケンスとの間の整合性を測定する。これは、グラウンドトゥルースの難易度プロファイルに一致するスキル連鎖を予測するように促す。
• 学習パイプライン: この手法は、スキル注釈付きのトレースを用いた教師あり微調整（SFT）と、複合報酬を用いたグループ相対方策最適化（GRPO）による2段階のプロセスを利用している。

3. 主な結果

3.1 ベンチマークの知見 (Skill2-Bench)

• スキル切り替えのギャップ: 8つの最先端モデルと4つのオープンソースモデルの評価により、タスクレベルのスキルエントロピーが増加するにつれて、一貫した性能低下が明らかになった。精度は、ローエントロピーからハイエントロピーのタスクにかけてほぼ単調に減少する。
• クロススキル・ペナルティ: 同じスキルであっても、単独ではなくクロススキル・タスク内で実行される場合、精度はモデル全体で**4%から13%**低下する。このペナルティは、モデルが単独では非常に熟達しているスキル（例：論理）においても持続する。
• 失敗モードの分析: 主要な失敗モードは**スキル慣性（skill inertia）**である。タスクの後半のステップにおいて、モデルは要求されたスキルへと切り替えるのではなく、前のステップのスキルと回答形式を再利用する傾向がある。例えば、次のステップでテキストの記述を必要とする「クリエイティブ・ライティング」が必要な場面でも、モデルは「数学」のスキルと数値形式の回答を使い続けてしまうことがある。

3.2 学習性能 (Skill-Entropy RL)

• 大幅な改善: Qwen3-4B-Instructにおいて、Skill-Entropy RLはSkill2-Benchのスコアを**34.4%から68.4%に向上させた。Qwen3-1.7Bでは、スコアは14.6%から40.1%**に向上した。
• 比較: 本手法は、標準的なGRPO（エントロピー報酬なし）、SFT、およびその他のスキル認識型ポストトレーニング手法（Skill-Distill, SkillRL, STAT）を含む競争力のあるベースラインを凌駕している。
• 汎化性能:
  • オープンエンドなドメイン: 検証可能なドメインのみで訓練されたにもかかわらず、モデルはオープンエンドなドメイン（クリエイティブ・ライティング、コンテキスト検索）においても利得を示した。これは、スキルエントロピーの信号が未知のドメインにも転移することを示唆している。
  • 既存データ: このパイプラインは、もともと明示的なスキルシーケンスで構造化されていないOpenR1-Mathにも成功裏に適用された。既存のトレースにスキルを注釈付けることで、スキルエントロピー報酬は引き続き性能を向上させ続け、その再利用可能性を証明した。

4. 重要性と主張

本論文は、複雑な推論のためのLLMの評価と学習における決定的なギャップに対処することを主張している：

1. 新しい指標: 単一ドメインの評価を超え、スキル切り替えの難しさを定量化するための、原理的で方向性を持つペアワイズな尺度としてスキルエントロピーを導入した。
2. ベンチマーク: Skill2-Benchは、この指標によって較正された最初の広範なベンチマーク（558スキル、9ドメイン）を提供し、単一ドメインの評価では見逃される構造的な「スキル切り替えのギャップ」を露呈させた。
3. 学習信号: スキルエントロピーは単なる診断ツールではなく、再利用可能な学習信号であることを示した。これをRLの報酬関数に組み込むことで、モデルは明示的にスキルの遷移を管理することを学習し、長期的な推論能力を大幅に向上させる。
4. 失敗モードの特定: 本研究は、「スキル慣性」（前のステップのスキルやモダリティを再利用すること）をクロススキル・タスクにおける失敗の主要な原因として具体的に特定し、それを軽減するメカニズムを提供した。

著者らは、スキルの切り替えを扱うことはドメインの習熟度とは独立した能力であり、自身のスキルシーケンスを明示的に予測し管理するように訓練された「スキルネイティブ」なLLMこそが、堅牢な長期的推論への実行可能な道であると結論付けている。