技術概要：適応的優位性整形を備えた自由エネルギー駆動型強化学習（FREIA）

問題定義

教師なし強化学習（RL）は、高価な正解ラベルに依存することなく大規模言語モデル（LLM）の自己改善を可能にする重要なパラダイムとして浮上してきた。しかし、既存の教師なし RL 手法は、モデルの進化に伴う学習ダイナミクスとの根本的な不一致に悩まされている。

現在の手法は概して 2 つのカテゴリーに分類され、いずれもトレーニング中のモデルの能力変化に適応できていない。

1. 軌道内在的（Trajectory-Intrinsic）手法：モデルの不確実性や自己情報などの内在的尺度から報酬を導出する。特にモデルの推論能力が限られている場合、高い確信度を持つが誤った回答を強化するリスクがあり、確信度と正しさの間のミスマッチを招く。
2. 集団ベース（Population-Based）手法：正誤判定のために集団的合意（例：多数決）に依存する。集団の合意を利用する一方で、貴重な少数派の推論経路を棄却しがちである。これにより、誤った多数派が最大報酬を受け取り、正しい少数派がペナルティを受けるというバイアスが生まれる。これは特にトレーニング初期段階や「弱い合意」フェーズで顕著である。

さらに、既存の手法は報酬分布の進化に関わらず静的な優位性整形を適用する。トレーニングが「弱い合意」フェーズ（希薄な高報酬）から「強い合意」フェーズ（支配的な多数派）へ移行するにつれて、静的な正規化は稀な正解を過度にペナルティ化するか、あるいは確率的な外れ値を過剰に報酬化する。その結果、早期収束や誤った信号への過学習を招く。

手法：FREIA

これらの限界に対処するため、著者はFREIA（Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping：適応的優位性整形を備えた自由エネルギー駆動型強化学習）を提案する。これは、方策最適化をモデルの内部的な学習ダイナミクスと整合させるために、2 つの主要な革新を統合した新規アルゴリズムである。

1. 自由エネルギー駆動型報酬（FER）

**自由エネルギー原理（FEP）**に基づき、FER は自己改善を自由エネルギーの最小化プロセスとして再定義する。報酬目的関数を 2 つの適応的構成要素に分解する。

• 合意整合：モデルが最も確率の高い解（サンプリング分布のモード）と整合するように促す。
• 探索：モデルが高い不確実性を示す場合、多様な推論経路の発見をインセンティブ化する。

このメカニズムは 3 つのステップで動作する。

1. 信念の鋭化：固有の回答を仮説として扱う。非線形な鋭化メカニズム（パラメータ $\alpha$ によって制御される）が回答の頻度を信念重みに変換し、頑健な合意と確率的ノイズを区別する。
2. 集団信頼度（$C_G$）：信念分布のシャノンエントロピーから導出される指標であり、集団合意の度合いを定量化する。$C_G \to 1$ は高い確信度を、$C_G \to 0$ は高い不確実性を示す。
3. 適応的報酬定式化：推論経路に対する最終報酬 $R_i$ は動的なトレードオフである。
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   高確信度状態ではモデルは合意を優先し、低確信度状態では多様な経路の探索がインセンティブ化される。これにより、サブ最適解への早期収束が効果的に緩和される。

2. 適応的優位性整形（AAS）

報酬分布がトレーニング中に継続的に変化することを認識し、AAS は報酬分布の**歪度（skewness）**に基づいて方策更新に用いられる優位性信号を動的に調整する。

• 正の歪（稀な高報酬）：高報酬の回答が稀な場合に発生する。標準的な正規化は、これらの外れ値に過度に大きな優位性を割り当てる。AAS はこれらの正の優位性を減衰させ、モデルが潜在的に誤った確率的信号に過学習するのを防ぐ。
• 負の歪（普遍的な高報酬）：回答の大部分が高報酬である場合に発生する。標準的な正規化は、稀な低報酬の逸脱に対して大きなペナルティを割り当てる。AAS はこれらの負の優位性を減衰させ、モデルが稀で潜在的に無害な変異に基づいて過剰に修正するのを防ぐ。

最終的な優位性 $\hat{A}_i$ は、歪度 $S$ から導出される適応的重みによって調整され、トレーニングの異なるフェーズ全体にわたって安定した方策更新を保証する。

主要な貢献

1. 不一致の特定：既存の教師なし RL 手法は、進化する推論能力に適応できず、変化する報酬分布を無視しているため、サブ最適な方策最適化に至ることを特定した。
2. FREIA アルゴリズム：以下の機能を備えた統合フレームワークの導入。
   • FER：自由エネルギー原理に基づいて合意と探索のバランスを取る報酬メカニズムであり、集団信頼度を通じて重みを動的に調整する。
   • AAS：報酬分布の統計的歪度に基づいて学習信号を調整する優位性整形技術。
3. 実証的検証：複数の推論タスクにおいて、FREIA が既存の教師なしベースラインを上回ることを示す包括的な評価。

実験結果

著者は、数学的推論、SQL 生成、マルチモーダル推論の 3 つの推論タスクを網羅する9 つのデータセットで FREIA を評価した。

• 数学的推論：DeepSeek-R1-Distill-Qwen-1.5Bモデルを使用し、MATH500、AIME24、AIME25 などのベンチマークにおいて、FREIA は他の教師なし手法を Pass@1 で平均0.5 から 3.5 ポイント上回った。特に、FREIA は正解ラベルを欠いているにもかかわらず、いくつかの指標において教師あり GRPO（検証可能な報酬による強化学習）と同等かそれ以上の性能を達成した。
• 汎化：FREIA は SQL 生成（Spider、BIRD）やマルチモーダル推論（Geometry3K）への強力な転移性を示し、TTRL、Entropy、Intuitor などのベースラインを上回った。
• トレーニングダイナミクス：トレーニング曲線の分析により、FREIA が探索と合意を効果的にバランスさせていることが示された。集団信頼度スコア（$C_G$）は時間の経過とともに増加し、不確実性の低下を示す一方、探索コンポーネントはモード崩壊を防ぐために十分な活性を維持していた。
• アブレーション研究：FER の合意または探索コンポーネントのいずれか、あるいは AAS モジュールを除去すると、パフォーマンスが大幅に低下し、適応的報酬定式化と動的優位性整形の両方が必要であることを確認した。

意義と主張

本論文は、FREIA がラベル付きデータが利用できないシナリオにおけるアライメントのための新しいパラダイムを提供すると主張している。自由エネルギー原理と適応的統計分析を統合することで、FREIA は外部の監督なしに LLM が効果的な自己改善を達成することを可能にする。

著者は、自らのアプローチが以下の点に重点を置いていると強調する。

• 「多数派バイアス」の緩和：静的な投票手法とは異なり、FREIA は合意が弱いか誤っている場合でも、正しい少数派の経路を特定し報酬を与えることができる。
• 安定性の確保：AAS は、トレーニング初期における外れ値報酬による不安定性と、トレーニング後期における過剰なペナルティを防ぐ。
• スケーラビリティ：現在の実験はリソース制約により最大 3B パラメータのモデルに限定されているが、著者は FREIA の基本原理がより大規模な基盤モデルに拡張可能であると仮定している。

本研究は、適応的合意と探索の育成を通じて自由エネルギーを最小化することが、結果に基づく監督のみよりも堅牢な推論能力をもたらすことを結論付けており、LLM における教師なし推論のための原理的な解決策を提供する。