技術要約: GeoMin — 幾何学的分布モデリングによるデータ効率的な半教師ありRLVR

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）は、大規模言語モデル（LLM）の推論能力を強化するための極めて重要なパラダイムとなっている。しかし、RLVRのスケールアップは「アノテーションのボトルネック」によって厳しく制約されている。標準的な教師あり学習のアプローチはコストの高い正解ラベルを必要とし、一方で教師なしのアプローチは、事実に基づいた根拠を持たずに誤った自信を強化してしまうノイズの多い自己報酬信号（例：多数決やエントロピー）に依存するため、「モデル崩壊」に陥ることが多い。

TraPOのような最近の半教師ありアプローチは、少量のラベル付きデータを用いて高品質なラベルなしデータを選択することで、このギャップを埋めようと試みている。しかし、これらの手法は決定的なデータ効率のボトルネックに直面している。これらは粗いパフォーマンス・ヒューリスティック（例：個々の軌跡のパス率を集合的な平均値に合わせるなど）に依存しており、個々のインスタンスにおける自然な変動を考慮できていない。その結果、これらの手法は深刻な「リコール・ボトルネック」を示し、利用可能な信頼できるラベルなしデータの極めてわずかな部分（例：約12.3%）しか活用できていない。

2. 手法: GeoMin

著者らは、潜在表現の幾何学的特性を活用して高品質なラベルなしデータを効率的にマイニングする2段階のフレームワークであるGeoMinを提案する。核心となる洞察は、正解および不正解の推論ロールアウトは、その方向分布において明確な**幾何学的共鳴（Geometric Resonance）**を示すことであり、これをモデリングすることで自己報酬信号の信頼性を評価できるという点にある。

核心概念: 幾何学的事前分布

本手法は、LLMの隠れ状態（具体的には正規化されたラストトークン・エンベディング）を、超球上の方向データとしてモデル化する。そして、正解および不正解のロールアウトは、フォン・ミーゼス・フィッシャー（vMF）分布を用いてモデル化可能な、明確に異なるクラスターを形成すると仮定している。

• 幾何学的共鳴: 学習が進むにつれて、正解および不正解のロールアウトの方向分布は自然に分離していく。ラベルなしの正解ロールアウトは「正解」のラベル付き分布に整列し、不正解のロールアウトは「不正解」の分布に整列する。

ステージ1: 教師ありアンカリング（Supervised Anchoring）

堅牢な幾何学的事前分布を確立するために、GeoMinはまず少量のラベル付きデータセット（$D_l$）のみを用いて教師あり学習を行う。

• 分布モデリング: ネットワークの各層において、正解クラス（$c=1$）および不正解クラス（$c=0$）に対するオンラインvMF分布（$\mu_c, \kappa_c$）を適合させる。
• 境界の曖昧性解消: 正解と不正解の幾何学的整列が正誤と矛盾する場合（例：正解のロールアウトが幾何学的に不正解の分布に近い場合）の「曖昧な境界サンプル」を特定する。
• アドバンテージ再重み付け: 幾何学的分離の出現を加速させるため、グループ相対方策最適化（GRPO）の更新時に、これらの境界サンプルのアドバンテージを増幅させる。これにより、表現空間における決定境界を鋭利にする。

ステージ2: 幾何学ガイドによるサンプルマイニング（Geometry-Guided Sample Mining）

第2ステージでは、フレームワークはラベルなしデータ（$D_u$）を取り入れ、半教師あり学習を行う。

• 動的適応: vMF分布は、進化する表現空間を追跡するために、ラベル付きサブセットを用いて継続的に更新される。
• 識別層の選択: 手法は層ごとの分離性（$\Delta^{(l)}$）を定量化し、信頼性評価において最も高い診断精度を持つトップ-$K$個の層を選択する。
• 信頼度スコアリング: 各ラベルなしインスタンスについて、学習された正解および不正解のvMF分布に対するロールアウトの方向的親和性を集計することで、信頼度スコア（$s_i$）を算出する。
• 適応的フィルタリング: 静的な閾値を使用する代わりに、GeoMinは信頼度スコアの分布に対して**混合ガウスモデル（GMM）**を適合させる。これにより、高信頼度のサンプル（高平均のガウス成分に属するもの）を適応的に選択し、信頼できる疑似ラベルセット（$B^*_u$）を形成する。
• 学習: 最終的な方策は、元のラベル付きセットと、フィルタリングされた信頼できるラベルなしセットの結合体に対して最適化される。

3. 主な貢献

1. 幾何学的共鳴の発見: 本論文は、正解と不正解のロールアウト間の構造的な不一致をグローバルな特徴分布を通じてデコードできるという「幾何学的共鳴」現象を特定し、形式化した。これは、疑似ラベルの信頼性を評価するための堅牢な事前分布を提供する。
2. 新しい2段階フレームワーク: GeoMinは、教師ありアンカリング（決定境界の確立）と幾何学ガイドによるマイニング（ラベルなしデータの適応的選択）を組み合わせた協調的なアプローチを導入し、従来の半教師あり手法のリコール制限を克服する。
3. データ効率: マクロなパフォーマンス・ヒューリスティックに頼るのではなく、分布をモデリングすることで、GeoMinは信頼できるラベルなしサンプルを特定する上で**89.0%**のF1スコアを達成し、TraPOベースラインの21.4%というF1スコアを大幅に上回った。

4. 実験結果

実験は、Qwen3-8B-Baseおよびその他のモデル（1.5B, 8B）を用いてDeepmath-103kデータセットに対して行われた。

• 性能向上: GeoMinは、インドメイン（ID）で**+4.1%、アウトオブドメイン（OOD）の平均精度で+1.7%**、最強の半教師ありベースライン（TraPO）を上回った。
• アノテーション効率: 驚くべきことに、わずか10%のアノテーションで学習したGeoMinは、100%のデータで学習した完全教師ありベースラインをID性能において**+1.2%**上回り、かつ競争力のあるOOD性能を維持した。
• スケーラビリティ: 本手法は、異なるモデルスケール（1.5Bから8B）およびアーキテクチャ（Qwen vs Llama）にわたって一貫した改善を示した。
• 効率性: GeoMinは、軌跡マッチングベースラインが必要とする無駄なマルチエポックのウォームアップフェーズを回避することで、TraPOと比較して合計学習時間で2.14倍の高速化を実現した。

5. 意義と主張

本論文は、GeoMinがスケーラブルでデータ効率的なRLVRに向けた重要な一歩であることを主張している。表面的な出力確率から、潜在表現の幾何学的整列へと焦点を移すことで、本手法は学習の安定性を損なうことなく、膨大なラベルなしデータセットの可能性を解き放つ。

著者らは、GeoMinがアノテーションの障壁を効果的に回避し、最小限の人間の監督でモデルが優れた汎化性能を達成することを可能にすると断言している。本研究は、半教師ありRLVRにおける「リコール・ボトルネック」はパラダイム固有のものではなく、粗いヒューリスティックへの依存に起因するものであり、厳密な幾何学的分布モデリングを通じて解決可能であることを示唆している。

認められている限界:

• 検証は主に8Bパラメータまでのモデルで行われており、より大規模なフロンティアモデルでの性能は未検証である。
• 本手法の効率は、初期の幾何学的識別能に依存する。初期の表現品質が低いモデルは、より長いステージ1の学習を必要とする可能性がある。
• 現在の評価はテキストおよび記号的推論に限定されており、マルチモーダルまたはクロスリンガルなタスクへの汎用性についてはさらなる調査が必要である。