技術要約：教師不在の自己学習は能力を増幅させるが、累積（コンパウンド）はしない

1. 問題提起

本研究が扱う中心的な問いは、検証済みの自身の出力を用いて学習を行う言語モデル（LLM）の自己改善ループが、能力を**累積（compounds capability）させているのか（ベースモデルの分布を超えた真に新しい到達可能性を獲得しているのか）、あるいは単に増幅（amplifies capability）**させているのか（十分なサンプリングを行えばベースモデルが既に生成可能な、稀で到達可能な解を表面化させているだけなのか）という点である。

既存の文献では意見が分かれている：

• 抽出（Elicitation）の視点： 検証済みの出力で学習することは、モデルが潜在的な能力にアクセスする能力を研ぎ澄ますだけであり、多くの場合、大きなサンプリング予算（pass@K）においてはベースモデルが学習済みモデルを上回る結果となる [11]。
• 累積（Compounding）の視点： 長期的な強化学習（RL）は、モデルをベースの分布へと押し上げ、ベースモデルがどのような予算でも到達できないインスタンスを解決させる [8]。

決定的な手法論的欠落が存在する：ほとんどの研究は「教師」（より大きなモデル、報酬モデル、または人間）に依存しており、それらは構造的に新規性の天井を制限してしまう。また、「創発」を、単なるサンプリングのアーティファクト（偽像）である可能性のある、見かけ上のゼロからの上昇に基づいて宣言している。

2. 手法：「トラップドア」のコンステレーション（星座）

増幅と累積の区別を決定可能にするため、著者らは特定のドメインにおいて**教師不在の「コンステレーション」**を構築した：

• ドメイン： 文字列変換のための、FlashFillスタイルの「トラップドア」ドメイン固有言語（DSL）。
  • 順方向生成： 検証可能な（問題、解）のペアを合成するのが容易。
  • 逆方向解決： モデルにとって逆転（解くこと）が困難。
  • 検証： 無料で、全単射かつ正確なインタプリタ（学習パラメータなし）が存在し、正当性を厳密にチェックできる。
• システムの役割：
  1. 検証器（Verifier）： 正確なインタプリタ。可視の例と一致する候補をフィルタリングするが、保持された（held-out）入力に対する汎化性能を判定することはできない。
  2. 生成器（Generator）： 可視の例から候補となるプログラムをマッピングする、LoRAアダプタを備えた4-bit Qwen3-4Bモデル。
  3. 批評家（Critic）： 保持された入力への汎化の可能性に基づいて候補をランク付けするために、生成的なYes/No分類器として学習された、別の4-bit LoRAアダプタ。
     4 指揮者（Conductor）： モデルを使用せずにループをオーケストレートする。
• 学習ループ（STaR）：
  • 生成器が $K$ 個の候補を提案する。
  • 検証器が、可視の例に失敗するものを排除する。
  • 批評家が生存者をランク付けし、トップの候補が選択される。
  • 検証器は、選択された候補を**保持された（held-out）**例に対して判定する。
  • 次のラウンドの教師あり微調整（SFT）ターゲットとして使用されるのは、モデルが生成し、検証器によって汎化が確認されたプログラムのみである。
  • 重要な制約： より大きなモデルや外部の教師は関与せず、教師の能力によって新規性の天井が制限されることはない。

実験設定：

• ハードウェア： 単一の 24 GB GPU (RTX 3090)。
• モデル： Qwen3-4B-Instruct (4-bit 量子化)。
• バンク（Banks）： 二つの凍結された評価用バンク（Easy: 最大3アトム、Hard: 最大4アトム、学習時とは異なるアトム数）。
• 軌跡（Trajectory）： 三ラウンド（v0 $\to$ v1 $\to$ v2）の自己学習。

3. 主な貢献

1. 完全な教師不在のコンステレーション： 単一のGPUで実行可能な生成器/批評家/検証器のシステム。検証器は正確なインタプリタであり、新規性を制限する「蒸留による脱出ハッチ」が存在しない。
2. 批評家による選択の優位性： 学習された批評家が、検証器によるフィルタリングを用いた「best-of-k」（ナイーブ）なベースラインよりも、+9.1パーセントポイント（6/6のシードにおいて）優れていることを示した。この利得は、候補が保持された入力に対して不一致を示すタスク（「分岐サブセット」）に完全に局在しており、批評家が新しい能力を創出するのではなく、既存の能力を回収していることを裏付けている。
3. ヘッドルームに制御された増幅： 自己学習は性能の天井を引き上げるが、加速することはない。ベースモデルの分布の到達可能なフロンティアに近づくにつれ、ラウンドごとの利得は減速する。
4. Pass@K のクロスオーバー： 学習済みモデルが運用予算（pass@8）で勝利する一方で、ベースモデルが大きな予算（pass@64）において学習済みモデルを追い越すという、測定されたクロスオーバー現象。これは、モデルが到達範囲を広げるのではなく、確率質量を少数の解に集中させていることを示している。
5. 「創発」に関する手法論的修正： この構成的DSLにおいて、小さなサンプル数で見られる「ゼロ能力」の状態は、創発ではなくサンプリングのアーティファクトである。集団規模での検証なしに、ゼロからの上昇に基づいて創発を宣言することは無効である。

4. 結果

選択性能

• 批評家 vs. ナイーブ： 批評家は、特に候補が保持されたデータに対して不一致を示す場合（分岐サブセット）において、選択精度を大幅に向上させる。
  • Seed 1234: ナイーブ 53.3% $\to$ 批評家 93.3%。
  • Seed 7: ナイーブ 61.9% $\to$ 批評家 92.9%。
• 一貫性： 総利得は分岐サブセットにおける利得と正確に一致しており、批評家が構造的な曖昧さが存在する箇所においてのみ機能していることを証明している。

自己学習の軌跡（STaR）

• 天井の上昇： 検証器の天井（pass@8）は、両方のバンクにおいてラウンド0からラウンド2にかけて上昇する。
  • Easy Bank: 46.7% $\to$ 53.1% $\to$ 55.4%。
  • Hard Bank: 37.9% $\to$ 41.1% $\to$ 45.0%。
• 減速： ラウンドごとの利得は加速しない。
  • Easy: +6.4% (v0$\to$v1) $\to$ +2.3% (v1$\to$v2)。
  • Hard: 単一のシードでは +3.2% (v0$\to$v1) $\to$ +3.9% (v1$\to$v2) となるが、4つの独立した学習軌跡全体では、傾向は一貫して減速している（+5.1% $\to$ +2.8%）。
• 崩壊の不在： 多様性（タスクあたりの汎化プログラムのカーディナリティ）は増加しており（2.79 $\to$ 4.05）、能力がゼロに退行したクラスは存在しない。

選択性能

• 批評家 vs. ナイーブ： 批評家は、特に候補が保持された入力に対して不一致を示す場合（分岐サブセット）において、選択精度を大幅に向上させる。
  • Seed 1234: ナイーブ 53.3% $\to$ 批評家 93.3%。
  • Seed 7: ナイーブ 61.9% $\to$ 批評家 92.9%。
• 一貫性： 総利得は分岐サブセットにおける利得と正確に一致しており、批評家が構造的な曖昧さが存在する箇所においてのみ機能していることを証明している。

自己学習の軌跡（STaR）

• 天井の上昇： 検証器の天井（pass@8）は、両方のバンクにおいてラウンド0からラウンド2にかけて上昇する。
  • Easy Bank: 46.7% $\to$ 53.1% $\to$ 55.4%。
  • Hard Bank: 37.9% $\to$ 41.1% $\to$ 45.0%。
• 減速： ラウンドごとの利得は加速しない。
  • Easy: +6.4% (v0$\to$v1) $\to$ +2.3% (v1$\to$v2)。
  • Hard: 単一のシードでは +3.2% (v0$\to$v1) $\to$ +3.9% (v1$\to$v2) となるが、4つの独立した学習軌跡全体では、傾向は一貫して減速している（+5.1% $\to$ +2.8%）。
• 崩壊の不在： 多様性（タスクあたりの汎化プログラムのカーディナリティ）は増加しており（2.79 $\to$ 4.05）、能力がゼロに退行したクラスは存在しない。

クロスオーバーによる診断（増幅 vs. 累積）

• 運用予算（pass@8）： 学習済みモデル（v2）はベースモデル（v0）を上回る。
  • Easy: v2 (53.0%) > Base (46.0%)。
  • Hard: v2 (46.0%) > Base (38.0%)。
• 大規模予算（pass@64）： ベースモデルが学習済みモデルを追い越す。
  • Easy: Base (68.0%) > v2 (61.5%)。
  • Hard: Base (57.5%) > v2 (52.5%)。
• 解釈： 学習済みモデルは確率質量を「稀だが到達可能な」解に集中させるため、低予算（low $K$）では勝利するが、モデルの分布の裾（tail）を探索する能力を低下させるため、高予算（high $K$）では敗北する。学習済みモデルの天井は、厳密にベースモデルのラージ$K$エンベロープの下にある。

ゼロ能力のフロンティア

• 低サンプル数において成功率が0%に見えたクラス（例：特定の4アトム構造）は、集団規模で測定すると非ゼロの成功率（25–50%）を持つことが判明した。
• 「真の壁」はゼロにあるのではなく、ベースモデルが「適合しているが誤った」プログラムを見つける能力（高いpass@64）と、「汎化する」プログラムを見つける能力との間のギャップにある。このギャップ（約11 pp）こそが、真の容量限界である。

5. 意義と主張

本論文は、特定の厳格なレジームにおける累積に関する否定的な結果を提示していると主張する：

1. 累積ではなく増幅： 教師不在かつ正確な検証器が存在する設定において、自己学習（STaR）はベースモデルの既存の到達可能性を増幅させるが、新しい到達可能性を創出するような累積は行わない。その「天井」は、ベースモデルに残されたヘッドルームによって規定される。
2. 手法論的正当性： 本研究は、構成的ドメインにおける「0% $\to$ 上昇 = 創発」というテストの妥当性に異議を唱え、そのようなゼロはしば_しばサンプリングのアーティファクトであることを示している。
3. 多様性とカバー率の分離： データ生成中に「収穫された」解の多様性は増加する一方で、評価時のpass@Kにおけるカバー率は減少するという現象を観察した。これは、SFTにおける多様性の崩壊（精度最適化が確率質量をモード解に集中させること）の理論と一致する。

限界と範囲：

• この結果は、特定のFlashFillスタイルのDSLおよび教師不在・正確な検証器というドメイン内部の事象である。
• 「累積しない」という発見は、探索ボーナスやノイズのある検証器が存在しない場合に特有のものである可能性がある。探索を伴う、あるいは学習された報酬モデルを用いる長期的なRLは、異なる挙動を示す可能性がある。
• 統計的な力は控えめ（K=4の学習軌跡）であるが、加速を否定するには十分である。
• 本研究は、すべてのRL/SFTレジームにおける議論を解決しようとするものではなく、特に「教師不在・正確な検証器」のケースを分離することで、探索メカニズムや外部のガイダンスなしには、ループがベースモデルの分布的エンベロープを突破できないことを示すものである。

要約すれば、本論文は、新しい推論パターンをインポートする教師や、到達可能なフロンティアを超えて押し出す探索メカニズムがない限り、自己学習は既存の能力を研ぎ澄まし、表面化させるプロセスであり、それらを新しいものへと累積させるプロセスではないと主張している。