技術的概要：SE-BENCH：知識の内部化を伴う自己進化のベンチマーク

問題定義

本論文は、生涯学習のための新たな知識と技能の内部化という能力において、自己進化型エージェントの評価に存在する重大な欠陥を取り扱っている。既存のベンチマークは、推論時の洗練や反復的な自己修正といった一時的な適応を評価するが、エージェントが経験から能動的に学習し、パラメータを永続的に更新するプロセスである知識の内部化という基礎的能力を厳密に測定することには失敗している。

既存の評価には、2 つの根本的な交絡要因が存在する：

1. 先行知識の絡み合い：実験中に学習したのか、事前学習データから想起したのかを区別することが困難であるため、「新規」知識を含むタスクをエージェントが解決した理由を特定できない。
2. 推論の複雑さの絡み合い：複雑なタスクでの失敗は曖昧である。それは必要な知識を内部化できないことに起因するのか、それとも単に必要な推論の論理的難易度によるものなのかを判別できない。

これを解決するため、著者らは自己進化に対する「干し草の山の中の針」テストを提唱する。すなわち、知識が内部化されていればアルゴリズム的に自明なタスクでありながら、内部化されていなければ不可能となる環境である。

手法：SE-BENCH の構築

著者らは、NumPy ライブラリをZWCという疑似的な新規パッケージに隠蔽するように設計された診断環境SE-BENCHを導入する。構築パイプラインは以下の 3 段階からなる：

1. 隠蔽：

   • 名前変更：268 個の一般的な NumPy 関数を、意味を持たないランダムな識別子にマッピングする（例：numpy.mean $\rightarrow$ zwc.kocito）。
   • ラッパー実装：モデルが基盤の NumPy 配列上の標準メソッドを呼び出すことで隠蔽を回避するのを防ぐため、すべての入出力をラップするカスタム ZWCArray クラスを実装する。
   • ドキュメントの書き換え：LLM によって API ドキュメントを再記述し、新しい ZWC パッケージを記述する。これにより、ロジックは標準的な NumPy と同型であるが、構文は異質なものとなる。

2. 質問生成：

   • 単一関数タスク：特定の ZWC 関数 1 つのみを必要とする問題を生成し、ライブラリ全体を 100% カバーする。
   • 多機能タスク：サンプリングされたセットから少なくとも 3 つの関数の組み合わせを必要とする複雑な問題を生成し、単純な暗記を超えた一般化をテストする。

3. フィルタリング：

   • 3 つの最先端モデル（Qwen3-Coder、Gemini-2.5-Pro、GPT-OSS-120B）を用いた厳格なコンセンサスプロトコルによりタスクを検証する。標準的な NumPy を使用して 3 者すべてが解決できる場合のみタスクを保持する。
   • 明確性を確保するため、ランダムなサブセットに対して人間による検証を行う。

評価プロトコル：

• 訓練フェーズ：エージェントには問題記述と関連する ZWC API ドキュメントが提供される。
• テストフェーズ：エージェントには問題記述のみが提供される。彼らは訓練中に内部化された知識に完全に依存しなければならない。
• 成功指標：解決策が正しいと判定されるのは、すべてのテストケースに合格し、ZWC API を使用していること（AST 分析で検証）、かつ元の NumPy ライブラリのインポートが 0 である場合に限られる。

主要な貢献と洞察

本論文は、SE-BENCH 上でさまざまな自己進化戦略（メモリベース、SFT、RL、自己遊戯）を評価することで導き出された 3 つの主要な洞察を提示する：

1. オープンブックのパラドックス

パラメータ更新中に参照ドキュメントが存在することは、長期的な保持を阻害する。

• 発見：ドキュメントが軌道収集と訓練の両方の段階で存在する標準的な教師あり微調整（Open-SFT）は、テストセット（ドキュメントなし）において 0% の性能を示す。
• メカニズム：訓練フェーズからドキュメントを除去する（Closed-SFT）ことで、モデルはコンテキストに依存するのではなく、外部ロジックを重み内に圧縮することを強制される。Closed-SFT は Open-SFT を大幅に上回り、真の内部化には最適化中の「情報の飢餓」が必要であることを証明する。

2. RL のギャップ

標準的な強化学習（RL）は、クローズドブック設定であっても新しい知識を内部化することに失敗する。

• 発見：Closed-RL は 0% の性能を示す。
• メカニズム：この失敗は、標準的な RL（特に PPO/GRPO）における 2 つの特定のメカニズムに起因する：
  • PPO クリッピング：新しい語彙マッピング（例：np.mean $\rightarrow$ zwc.kocito）を学習するために必要な大きな確率質量のシフトを防止する。
  • 負の勾配：正規化されたアドバンテージの使用は、平均以下の応答に対して負の強化を導入し、記憶の初期の脆弱な段階で定着する前に暫定的な連合を侵食する。
• ハイブリッドの成功：ハイブリッドアプローチ（Closed-SFT の後に RL）は最先端の性能を達成する。ここで、SFT は基礎的な記憶を確立し、RL は行動最適化器として機能して「怠惰な」推測を剪定し、実行規律を向上させるが、基礎的な記憶誤りを修正するわけではない。

3. 自己遊戯の実用性

自己生成データによる自己進化は可能であるが、最適化メカニズムが重要である。

• 発見：純粋な RL による自己遊戯（Absolute-Zero）は完全に失敗する（0%）。しかし、自己生成されたタスクと応答にClosed-SFTを適用する（Closed-SFTself）と、有意な性能（単一関数タスクで 22.5%）が得られる。
• 示唆：モデルは自己を教えるための有効なカリキュラムを生成する能力を持っている。標準的な自己遊戯の失敗は、自己遊戯のパラダイムそのものではなく、知識の内部化に対する RL の不適切さに起因する。

結果

• ベースライン性能：メモリベースの手法（Expel）は、既知の概念に識別子をマッピングすることで非自明な結果（最大 47.1%）を達成したが、完全な保持には至らなかった。
• パラメータ最適化：Closed-SFT とハイブリッドの Closed-SFT-RL 手法のみが成功した。他のすべてのパラメータ更新手法（Open-SFT、Open-RL、Closed-RL、Absolute-Zero）は完全に失敗した。
• 一般化：発見（オープンブックのパラドックスと RL のギャップ）は、異なるモデルファミリー（Qwen3 と Llama3）およびスケール（17 億から 300 億パラメータ） across 検証された。
• エラー分析：RL は堅牢なプリミティブへのフォールバックを促すことで「属性幻覚」（存在しないメソッドの推測）を大幅に減少させたが、「関数幻覚」（誤った API 名）や「シグネチャの不一致」を修正することはなく、RL が知識内部化器ではなく行動最適化器としての役割を果たすことを確認した。

意義

本論文は、SE-BENCH を自己進化型エージェントコミュニティのための厳密な診断プラットフォームとして位置づける。その意義は以下の点にある：

1. 内部化の分離：知識の内部化を推論の複雑さや先行知識の漏洩から分離するための、クリーンで制御された環境を提供する。
2. 診断ツール：将来の自己進化型エージェントに対する「単体テスト」として機能し、複雑でオープンエンドな進化を任せるためにはエージェントが SE-BENCH を合格しなければならないことを示唆する。
3. メカニズム的洞察：RL が自己改善の普遍的な解決策であるという仮定に挑戦し、事実の内部化には SFT が優れている一方、RL はすでに内部化された知識の利用を最適化することに適していることを実証する。
4. 将来の研究：知識内部化の基礎的なメカニズムを研究するための基盤を確立し、AGI 開発のためのよりターゲットを絞ったハイブリッドアルゴリズムの設計を導く可能性を秘めている。