テクニカル・サマリー：OPENSKILL: LLMエージェントのためのオープンワールド自己進化

1. 問題定義：オープンワールド自己進化

現在の自己進化型LLMエージェントは、通常、「利用可能な学習ループ」に依存しており、それは学習フェーズにおいて、精査されたスキル、成功した実行軌跡、または明示的な検証信号（報酬や正解など）へのアクセスを前提としています。しかし、現実世界のオープンワールドへのデプロイメントでは、多くの場合、シードとなるタスクプロンプトと外部リソースへのアクセス権しか提供されず、初期スキルや監督信号は欠如しています。

本論文では、**オープンワールド自己進化（Open-World Self-Evolution）**を、エージェントが以下の条件を満たす設定として定義します：

1. タスク指示（$I_i$）と実行環境（$E_i$）のみを持って開始すること。
2. オープンワールドのリソース（ドキュメント、リポジトリ、ウェブページ）にアクセスできるが、隠されたターゲットの回答、報酬、または検証結果は除外されていること。
3. 自らのスキル（再利用可能な行動アーティファクト）と、独自の検証信号の両方をゼロから構築すること。
4. 進化プロセス中にターゲットタスクの監督なしで性能を向上させ、グラウンドトゥルース（正解）による評価は最終的な評価時のみに限定すること。

核心となる課題は、事実（facts）だけでは不十分であるという点です。エージェントは、何を学ぶべきかを推論し、同じオープンワールドのエビデンスが「学習すべき知識」と「その知識を洗練させるための監督」の両方を提供するような、結合された学習ループを構築しなければなりません。

2. メソドロジー：OpenSkillフレームワーク

OpenSkillは、ターゲットタスクの監督をリークさせることなく、この自己進化ループをブートストラップするための3段階のパイプラインです。これは、グラウンドトゥルース（$T^{GT}_i$）がスキル構築フェーズに入り込むことを防ぐ厳格な「リーク防止障壁（leakage barrier）」の下で動作します。

ステージ1：オープンワールド知識獲得

エージェントはオープンワールドのリソースを照会し、2つの異なるタイプの知識を獲得します：

• スキル構築知識 ($k_i$): タスクに関連する背景概念、ベストプラクティス、APIドキュメント、および引用文献を取得します。
• 検証知識 ($k^v_i$): 公式ドキュメントからの参照値、既知のデータセットの統計的不変量、クロスバリデーションの手順、およびドメイン標準など、独立して検証可能なアンカーを取得します。
• スキルプランニング: スキルのアーキテクチャ、主要な手順、およびドメインルールを定義する構造化されたプラン（$p_i$）を合成します。
• リーク防止: すべてのクエリは、ターゲットの回答につながる可能性のあるベンチマーク名や識別子を除外するようにフィルタリングされます。

ステージ2：リークフリーのスキル進化

エージェントは、**仮想検証器（Virtual Verifier）**を用いて、スキルを反復的に生成および洗練させます：

• 仮想テスト生成: グラウンドトゥルースのテストを使用する代わりに、検証知識（$k^v_i$）に基づいた仮想テストスイート（$\tilde{T}_i$）を生成します。これらのテストは、ターゲットの回答を知る必要のない決定論的なアサーション（例：行数のチェック、メトリックの範囲、または出力フォーマットの確認）で構成されます。
• 反復的な洗練: エージェントは現在のスキルセットを用いてタスクを実行します。仮想パス率（$\tilde{r}$）が1未満の場合、**診断リトリーバー（Diagnostic Retriever）**が失敗を分析し、以下の区別を行います：
  • 実装上のバグ: 自己修正によって修正。
  • 知識の欠落: 新たなオープンワールド知識のターゲットを絞ったリトリーバルをトリガー。
• 終了条件: 仮想パス率が1.0に達するか、最大反復予算（$J=3$）を使い果たすまでループが継続されます。最終的なスキルセット（$\hat{S}^*_i$）は、ループ終了時のスキルの状態となります。

ステージ3：ゼロショット・ターゲット評価

洗練されたスキルアーティファクトは、構築エージェントとは異なる可能性のあるターゲットエージェントに対して、ゼロショット設定でデプロイされます。性能は、進化プロセス中に一度もアクセスされなかった隠されたグラウンドトゥルース・テストスイート（$T^{GT}_i$）に対して測定されます。

3. 主な貢献

1. オープンワールド自己進化の定義: エージェントがターゲットタスクの監督なしに、完全にオープンワールドのリソースからスキルと検証信号を構築しなければならない設定を定式化しました。
2. OpenSkillフレームワーク: 隠された回答ではなく、オープンワールドの事実に根ざした、転送可能なスキルと自己構築された仮想検証器を合成することで、自己進化をブートストラップする新しいパイプラインを提案しました。
3. 実証的検証: OpenSkillが、ノーサスペンション（監督なし）の制約を遵守しながら、複数のベンチマークおよびモデルファミリーにわたって優れた自動パス率を達成することを実証しました。

4. 実験結果

フレームワークは、2つのターゲットエージェント（Opus 4.6 および GPT 5.2）を用い、3つのベンチマーク（SkillsBench, SocialMaze, ScienceWorld）で評価されました。

• パフォーマンス: OpenSkillは、すべてのベンチマークにおいて最高の自動総合パス率を達成しました。SkillsBenchにおいて、Opus 4.6で43.6%、GPT 5.2で42.1%に達し、最も強力なクローズドワールドのベースライン（Skill-Creator および CoT）をそれぞれ+8.9および**+8.8**パーセントポイント上回りました。一貫して、人間がキュレーションした上限値に接近しました。
• クロスモデル転送性: Opus 4.6を使用してOpenSkillによって生成されたスキルは、再学習なしで弱いモデル（Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3）に直接デプロイされました。OpenSkillが生成したスキルは、すべてのターゲットモデルにおいて一貫して最高の報酬をもたらし、スキルなしのベースラインと比較して5.5%〜14.8%向上しました。
• 検証器の品質: 自己構築された仮想検証器は、グラウンドトゥルースのテストに一度もアクセスしていないにもかかわらず、グラウンドトゥルースの結果に対して80.5%のリコールと60.7%の一致率を達成しました。また、サンプリングされたタスク全体において、グラund-truthテストの意図の**88.9%**をカバーしていました。
• アブレーション研究:
  • 反復回数: パフォーマンスは3回の洗練反復でピークに達しました。過度な反復は、仮想フィードバックへのオーバーフィッティングを招きました。
  • コンポーネントの貢献: オープンワールド・クエリモジュールと仮想検証器の両方が、パラメトリックのみのベースラインに対して、有意かつ相補的な利点を提供しました。

5. 意義と主張

本論文は、OpenSkillが、精査されたスキルや信頼できるフィードバックが利用できない環境にデプロイされた後に、継続的に改善できるエージェントへの実現可能な道筋を示すものであると主張しています。スキル獲得をターゲットタスクの監督から切り離し、検証を独立して検証可能なオープンワールドの事実に固定することで、OpenSkillは以下を可能にします：

• スケーラビリティ: スキルは明示的なアーティファクトであり、モデルの重みではないため、異なるモデルファミリー間での転送が可能です。
• グラウンデッドネス（根拠性）: スキルは外部のドキュメントやリポジトリから派生しており、古くなったり不十分であったりする可能性のあるパラメトリックな知識への依存を軽減します。
• 監督なしの学習: 本フレームワークは、タスクプロンプトとオープンワールドのリソースのみを使用して、トレーニングフェーズにおける「ゴールド回答（正解）」を必要とせずに、自己改善ループを構築できることを証明しています。

著者らは、制限事項として、オープンワールドソースにおける潜在的なノイズ、仮想タスクが容易すぎるリスク（スキル品質の過大評価）、およびクローズドワールドの生成と比較した際のオープンワールド・リサーチの計算コストを認めています。しかし、結果は、オープンワールドでの獲得とリークフリーの検証を組み合わせることが、自律的なエージェント進化のための堅牢なメカニズムであることを示唆しています。