Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

技術要約：軌跡のプリミティブとしてのBittensorエージェント・アリーナ

問題提起
本論文は、小型モデルのエージェント的ポストトレーニングにおける決定的なボトルネックを特定している。それは、高品質な「軌跡ごと（per-trajectory）」の教師ありデータの不足である。RLVR、グループ相対RL、再棄却サンプリングによる再SFTといった主要なアルゴリズムは、目に見える性能向上を示すが、これらはマルチターンのトレースと独立した教師あり判断に依存しており、既存のデータソースではそのようなデータを大規模に提供できない。

• 合成データ（Synthetic Data）: 最先端モデルによって生成されるこのデータは、生成モデルのバイアスを継承し、分布崩壊（モデル崩壊）を引き起こす。そのため、多様なエージェント行動のロングテールを捉えることができない。
• プロダクション・ログ（Production Logs）: 多様ではあるものの、フィルタリングされていないログには軌跡ごとの判断が欠けており、現在のトップ・ポリシーに支配されている。また、エージェントが正当な推論を経ずに正解に到達する「ショートカット」行動によって汚染されている。

著者らは、小型モデルのエージェント的ポストトレーニングには、インセンティブに整合した多様性、軌跡ごとの判定、および記憶防止のためのホールドアウト評価という、現在の孤立したデータソースには見られない特性を備えた「軌跡の基質（trajectory substrate）」が必要であると主張している。

手法
著者らは、新しいデータ生成プリミティブを提案し、実証する。それは、Bittensorネットワーク上に構築された、インセンティブに整合したエージェント・アリーナである。これを、ショッピングベンチマーク（ShoppingBench）のエージェント・コマース・ベンチマークを実装した**ORO Subnet 15 (SN15)**を通じて展開する。

1. アリーナのメカニズム (SN15):

   • インセンティブに整合した多様性: 独立したマイナーがAIエージェントを継続的なレースに投入する。日次のプロモーション・サイクル、提出レート制限、およびソースコードのエンバゴ（公開制限）により、「発見してから共有する」という圧力が生まれ、トークン報酬を獲得するために多様なポリシーが継続的に生成される。
   • 軌跡ごとの判定: すべての軌跡は2つの軸でスコアリングされる。一つはルールベースの「結果スコア」であり、もう一つは専用のLLM推論ジャッジによって割り当てられる「推論品質係数」である。このジャッジはトレースに基づいた（trace-grounded）ものであり、結果スコアラーとは切り離され、マイナーではなくバリデーターによって実行される。
   • ローテーションされるホールドアウト問題: 問題セットはバージョン管理され、ローテーションされる。「リーク・クラスター・ガード（leak-cluster guard）」が、パラフレーズされたり属性が並べ替えられたりした同一の基礎問題のバリアントをグループ化することで、ホールドアウト評価の分割がトレーニングデータから明確に区別され、記憶を防ぐようにしている。

2. データ・パイプラインと構造的フィルター:
   SN15の生の「ファイアホース（大量流出データ）」は、以下のプロセスを経て訓練可能なコーパスへと処理される：

   • 正規化: トレースは、Tracフレームワークを用いて標準的なOpenAIツール呼び出しスキーマに変換される。
   • 構造的品質フィルター: 複数の段階を経て、エージェント的軌跡（LLMがツール呼び出しを出力するもの）のみを選択し、サブタスク的軌跡（LLMが決定論的な探索ループ上の単なる分類器やナレーターとして機能するもの）を排除する。
   • ゲーティング: 軌跡は、推論係数ゲート（LLMジャッジに基づく）およびフォーマット妥当性ゲートの両方を通過しなければならない。
   • リーク・クラスター保護された分割: データセットは、問題のバリアント（リーク・クラスター）が両方に現れないようにトレーニング・プールと評価プールに分割され、真の汎化能力を保証する。

3. ポストトレーニング・レシピ:
   著者らは、公開されているShoppingBenchのSFT-then-GRPOベースラインに密接に合わせた5段階のパイプラインを用いて、フィルタリングされたコーパスでQwen3-4Bを微調整する。ここでは2つの変更が記録されている：

   • ステップごとのオンポリシー蒸留の代わりに、継続的なティーチャーSFTを採用。
   • KTO選好精緻化（preference refinement）を段階として追加。
   • パイプラインは、潜在的な余力をプロセス改善へと転換するためのDr. GRPO（ステップごとのティーチャーに基づいた報酬）で締めくくられる。

主な貢献

1. 新しいトレーニング・プリミティブ: 本論文は、Bittensorのエージェント・サブネットを、インセンティブに整合した多様性、軌跡ごとの判定、およびローテーションされるホールドアウト問題の組み合わせとして定義される、新しい形態のトレーニング・データ・プリミティブとして特徴づけている。
2. 再現可能なアリーナ・メカニズム: SN15のレースシステム、LLM推論ジャッジ、および問題のローテーションに関する詳細なドキュメントを提供し、判定済みの軌跡を継続的に生成する。
3. 構造的品質フィルター: 生のサブネット・トレースを、真のエージェント行動とサブタスク的なナレーションを区別することで、訓練可能なSFTコーパスへと変換する新しいフィルターを開発し、オープンコードとして公開した。
4. 実証的検証: リーク・クラスター保護されたホールドアウト分割において、このサブネット生成コーパスでポストトレーニングされた小型オープンモデル（Qwen3-4B）が、大幅な性能向上を達成することを実証した。

結果
厳格なプロダクション基準でスコアリングされた、リーク・クラスター保護されたホールドアウト分割において：

• ベースライン: 公開されているQwen3-4Bベースモデルは、平均成功率（ASR）**18.0%**を達成した。
• 蒸留モデル: SN15コーパスでポストトレーニングされたモデルは、ASR **42.7%**を達成した。
• 向上幅: これは24.7ポイントの向上であり、公開されている合成データによるSFTのみのベースライン（43.6%）の単一問題内のノイズ範囲内に収まっている。
• 効率性: この向上は、サブネット出力のわずか1日分の一部に相当するトレーニング・スライスを使用して達成された。
• 残された課題: 教師ありスタックは、pass@1 (34.8%) と pass@8 (53.3%) の間に大きなギャップを残している。著者らは、公開されているSFT+GRPOのバーである48.7%への残りのギャップを埋めるための主要なレバーとして、「サブタスク・ファイアホース」（現在はフィルタリングされているもの）を特定している。

意義と主張
本論文は、インセンティブに整合したエージェント・アリーナを、小型モデルのエージェント的ポストトレーニングに必要な特定の種類の軌跡データを製造するために、意図的に設計できると主張している。経済的インセンティブ、外部の推論ジャッジ、およびローテーションされる問題セットの組み合わせが、合成データやプロダクション・ログとは質的に異なるデータ基質を生み出すと断じている。

著者らはその範囲について謙虚であり、以下のことを明示している：

• サブネットの軌跡が、あらゆるタスク表面において合成データやプロダクション・ログを普遍的に代替できるとは主張していない。
• 得られたモデルは完成品ではない。
• 生のデータにおけるサブタスク的軌跡への偏り（現在はフィルタリングされている）、ハーネス形式への感度、および推論ジャッジによる監督が「ゴールドスタンダード」ではなく相関関係であることなどのリスクを認めている。

本研究は、分散型のインセンティブに整合した競争が、小型のベースモデルから有能なエージェントを蒸留できる、高品質で判定されたマルチターン・トレースを生成できるという証明（プルーフ・オブ・コンセプト）として機能している。