技術要約：宇宙自律のためのエージェンティック・オートリサーチ（Agentic AutoResearch）

問題提起

宇宙機の学習型誘導・航法・制御（GNC）ポリシーの開発は、本質的に反復的な研究プロセスである。研究者は、アーキテクチャを選択し、ハイパーパラメータを調整し、実験を実行して、性能向上が真の成果なのか、単なるランダムシードの変動（シードノイズ）によるものかを判断しなければならない。このプロセスは労働集約的であり、「過大主張（over-claiming）」、すなわち、たまたま良好な結果が出た一度の実行を、堅牢な結果であると誤認してしまうリスクを孕んでいる。大規模言語モデル（LLM）は自律的な研究エージェントとして有能であることが示されているが、このループを自動化することは新たなリスクをもたらす。すなわち、統計的な規律が強制されない限り、実験速度が上がることで、ノイズを進歩と見誤るリスクが増幅される可能性がある。

本稿が取り組む核心的な問題は、統計的な規律を強制することで、すべての報告された改善が統計的に有意であり、再現可能であり、かつ特定の課題で測定されたシードノイズに対して監査可能であることを保証しながら、いかにしてLLMを用いて航空宇宙制御の研究ループを自動化するかである。

手法：AutoResearchフレームワーク

本稿では、LLMをオフラインの研究エージェントとして機能させ、結果を証明するための「信頼性レイヤー（credibility layer）」をループ内に組み込んだフレームワークであるAutoResearchを提案する。このフレームワークは、機械判読可能な状態遷移マシンとして設計されている。

1. ファミリー・コントラクト（Family Contract）

多様な航空宇宙問題への再利用性を確保するため、本フレームワークは以下の4つのアーティファクトからなる「ファミリー」という抽象概念を定義している。

• 問題記述 (program.md)： 目標、指標、ベースライン、および変更可能な範囲を平易な言葉で記述した仕様書。
• 編集可能な訓練スクリプト (train.py)： ハイパーパラメータの「編集可能領域（editable surface）」が区切られたファイル。基礎となるダイナミクス、ソルバー、および評価プロトコルは不変である。
• レジストリ (family.json)： ターゲットとなる指標、参照用ベースライン、および現在のベストな構成を保持する。
• 追記型ログ (runs.jsonl)： 完了したすべての実験を記録する。

2. エージェント・ループ

ループは3つのモジュールで構成される。

• プロポーザー（Proposer）： LLM（実験ではAnthropicのClaude 3.5 Sonnetを使用）が、問題記述、実行履歴、および現在のハイパーパラメータを読み取る。プロポーザーは、構造化されたツール呼び出し（propose_experiment：仮説、具体的なハイパーパラメータの上書き、および予測される失敗基準を含む、または stop_research）を出力することを強制される。システムはブラインド・モードで動作し、エージェントによる記憶を防ぎ、純粋な反復探索を強制するために、ターゲット指標とベースラインの値を隠蔽する。
• ランナー（Runner）： 提案された構成を実行する。train.py の編集可能領域をパッチ適用し、独立したサブプロセスとして実行し、単一の構造化された指標行を解析する。
• オーケストレーター（Orchestrator）： 状態遷移マシンを管理し、終了条件（予算制限、プラトー検出など）を強制し、異なる構成が再評価されないように管理する。

3. 信頼性レイヤー（Credibility Layer）

本フレームワークの核心的な革新は、報告されるすべての結果をゲートする統計的監査レイヤーである。結果が認定されるには、以下の3つのチェックを通過する必要がある。

1. 測定されたシードノイズ： いかなる改善も主張される前に、固定されたベースライン構成の $K$ 個のシードにおける指標の標準偏差 ($\sigma$) を測定する。この $\sigma$ が、その後のすべての主張における測定単位となる。
2. 再シード検証（Reseeded Verification）： エージェントのベストな構成を、保持された新しいシードを用いて再実行する。承認されるためには、平均的な改善がベースラインを少なくとも $2\sigma$ （片側効果サイズ・ゲート）上回る必要があり、かつ、そのポリシーがすべてのシードにおいてすべてのハードな安全制約を満たしていなければならない。
3. Leave-One-Out プルーニング（Leave-One-Out Pruning）： どの編集が実際に結果に寄与したかを特定するため、フレームワークは各修正パラメータを個別に元に戻す。パラメータは、「負荷を担うもの（load-bearing）」（元に戻すと性能が低下する）、「無関係な随伴者（inert hitchhikers）」（元に戻しても影響がない）、「逆方向に動いたもの（moved in the wrong direction）」（元に戻すと性能が向上する）に分類される。このプロセスにより、偶然の相関と真の寄与を区別する。

主な貢献

本論文の主な貢献は以下の3点である。

1. エージェンティックな実験のための再利用可能なフレームワーク： 同じエージェントループを、物理特性が大きく異なる問題（例：相対軌道運動 vs 衝突回避）に、変更なしで適用できる「ファミリー・コントラクト」を提供したこと。
2. 信頼できる自律性のための信頼性レイヤー： 結果を測定されたシードノイズに基づいて定義し、再シード検証とLeave-One-Outアブレーションを要求することで、シードの運によるものと真の利得を分離する統計的監査メカニメントを構築したこと。
3. 航空宇宙制御問題における監査済み結果： 本フレームワークを2つの異なる宇宙機誘導問題に適用し、監査されたポリシーがシードノイズを何倍もの標準偏差でクリアする一方で、無指向的なランダム探索はそれに失敗することを示したこと。

実験結果

フレーム本フレームワークは、行動クローニングを用いて最適制御ソルバーをフィードバックポリシーへと蒸留する手法を用い、2つの問題でテストされた。

1. クロシェス・ウィルツァー（Clohessy–Wiltshire）相対ランデブー

• タスク： 様々な初期条件から、追従機（chaser）を目標へと誘導するポリシーを学習する。
• 結果： LLMエージェントは、平均終端距離をベースラインの約16mから、0.094m（単一シードでのベスト）へと減少させた。
• 監査： 10個の新しいシードで再シード検証を行った結果、平均は 0.101m となり、ベースラインに対して 15.0$\sigma$ の利得が得られた。
• 比較： 一致する無指向的なランダム探索は、約0.635mで停滞した。
• プルーニング： 5つの負荷を担う編集（デモンストレーション数、訓練予算、学習率、隠れ層の幅、深さ）と、組み合わせによってのみ作用する4つの無関係な編集を特定した。

2. 安全制約付き衝突回避ドッキング

• タスク： 「進入禁止ゾーン（宇宙機が進入してはならない球体）」を通り抜けつつ、その反対側にある目標にドッキングする。
• 結果： エージェントは、安全性を考慮したドッキングスコア 0.33（単一シードでのベスト）を持つポリシーを発見した。
• 監査： 10個の新しいシードで再シード検証を行った結果、0.38 となり、5.2$\sigma$ の利得を得た。極めて重要な点として、再シードされた全ケースにおいて、厳密な実現可能性が保たれた（進入禁止ゾーンへの違反はゼロであった）。
• 比較： 無指向的なランダム探索（24試行）は、実現可能なポリシーを一つも生成できなかった。ランダム探索のベストスコアは6.46であり、ほとんどの実行では目標から逸脱した。
• プルーニング： デモンストレーションの数と訓練予算が主要な負荷を担う要素であることを特定した。実行時の制御バリア関数（CBF）による安全フィルタが、実現可能性において不可欠であった。

意義と主張

本論文は、主要な貢献は新しい誘導則そのものではなく、自律的かつ監査可能な研究プロセス自体であると主張している。その意義は以下の点にある。

• 自動化における統計的厳密性： シードノイズの測定、再テスト、アブレーションといった統計的規律を、後付けではなくループ内に直接統合することで、LLMによる研究を誠実かつ再現可能なものにできることを示したこと。
• 安全性が重要な検証： 無指向的な探索が実現可能な解を全く見つけられないような、安全制約のある問題において、フレームワークがポリシーを認証できることを示したこと。
• 関心の分離： LLMはあくまでオフラインの研究者としてのみ機能し、訓練されたポリシーのみがオンボードに展開される。これにより、LLMのハルシネーション（幻覚）がリアルタイム制御に及ぼすリスクを軽減している。

著者らは、本研究の範囲については謙虚な姿勢を維持しており、キャンペーンは数十回のイテレーションに限定されていること（スループットよりも信頼性を優先した）、またランダム探索との比較は示唆的ではあるものの、シードノイズ・ゲートが主眼であることを述べている。本研究は、「速く、かつ誠実な」、将来の宇宙ミッションのための学習型自律性の開発に向けた基礎を築くものである。