💻 computer science

Nautilus: From One Prompt to Plug-and-Play Robot Learning

本論文は、NAUTILUS というオープンソースのハブを提案し、プラグアンドプレイ型のエージェントスキル、統一インターフェース、スケーラブルなチャンバード実行を提供することで単一のプロンプトを自動化され検証されたロボット学習ワークフローに変換し、現在ファミリー横断的な方策の再現と評価を妨げているエンジニアリングの断片化を排除するものである。

原著者： Yufeng Jin, Jianfei Guo, Xiaogang Jia, Yu Deng, Zechu Li, Han Liu, Weiran Liao, Vignesh Prasad, Mathias Franzius, Gerhard Neumann, Georgia Chalvatzaki

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yufeng Jin, Jianfei Guo, Xiaogang Jia, Yu Deng, Zechu Li, Han Liu, Weiran Liao, Vignesh Prasad, Mathias Franzius, Gerhard Neumann, Georgia Chalvatzaki

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボット学習の世界を、巨大で混沌とした建設現場だと想像してみてください。一方には、新しいロボットの頭脳（「ポリシー」と呼ばれる）を設計する建築家がいます。もう一方には、ロボットが歩行や物体把持を学ぶテストコース（ベンチマーク）があります。さらに第三の側には、単純なアームから人間型歩行ロボットまで多様な実際のロボットが存在します。

この論文によると、問題点は、ある建築家とあるテストコース、そしてあるロボットを互いに接続することが悪夢のような作業だということです。研究者が新しい頭脳を、新しいコースで、新しいロボットにテストしたいと望むたびに、ゼロからカスタムブリッジを構築しなければなりません。言語を一致させるための「接着コード」を書き、競合するソフトウェアバージョンを修正し、ロボットがクラッシュしないことを確認する必要があります。まるでトースターを車のエンジンに、トースターを宇宙船に、トースターを船に接続しようとするようなものです。そのたびに、新しいアダプターを発明しなければなりません。

そこで登場するのが Nautilus です。

著者たちは、ロボット学習業界全体のための万能な「プラグアンドプレイ」ハーネスとしてNautilusを提案します。これは、業界全体のための賢く魔法のようなアダプターステーションのようなものです。

以下に、簡単なアナロジーを用いてその仕組みを説明します。

1. 「万能電源タップ」（型付き契約）

現在、すべてのロボットとすべての頭脳は異なる言語を話しています。Nautilus は標準化された電源タップを導入します。

アナロジー: 家のすべての家電製品（トースター、ランプ、テレビ）が壁のコンセントに合うように配線し直さなければならないと想像してください。Nautilus は「配線し直しはもういらない」と言います。すべてのロボット頭脳とすべてのテストコースが、プラグの形状（「型付き契約」と呼ばれる）を単一の厳格な形状に合意することを強制します。
結果: 一度ロボット頭脳がこの標準に接続されれば、カスタムアダプターを必要とせずに、任意のテストコースやロボットに瞬時に接続できます。

2. 「防音ブース」（区画化された実行）

ロボットソフトウェアは厄介です。あるロボットは特定のバージョンのビデオゲームエンジンが必要で、別のロボットは異なるバージョンの物理シミュレーターが必要かもしれません。これらを同じコンピューターで実行すると、競合してクラッシュします。

アナロジー: Nautilus は実験の各部分のために防音ブース（コンテナ）を構築します。ロボット頭脳は一つのブースに、テストコースは別のブースに、そしてロボット自体は第三のブースに住みます。それらは安全な窓を通じて互いに話しかけることができますが、内部の厄介なツール同士は決して衝突しません。
結果: ソフトウェアの競合を気にすることなく、あらゆる組み合わせを自由に組み合わせて使用できます。

3. 「スマートプロジェクトマネージャー」（エージェント）

この論文では、大規模言語モデル（AI コーダー）に重労働を任せています。しかし、通常、AI コーダーはロボティクス分野の「不文律」を知らないため、失敗します。

アナロジー: Nautilus は AI コーダーにルールブックとチェックリスト（「ガイド」と「センサー」と呼ばれる）を提供します。
- ガイド: AI がコードを書く前に、ルールブックは「ねえ、ロボットは開始前にリセットが必要だし、バッテリーが安全か確認しなければならないよ」と伝えます。
- センサー: AI がコードを書いた後、安全検査官がそれをチェックします。「実際にロボットが動くかテストしましたか？データ形式を確認しましたか？」もし答えが「いいえ」であれば、AI は進める前にそれを修正しなければなりません。
結果: AI は単に推測するのではなく、研究者が毎日使用している実証済みの安全なワークフローに従います。

4. 「ナウティラスの殻」（スケーラビリティ）

この名前は、新しい区画を追加しながら成長するナウティラスの殻に由来します。

アナロジー: 新しいロボットを追加すると壊れてしまう巨大で硬直したフレームワークを構築する代わりに、Nautilus は新しい区画を追加することで成長します。研究者が新しいロボット（例えば新しい種類の手）を追加する場合、システムに新しい「区画」を一つ追加するだけで済みます。システムの残りを再構築する必要はありません。
結果: システムはより複雑になることなく、より大きく、より有用になります。

彼らは実際に何を証明したのか？

この論文は、Nautilus が新しいロボット頭脳を発明したとか、ロボットを以前よりも賢くしたとは主張していません。代わりに、彼らは以下のことを証明しました。

翻訳機として機能する: 彼らは既存のロボット頭脳を Nautilus を使用して既存のベンチマークでテストし、結果は元の著者が主張したものと一致しました。
時間を節約する: 彼らは、Nautilus を使用して新しいロボット頭脳を新しいテストコースに接続することが、手動で行うよりもはるかに速く、安価であることを示しました。これは、すべてのペアごとにブリッジを構築する作業を、システム全体用の一つのブリッジを構築する作業にまで削減します。
実在のロボットで機能する: 彼らは、シミュレーションで訓練されたロボット頭脳を Nautilus でラップし、その頭脳のコードを変更することなく、2 つの非常に異なる実在のロボット（Franka ロボットアームと Unitree H1 人間型ロボット）に展開することに成功しました。

要約すると: Nautilus は新しいロボット頭脳ではありません。それは、異なるロボット頭脳、テストコース、ロボットが、毎回エンジニアのチームにカスタムブリッジを構築させることなく、互いに会話できるようにする万能翻訳機および安全検査官です。

技術的サマリー：Nautilus：1 つのプロンプトからプラグアンドプレイ型ロボット学習へ

1. 問題定義

ロボット学習研究は、現在、主に 3 つの独立した軸（ポリシーファミリー（ $P$ 、例：IL、RL、VLA、WAM）、ベンチマークスイート（ $B$ 、例：LIBERO、ManiSkill）、ロボット実装（ $R$ 、例：Franka、Unitree H1））にまたがって断片化されています。任意の特定のトリプル $(P, B, R)$ を統合するには、通常、Docker 設定、観測アダプター、信頼性検証手順を含む、個別の手書き統合レイヤーが必要です。

この断片化は「ハーネスのギャップ」を生み出します。大規模言語モデル（LLM）はコード生成において進歩を遂げていますが、ロボット工学特有の手続き的プリオア（procedural priors）と検証慣行が欠如しているため、ロボット工学におけるエンドツーエンドの再現結果を生成する際には頻繁に失敗します。エンジニアリングの負担は、ポリシー、ベンチマーク、ロボットの基数をそれぞれ $N, M, K$ とすると $\Theta(N \cdot M \cdot K)$ として増大します。既存のフレームワーク（LeRobot、Isaac Lab など）はしばしば固定されたコンポーネントに結合されており、汎用のコーディングエージェントは、複雑な依存関係の競合やインターフェースの不一致を処理するために必要なドメイン固有の足場（scaffolding）を欠いています。

2. 手法：NAUTILUS ハーネス

著者らは、単一の自然言語プロンプト（例：「ベンチマーク B でポリシー A を評価する」）を、即座に使用可能な再現、評価、ファインチューニング、およびデプロイメントワークフローに変換する、オープンソースのエージェント向けハーネスNAUTILUSを提案します。NAUTILUS は、基盤（substrate）とコンテンツレイヤーの 2 層構造で構成されています。

2.1 基盤（エンジニアリング不変量）

基盤は、エージェントが推論を行うための安定した表面を提供し、統合の複雑さを $\Theta(N \cdot M \cdot K)$ から $\Theta(N + M + K)$ に削減します。これは以下の 3 つの不変量に依存しています：

型付きインターフェース契約：ポリシー、ベンチマーク、ロボットは、固定された機械可読スキーマ（例：infer(obs) -> actions、reset(seed)、apply_action）を通じて公開されます。これらの契約は、実装固有のメカニズム（CUDA スタック、ROS 2 ドライバーなど）を隠蔽し、統合の単位を定義します。
チャンバード実行：生成されたアーティファクトは、使い捨ての隔離されたコンテナ内で実行されます。これにより、依存関係の失敗（CUDA バージョンの競合など）がモジュール間で漏洩するのを防ぎます。エージェントの視点では、ポリシーコンテナ、ベンチマークコンテナ、ハードウェアコンテナが同じアーキテクチャスロットを占有します。
均一なモジュール間通信：
- ティア 1（ロボットローカル）：高帯域幅のセンシングと制御は、ネイティブなロボットスタック（例：ROS 2、共有メモリ）内に留まります。
- ティア 2（ロボット外部）：エージェントは、ポリシーコンテナをベンチマークまたは実ロボットエンドポイントに接続する軽量なWebSocketプロトコルのみを認識します。これにより、シミュレーション環境と実ロボットのエンドポイントが単一の観測/アクションスキーマを共有することが保証されます。

2.2 コンテンツレイヤー（ガイド、センサー、状態）

基盤の上に構築されたこのレイヤーは、ロボット工学研究のワークフローを明示的で再利用可能なコンポーネントに要約します：

ガイド：コード記述前にエージェントの動作を誘導する事前生成指示。ルーティング規則、サブエージェントの役割、検証プロトコルを提供します。
センサー：生成後のバリデーター。アーティファクトを 6 つの基準（例：アクション前のフィルタリング、インターフェース検証、仕様の比較、スモークテスト）に対してチェックします。センサーは、契約違反が発生した場合、ローカルな修正をトリガーするか、実行をブロックします。
状態：型付き契約とピン留めされたアーティファクト（ソースコミット、Docker イメージ）を格納する、永続的で JSON スキーマ検証済みのレジストリ。これにより、エージェントはリポジトリのレイアウトをゼロから再発見するのではなく、検証済みのモジュール知識を再利用できます。
ワークスペースアーティファクト：各実行のソースコミット、環境選択、決定を記録する、追加専用ログと再現レシート。

2.3 実行フロー

ユーザーがプロンプト（例：「LIBERO で $\pi_0$ を実行する」）を発行すると、オーケストレーターはリクエストを特定のサブエージェントワークフローにルーティングします。システムは、検証済みエントリを状態レジストリで確認します。もし欠落している場合、ポリシーモジュールとベンチマークモジュールを並列に生成し、それらの型付き仕様（観測キー、アクション形状など）を比較し、WebSocket スモークテストを実行し、再現性レシートを書き込みます。

3. 主要な貢献

モジュール化された基盤：型付き契約、チャンバード実行、均一なトランスポートに基づくシステム。これにより、クロスファミリーのロボット学習における統合コストが縮小されます。
要約された手続き的プリオア：暗黙的なロボット工学ワークフロー知識を明示的なガイドとセンサーに変換し、エージェントの「ブラックボックス」生成を検証済みのステップバイステッププロセスへと変容させます。
オープンソースプラットフォーム：4 つのポリシーファミリー（IL、VLA、RL、WAM）、6 つのベンチマークスイート、4 つの実装クラスをサポートする構造化されたワークフローを備えた NAUTILUS の公開。これには、異種ハードウェア（Franka および Unitree H1）間で同じロボット契約を検証するデータ収集プラットフォームnautilus-collectが含まれます。
拡張可能なレジストリ：新しいポリシー、ベンチマーク、またはロボットを、フレームワークコードを変更することなく、3〜5 つの型付きメソッド契約を通じてオンボーディングできるコミュニティプラットフォーム。これには、信頼性検証プロトコルへの合格が必要です。

4. 実験結果

本論文は、NAUTILUS を 3 つの研究を通じて評価します：

ベンチマーク信頼性検証：システムは、LIBERO、ManiSkill、RoboTwin、ALOHA、RoboCasa において、公開ポリシー（Diffusion Policy、 $\pi_0$ 、OpenVLA など）の参照結果を再現しました。生成されたラッパーは、参照スコアをわずかな偏差（例： $\Delta \approx \pm 2\%$ ）で忠実に再現し、アダプターが意図された評価プロトコルを保持していることを確認しました。
拡張性に関するアブレーション：「1 つのベンチマークを除外する」テストベッドにおいて、NAUTILUS をバニラなコーディングエージェントと比較しました。
- 成功：NAUTILUS は 100% のラップ成功率と高いタスク成功率（Claude Opus 4.7 で 98.7%）を達成しました。
- コスト効率：型付きテンプレート（基盤）を除去すると、ラップ成功率は 55.3% に低下し、トークン使用量は 3 倍（4170 万トークン）に増加しました。これは、基盤がエージェントにグルーコードを再学習させるのを防いでいることを示しています。
- モデルスケーリング：このハーネスは、より弱いモデル（Claude Sonnet 4.6）において相対的な利益を大きく提供し、バニラエージェントと比較してインタラクションターンを約 27%、コストを約 8% 削減しました。
実ロボットデプロイメント：システムは、Franka アーム上で VLA 操作チェックポイント（ $\pi_0.5$ ）を、Unitree H1 上で RL 歩行ポリシーを正常にデプロイしました。どちらの場合も、シミュレーション用にラップされた同じポリシーアーティファクトを、ポリシーコードやプラットフォーム側のコンテナを変更することなく、ハードウェアコンテナを交換するだけでハードウェアに転送できました。

5. 意義と主張

本論文は、ロボット学習におけるエージェント自動化の主な制約は LLM モデルの能力ではなく、それを囲むハーネスエンジニアリングであると主張します。NAUTILUS は、明示的な検証を備えた安定した契約ベースの基盤を提供することで、クロスファミリーの再現と評価におけるエンジニアリング負担を劇的に削減できることを実証しています。

著者らは、NAUTILUS が断片化した研究ワークフローを構造化されたエージェント手順に変換すると主張しています。ドメイン専門知識（契約、検証プロトコル、状態管理）を実行可能、再利用可能、検査可能にすることで、システムは研究者が新しい $(P, B, R)$ の組み合わせごとに手動でグルーコードをキュレーションすることなく、ワークフローを拡張することを可能にします。この研究は、NAUTILUS を単なる自動化ツールとしてではなく、専門家が構築したハーネスがモデルにロボット学習エコシステム全体にわたるドメイン専門知識を拡張させる未来への一歩として位置付けています。