テクニカルサマリー：HARBOR: エージェンティックなロボット強化学習のためのハーネス・フレームワーク

1. 問題提起

強化学習（RL）は、シミュレーションで学習したポリシーを物理ハードウェアに転送するsim-to-realの設定において、ロボット学習の支配的なパラダイムとしての地位を確立している。しかし、RLのより広範な採用を妨げているのは、アルゴリズムそのものではなく、それを実装するために必要な多大な労力を要するエンジニアリング・パイプラインである。実務者は、デジタルツインの構築、報酬関数の設計、ドメイン・ランダム化のキャリブレーション、ハイパーパラメータのチューニングといった作業を手動で行う必要があり、これらは単一のセットアップに対して数日または数週間の専門的な工数を要することが多い。

先行研究では、このパイプラインの孤立したコンポーネント（例：言語モデルによる報酬合成、自動ドメイン・ランダム化、ハイパーパラメータ調整のためのAutoRL）の自動化が探索されてきたが、これらのシステムは通常、ワークフロー全体を扱うには至っていない。実務者は依然として、シミュレータの構成、生成された報酬と学習コードの接続、計算クラスターの管理、そして成功した設計の他タスクへの手動での転送という負担を背負っている。この断片化が、迅速なデプロイや大規模な汎用ロボット学習のためのRLワークフローの効率的なスケーリングを阻害している。

2. メソドロジー：HARBORフレームワーク

著者らは、ロボットRLの自動化を「ハーネス・エンジニアリング」の問題として再定義するハーネス・フレームワークであるHARBORを導入している。HARBORは、単に強力な大規模言語モデル（LLM）にコードを生成させるのではなく、標準化されたインターフェースを通じて特化したエージェントを調整する、構造化された実行環境を提供する。

コア・アーキテクチャ

HARBORは、高レベルの目的（与えられたシミュレータのコードベースとタスク仕様）を、特定のステージを実行する特化したエージェントへと分解する。フレームワークは、タプル $H_{RL} = (H_A, C, M, G, K)$ によって定義される：

• エージェント ($H_A$): 特定のステージ（依存関係のセットアップ、タスク生成、報酬設計など）に割り当てられた、コンテキストが隔離されたサブプロセス。これらはローカルなアーティファクトと取得された知識に基づいて動作し、中央コントローラーにコンパクトな要約を返す。
• コマンド ($C$): エージェントに公開された再現可能な操作（例：rl-sweep、tune-reward）。これらは組み込みのテンプレートとスクリプトに基づいているため、異なるエージェント間でも一貫した実行が保証される。
• 可変アーティファクト ($M$): ワークフローの状態を外部化する、永続的かつ検査可能なファイル（例：設定ファイル、学習ログ、ビデオ）。これにより、一時的なLLMのコンテキストへの依存を減らし、エージェント間の通信基盤として機能する。
• 検証ゲート ($G$): ステージが進展できるかどうかを判断する実行可能なチェック。これには、ハードなインターフェースチェック（例：インポートの成功、デバイス検出）と、ソフトな意味論的チェック（例：ロールアウトの挙動、報酬の診断）が含まれる。ゲートが失敗した場合、エージェントはアーティファクトを修復するための失敗要約を受け取り、合格した場合、状態がコミットされる。
• 再利用可能な知識 ($K$): テンプレート、リファレンス、スクリプト、人間のヒューリスティック、および過去の実行から蓄積された経験のレポジトリ。これにより、システムはパターン（例：効果的な報酬項、不安定なパラメータ範囲）を抽出し、それらを再利用して後続の試行の効率を向上させることができる。

実行プロトコル

システムは、中央集権的な制御と分散された実行モデルを通じて動作する：

1. オーケストレーション: メインエージェントが関連する知識を抽出し、境界付けられたステージに特化したサブエージェントを派遣する。
2. 並列試行: 報酬のチューニングやハイパーパラメータ最適化などの反復的なステージは、隔離されたディレクトリ内で並列試行として実行される。これにより、メインエージェントのコンテキスト肥大化を防ぎ、計算クラスター上での非同期実行が可能になる。
3. 経験学習: 試行終了後、メインエージェントは結果を集計し、繰り返されるパターンを箇条書きに蒸留し、再利用可能な知識ベースを更新する。これにより、システムは実行全体を通じて失敗と成功から学習し、パフォーマンスを向上させることが可能となる。
4. ゲートチェックによる進行: エージェントは、実行可能なゲートがその出力を検証した後でのみ、ステージを進めることができる。これにより、エラーが下流に伝播することを防ぎ、リトライ予算を超えて解決されない場合に人間による介入を可能にする。

3. 主な貢献

本論文の主な貢献は以下の3点である：

1. 問題の定式化: ロボットRLの自動化をハーネス・エンジニアリングの問題として定式化し、長期間の自動化を可能にする特定のインターフェース（MDPコンポーネント）とフィードバック信号（ロールアウト、学習曲線）を特定した。
2. システムのインスタンス化: 自然言語によるロボット学習の目的を、エージェント・コマンド・アーティファクト・ゲート・知識のパラダイムを用いて、自動化された信頼性の高いワークフローへと変換するシステム、HARBORを提示した。
3. アクセシビリティと監査可能性: HARBORは、文書化されたLLMエージェント・プラグインとして実装されている。永続的なアーティファクトとゲート付きチェックポイントの使用により、実務者がパイプラインを監査、介入、適応することを可能にし、専門家以外の利用への障壁を下げている。

4. 実験結果

著者らは、操作、歩行、および両手を用いた器用な制御にわたる6つのベンチマークと16のタスクにわたってHARBORを評価した。評価スイートには、IsaacLab、Bi-DexHands (IsaacGym)、ManiSkill (Sapien)、Genesis、MJLab (Warp)、Loco-Mujoco (MJX) といった多様なシミュレーション・バックエンドが含まれている。

エンドツーエンドの自動化とSim-to-Real

• シミュレーション性能: HARBORは、4つのシミュレータ（IsaacLab, ManiSkill, Genesis, MJLab）および4つの操作タスク（Stack-Cube, Insert-Drawer, Lift-Box, Dex-Grasp）において、フルパイプライン（依存関係のセットアップからポリシー学習まで）の自動化に成功した。IsaacLabのタスクにおいて、**88.5%から100%**の成功率を達成した。
• 実世界への転送: HARBORを介して訓練されたポリシーは、実世界のロボット（Frankaの両腕およびAllegro Handを備えたxArm）への転送に成功した。成功率はシミュレータの物理特性（例：物理識別問題のためMJLabでは低くなる）によって変動するものの、フレームワークは実世界での実行のために報酬構造やドメイン・ランダム化を適応させる能力を示した。
• 報酬設計: EurekaやREvolveと比較して、HARBORは特に長期間のタスク（Stack-Cube）や複雑な相互作用（Insert-Drawer）において一貫して優れた性能を示した。ロールアウトの挙動フィードバックを用いて診断を行い、段階的な報酬構築のために人間のヒューリスティックを活用する能力が、その成功の鍵となった。

RLアルゴリズムのチューニング

HARBORは、テーブルトップ操作、両手を用いた器用な制御、および歩行タスクにおけるPPO、SAC、TD3のチューニングにおいてテストされた。

• 性能向上: 12個中11個のタスク設定において、HARBORでチューニングされた構成はデフォルトの構成と同等またはそれを上回る性能を示した。
• サンプル効率: チューニングされたポリシーは、サンプル効率（AUCおよびリターン閾値への到達時間で測定）において大幅な改善を示し、特定のタスク（例：UnitreeGo2におけるSAC）では最大**516%**の向上を実現した。
• 複雑なタスクの成功: 特筆すべきは、HARBORが、元のベースラインが失敗したタスク（ShadowHandDoorOpenIn, ShadowHandDoorCloseIn）においてSACの学習を可能にしたことである。

アブレーションと効率性の分析

ManiSkillのPush-Cubeパイプラインにおけるアブレーション研究では、フル機能のHARBORフレームワークを、特定のコンポーネント（サブエージェントの隔離/並列化なし、ゲートなし、経験なし）を欠いたバリアントおよびバニラ・ベースラインと比較した。

• 信頼性: フル機能のHARBORフレームワークは、バニラ・ベースライン（50回中29回成功）と比較して、最も高い信頼性（48/50回の成功）を達成した。
• コストと時間: HARBORは最もコスト効率の高い構成であり、バニラ・ベースラインと比較して、実時間の経過を約4.2倍短縮し、トークンコストも大幅に削減した。
• コンポーネントの影響:
  • 隔離 (CCDE): サブエージェントの隔離を取り除くと、コンテキスト・タックス（文脈負荷）と実行時間が増加し、反復ステージにおける成功率が低下した。
  • ゲート: ゲートを取り除くと、サイレント・フェイラー（例：レンダリングの欠陥）が発生し、報酬生成およびチューニングの成功率が低下した。
  • 経験: 再利用可能な知識を取り除くと、生成ステージにおける信頼性が劇的に低下した（報酬生成の成功率は10回中2回に減少）。

5. 意義と限界

本論文は、ロボットRLの自動化は、エンジニアリング・パイプラインを純粋なコード生成タスクとしてではなく、構造化されたハーネスとして扱うことで、エンドツーエンドで達成できることを示していると主張している。実行可能なフィードバックと永続的なアーティファクトを活用することで、システムはエンジニアリングの労力とコストを削減し、実世界への転送が可能なポリシーを生成する。

限界:

• 知識への依存: HARBORの能力は、エージェントに公開されているツールと事前知識によって制限される。事前のスキャフォールディング（足場）がない斬新なタスクでは、多くの修復イテレーションが必要になるか、失敗する可能性がある。
• Sim-to-Realの境界: HARBORはシミュレーション・パイプラインを自動化するが、物理ロボットへのデプロイには、依然としてロボット・インターフェースや人間によるフィードバックループのための手動エンジニアリングが必要である。
• ポリシー・アーキテクチャ: 現在の実装は比較的単純なポリシー・アーキテクチャをサポートしている。Vision-Language-Action（VLA）やワールドモデルに基づくポリシーへの拡張は、今後の課題として挙げられている。

著者らは、HARBORを人間の専門家に取って代わるものではなく、実務家がパイプラインを監査し適応できるようにすることで、RLを多様なロボットタスクへ適用するための障壁を下げるシステムとして位置づけている。