技術要約：RAPT – シム・トゥ・リアル（Sim-to-Real）ヒューマノイド展開のためのモデル予測型外分布（OOD）検知および故障診断

問題提起

学習された制御ポリシーをシミュレーションから現実のヒューマノイドロボットへ展開（Sim-to-Real）することは、大きなリスクを伴う。シミュレーション内では堅牢に見えるポリシーも、未モデル化のダイナミクス、センサーノイズ、レイテンシ、ペイロードの変化、地形の変化、あるいは実装エラーによって、展開時に外分布（Out-of-Distribution: OOD）状態に自信を持って突入してしまう可能性がある。これらのOODイベントは、「サイレントフェイル（静かな失敗）」、転倒、自己衝突、またはハードウェアの損傷を引き起こす可能性がある。

既存のアノマリー検知手法は、高頻度なヒューマノイド制御（50 Hz）の特定の制約を満たせないことが多い。

• 計算コスト： 不確実性やアンサンブル手法は、リアルタイム制御ループにはコストが高すぎる場合が多い。
• キャリブレーションの問題： 生成モデル（例：LSTM-VAE）は、尤度の誤キャリブレーションや入力複雑性のバイアスに苦しむことがある。
• 解釈性の欠如： 多くの手法は単なるバイナリの停止信号のみを提供し、実行がいつ、どこで、なぜ定常的な挙動から逸脱したのかという洞察を与えない。
• 状態の結合： 汎用的な時系列手法は、固有受容チャネルを独立した信号としてではなく、結合されたロボット状態として扱うことができない。

手法

本論文では、学習済み制御ポリシーと並行して動作するように設計された、軽量で自己教師ありのモニタリングシステムであるRAPT (Recurrent Anomaly Probabilistic Trajectory Model) を提案する。RAPTは以下の4つのステージで動作する。

1. 定常データの収集

RAPTは、大規模シミュレーション（NVIDIA Isaac Lab）内でエキスパートポリシーによって実行された定常的な固有受容軌跡を収集する。これらの軌跡は、システムが展開中に維持すべき「定常挙動多様体」を定義する。学習前に観測値は正規化される。

2. 確率的リカレント軌跡モデル

RAPTは、自己教師ありのリカレント再構成モデルとして訓練される。アーキテクチャには以下が含まれる：

• 残留状態エンコーダ（Residual State Encoder）： 観測履歴を処理する。
• GRUベースのテンポラル・ブリッジ（Temporal Bridge）： 時間的依存関係を捉える。
• 潜在ボトルネック（Latent Bottleneck）： 状態表現を圧縮する。
• 確率的デコーダ（Probabilistic Decoder）： 対角ガウス再構成分布 $[\mu_t, \log \sigma^2_t]$ を出力する。

モデルは、定常的な観測の負の対数尤度（NLL）を最小化する。この定式化は**ヘテロスケダスティックなアレオリック不確実性（異分散的な偶然の不確実性）**を捉えることを可能にし、自然に変位が大きい次元には大きな予測分散を持たせ、一貫した次元における偏差をより厳しく罰するようにする。速度追従タスクでは、前方ダイナミクス変種（$o_{t-1}, a_{t-1}$ に条件付けして $o_t$ を予測する）が使用され、それ以外の場合は純粋な再構成が好まれる。

3. シミュレーション訓練、展開時キャリブレーションによるOOD検知

展開時には、RAPTは次元ごとの予測偏差を評価する。Sim-to-Realのギャップに対処するため、RAPTは2つのキャリブレーションモードをサポートしている：

• シミュレーション・キャリブレーション： シミュレーションで訓練された分布からの偏差を測定し、残留するSim-to-Realの不一致を可視化する。
• 実世界キャリブレーション： 検証済みの定常的なランを短期間行うことで、静的なオフセット（センサーノイズ、レイテンシ、ハードウェアのダイナミクス）に適応し、特定のハードウェアに対する新しいOODイベントの検知を可能にする。

検知には階層的ゲーティングメカニズムが使用される：

• ローカルゲート（Local Gate）： 異常に大きな次元ごとの偏差（$\ell_{t,i} > \tau_{max} + 5\sigma_i$）を検知する。
• グローバルゲート（Global Gate）： 平均予測偏差の広範なシフト（$\bar{\ell}_t > \tau_{global} + 3\sigma_{global}$）を検知する。
• ハイブリッド安全エンベロープ（Hybrid Safety Envelope）： オプションとして決定論的な範囲検知器と組み合わされる。最終的なアノマリーの決定は、ローカル、グローバル、および範囲ゲートの論理和（OR）である。

4. 失敗の局在化と診断

• 時間的サリエンス（Temporal Saliency）： アノマリー検知時、RAPTはリカレントモデルを通じた積分勾配を用いて、履歴ウィンドウに対する最終的なNLLの勾配を計算する。これにより、いつ、どの固有受容チャネルが最初に定常的な挙動から逸脱したかを強調する、時空間的な属性マップが生成される。
• 意味的診断（Semantic Diagnosis）： マルチモーダルな大規模言語モデル（LLM）が、構造化されたエビデンス（時間的サリエンスの要約、関節運動学的軌跡、タスクコンテキスト、および視覚的キーフレーム）を受け取り、失敗原因（衝突、センサー故障、地形の変化など）のゼロショット分類を実行する。これには、検知器の訓練中にラベル付きの失敗データは必要としない。

主な貢献

1. シミュレーション訓練、展開時キャリブレーションによるモニタリング： RAPTは大規模シミュレーションから学習し、シミュレーションまたは短期間の実世界データを使用して閾値をキャリブレーションする。これにより、デバッグとハードウェア時間でのOOD検知の両方をサポートする。
2. 高自由度ヒューマノイドのための低FPR OOD検知： キャリブレーションされた次元ごとおよびグローバルなゲートを備えた確率的予測偏差モデリングを使用することで、RAPTは厳格な偽陽性（False Positive）制約の下で、高頻度対応可能なベースラインを上回る性能を示す。
3. 局在化された証拠による失敗診断： システムは、次元ごとのNLL信号と時間的サリエンスを生成し、検知器の訓練にラベル付きの失敗データを用いることなく、事後的な意味的失敗診断を可能にする。

実験結果

著者らは、NVIDIA Isaac Labおよび物理的なハードウェアの両方において、Unitree G1 ヒューマノイドを用いてRAPTを検証した。

• シミュレーション性能： 4つのタスク（速度追従、モーション模倣、弾道投擲）と15のOODカテゴリにわたり、RAPTは0.5%のエピソードレベルの偽陽性率（FPR）において、最強のベースラインに対して**37%**の真陽性率（TPR）向上を実現した。
• ハードウェア性能： 物理的なUnitree G1を用いた78回の試行において、RAPTは高頻度対応可能なベースラインよりも少ない偽陽性を伴いながら、89%のTPRを達成した。
• 診断精度： 困難なOODサブセットにおいて、RAPTはゼロショットLLMアプローチを用いて、21の失敗カテゴリに対して75%の意味的失敗診断精度を達成した。
• レイテンシ： モニタリング・パイプラインは約1.6msで動作し、50 Hzの制御ループと互換性がある。

重要性と主張

本論文は、RAPTをドメインランダム化やシステム同定の代替品としてではなく、転送後に残存する残留不一致および予期せぬOODイベントを監視するための補完的なレイヤーとして位置付けている。

• 安全性とデバッグ： RAPTは、基礎となるコントローラーを変更することなく、安全監視およびデバッグのための観測可能な展開時の信号を提供する。OOD検知時に、定義された安全応答（安全停止、制御された転倒、リカバリなど）をトリガーする。
• 解釈性： バイナリの停止信号を超えて、局在化した次元ごとのエビデンスと意味的推論を提供することで、RAPTは学習されたポリシーにおける失敗の「ブラックボックス」的な性質に対処し、オペレーターが外部の乱れ、アクチュエータの劣化、またはセンサー故障を区別できるようにする。
• 再現性： 著者らは、将来のベンチマークをサポートするために、訓練パイプライン、ラベル付きの実世界データセット、およびC++展開コードを公開することを約束している。

この研究は、軽量で自己教師ありの確率的モデルが、複雑なヒューマノイドシステムにおいて、即時の安全介入と事後の診断的洞察の両方を提供しながら、シミュレーションと現実のギャップを効果的に埋めることができることを示している。