技術要約：Hide-and-Seek in Trajectories（軌跡における隠れ探し）

問題定義

Vision-Language-Action (VLA) モデルは、自然言語の指示に従い、多様なタスクを汎用化する能力において大きな可能性を示している。しかし、現実世界の環境への展開においては、実行失敗（例：物体を落とすなど）に対する脆弱性が、壊滅的な結果を招く恐enberg可能性がある。実行中の失敗を検出することは、堅牢性を確保するために極めて重要である。

現在の失敗検出手法には、主に2つの制限がある：

1. 監督コスト： ステップレベルの失敗アノテーション（エラーが発生した正確なタイムスタンプの特定）を取得することは、特に長期的なホライゾンを持つ確率的な軌跡においては、コストが高く、スケールさせることが困難である。既存のアプローチの多くは、軌跡レベルのラベルに依存しており、それらをすべてのタイムステップに一様に伝播させる。この「一様な伝播」は、失敗に先立つ正常なアクションを失敗として誤ラベル付けしてしまい、大幅なラベルノイズを導入し、局所的な失敗信号を不明瞭にする。
2. 計算上の実用性： アクションの再サンプリングや外部のVision-Language Model (VLM) による判定に依存する手法は、推論オーバーヘッドが非常に大きく、リアルタイムの展開を妨げる。さらに、既存の検出器の多くは特定のタスクに特化したポリシー向けに設計されており、オープンワールド設定における汎用的なVLAへの適用性は限られている。

解決すべき核心的な課題は、粗い教師あり学習による失敗検出 (Coarsely Supervised Failure Detection) である。すなわち、ステップレベルのアノテーションを一切使用せず、軌跡レベルの出力ラベル（成功/失敗）のみを用いて、微細なステップレベルの失敗検出器を学習することである。

手法：Hide-and-Seek

著者らは、この問題を粗い教師あり学習タスクとして扱う、軽量なランタイム失敗検出フレームワークである Hide-and-Seek を提案する。この手法の名前は、「失敗の信号は軌跡内の大部分の正常な挙動の中に『隠れて』おり、検出器は軌跡レベルの結末という手がかりだけを使ってそれらを『探し出す（seek）』必要がある」という比喩に由来している。

コアフレームワーク

本フレームワークは、軌跡のプレフィックス $\tau_{\le t}$ （内部のアクション埋め込みで構成される）をスカラーの失敗スコア $s_t \in [0, 1]$ にマッピングする逐次的な検出器 $f_\phi$ を学習する。軌跡のラベルを一様に割り当てる代わりに、本手法は、失敗を特徴づけるアクションを特定するために、2つの相補的な粒度で対照的学習目的関数 (contrastive objective) を採用している。

1. 軌跡間対照損失 ($\mathcal{L}_{inter}$):

   • 目的: 失敗の軌跡における最も失敗を特徴づけるアクションを、成功の軌跡における最も失敗に似たアクション（最も困難な偽陽性）から区別すること。
   • メカニズム: 失敗の軌跡 ($\tau_f$) と成功の軌跡 ($\tau_s$) のペアに対して、$\tau_f$ における最大失敗スコアが $\tau_s$ における最大スコアをマージン $m_r$ 以上上回るように強制する。
   • 効果: どこで発生するかを仮定することなく、最も顕著な失敗信号に焦点を当てるようモデルを導き、決定的なステップを適応的に発見する。

2. 軌跡内対照損失 ($\mathcal{L}_{intra}$):

   • 目的: 失敗の軌跡内における時間的ダイナミクスを形成し、失敗前（正常）フェーズと失敗後フェーズを分離すること。
   • メカニズム: 本手法では、急激なスコア上昇の点 ($\arg\max_t (s_t - s_{t-1})$) をプロキシとしての失敗開始点 $t_{onset}$ と定義する。この損失は、$t_{onset}$ 以降の平均スコアが $t_{onset}$ 以前の平均スコアをマージン $m_o$ 以上上回るように促す。
   • 効果: これにより、粗い軌跡レベルの監督を時間的に構造化された信号へと変換し、正常な実行中にはスコアを低く保ち、失敗の開始時にスコアを急上昇させることを保証する。

全目的関数は $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$ である。

ランタイム・モニタリング

推論時、検出器は各タイムステップでスコア $s_t$ を生成する。失敗のアラームを決定するために、システムは関数的共形予測 (Functional Conformal Prediction: CP) を採用する。保持された成功軌跡のキャリブレーションセットから、時間変化する閾値 $\zeta_t$ が構築される。これにより、新しい成功ロールアウトに対して、軌跡レベルの誤報率がユーザー指定の有意水準 $\alpha$ 以内に抑えられることが保証される。$s_t \ge \zeta_t$ となる最も早いタイムステップで失敗が宣言される。

アーキテクチャ

検出器 $f_\phi$ は、VLAのアクショントークンまたはヘッドから抽出されたアクション埋め込みを処理する、軽量なシーケンスモデル（デフォルトは単層LSTM）である。時間的な冗長性を軽減するため、非重複のスライディングウィンドウ集約と平均プーリングを使用している。

主な貢献

1. 新規フレームワーク: 粗い教師あり学習とエンボディドAIの失敗検出を橋渡しし、軌跡レベルの監督のみから失敗を特徴づけるアクションの発見を可能にするHide-and-Seekを導入した。
2. 対照的学習目的関関数の設計: 軌跡間および軌跡内の両方で失敗信号を区別するデュアルロスメカニズムにより、ステップレベルのアノテーションなしで、粗い監督を時間的に構造化された信号へと効果的に変換する。
3. 包括的な評価: 3つの代表的なVLAポリシー（OpenVLA（自己回帰型）、$\pi_0$、$\pi_0.5$（フローマッチング））を用い、シミュレーションベンチマーク（LIBERO-10, VLABench）および実世界のロボットプラットフォーム（UFactory xArm 6）において広範な評価を行った。

実験結果

本手法は、OOD検出法、マルチサンプリング手法、および分類器ベースの手法（例：SAFE）を含む12のベースラインと比較検証された。

• 性能: Hide-and-Seekは、既知および未知のタスクの両方において、すべての指標（Balanced Accuracy, Weighted Accuracy, Time-weighted Accuracy）で最先端の性能を達成した。
  • OpenVLAを用いたLIBERO-10において、最強の分類器ベースライン（SAFE-MLP）に対し、既知タスクでbACCが**+6.8%、未知タスクで+7.2%**上回った。
  • $\pi_0.5$を用いたVLABenchにおいて、SAFE-MLPに対し、既知タスクでTWAが**+8.1%、未知タスクで+10.8%**上回った。
  • 実世界実験において、既知および未知のタスク間で安定した性能を維持し、未知のタスクにおいてSAFE-MLPに対し**+11.7%**のbACC向上を達成した。
• 効率性: VLMベースのランタイムモニター（Qwen3-VL-8B）と比較して、Hide-and-Seekは2,000倍以上高速（ステップあたり0.001秒 vs 2.343秒）でありながら、精度は**+13.1%**高い。
• アブレーション研究:
  • 一様ラベル付け: 提案手法は、すべてのタイムステップに軌跡ラベルを一様に割り当てるベースラインを大幅に上回った（OpenVLAでbACC +19.4%）。これは、一様な伝播がラベルノイズを導入することを裏付けている。
  • アーキテクチャ: 再帰的バックボーン（LSTM, GRU）はMLPやTransformerよりも優れた性能を示し、時間的コンテキストをモデル化する利点が示唆された。
  • 損失成分: $\mathcal{L}_{inter}$ と $\mathcal{L}_{intra}$ の両方が必要である。$\mathcal{L}_{inter}$ 単独でも良好な性能を示すが、組み合わせることで一貫した改善が得られる。

意義と主張

本論文は、Hide-and-SeekがエンボディドAIにおけるリアルタイムの失敗監視のための、実用的かつ軽量なソリューションを提供すると主張している。その意義は以下の点にある：

• アノテーションコストの排除: 高価なステップレベルの失敗アノテーションを必要とせず、自然に得られる軌跡レベルの結末のみに依存する。
• 汎用性: 既知のタスクおよび未知のタスク、さらには異なるVLAアーキテクチャ（自己回帰型およびフローマッチング）に対して強力な汎用性を示す。これは、従来の専門特化型手法の主要な制限に対処するものである。
• 実世界での実現可能性: 重い推論オーバーヘッド（再サンプリングやVLM判定のような）を回避し、共形予測を通じて精度とタイミングの好適なトレードオフを実現することで、実世界のロボットシステムへの堅牢な展開を可能にする。

著者らは、本研究を、弱教師あり学習のパラダイムとエンボディドエージェントの安全性に関する固有の課題を結びつける新しい試みとして位置づけており、信頼性の高いVLA展開へのスケーラブルな道筋を提示している。