技術要約: RAFAIL – ロボット操作のための関係性認識型失敗検知

問題提起

信頼性の高いロボット操作には、実行中の失敗をリアルタイムで検知する能力が必要です。視覚言語モデル（VLM）はタスクの成果を意味的に評価できますが、その継続的な実行時の推論は、計算コストの面で極めて高い負荷をもたらします。一方で、従来の分布外（OOD）検知や不確実性に基づく検知器は、計算効率には優れていますが、意味的な具体性に欠けることが多く、無害なシーンの変化に対してアラートを発出してしまう一方で、タスクに不可ントな微細な相互作用のエラーを見逃してしまうことがあります。さらに、既存の検知器の多くは、異なるポリシーアーキテクチャ間で共通してアクセスできない、ポリシー内部の特徴量に依存しています。核心となる課題は、VLMの実行時コストを負うことなく、またアクセス不可能なポリシー内部の状態に依存することなく、タスクの成功に直接影響を与える逸脱を検知することです。

手法: RAFAILフレームワーク

RAFAIL（Relationship-Aware Failure Detection）は、グローバルな観測をシーン全体として分析するのではなく、タスクに関連するエンティティ間の関係性（例：グリッパーと物体、物体とターゲット）へと分解することで、これらの課題に対処します。本フレームワークは、オフライン学習フェーズと軽量なオンライン展開フェーズで構成されます。

1. オフライン学習と意味的蒸留

本システムは、オフラインフェーズにおいてのみVLMを活用し、成功したデモンストレーションから意味的な教師信号を生成します。

• タスク記述と物体の抽出: VLMがデモンストレーションのフレームを分析し、タスクの記述、開始/ゴール状態の特定、およびタスクに関連する物体の抽出を行います。
• 関係性の重要度と進捗のラベル付け: より小規模なVLMに対し、一連のフレームシーケンスのペアにおける「物体の関係性の重要度」と「タスクの進捗」をランク付けするようプロンプトを与えます。これらのランキングが、好みのデータセット（preference dataset）を作成します。
• 蒸留: 以下の2つのニューラルネットワークを用いて、この意味的理解を蒸留します。
  • 重要度ラベル付け器 (Importance Labeler) (ResNet18 + MLP): 特定のタイムステップにおける各関係性の重要度スコア ($r_t$) を予測します。
  • タスク進捗ラベル付け器 (Task Progress Labeler) (ResNet18 + BiLSTM): 0から1の範囲の連続的なタスク進捗値 ($p_t$) を予測します。
• 関係性表現学習: DGCNNエンコーダを用い、特定の物体ペアのポイントクラウドを低次元の潜在空間 ($z$) へマッピングするように、コントラスティブ損失（contrastive loss）を用いて学習を行います。この損失は予測された関係性の重要度によって重み付けされ、エンコーダが異なる関係性の状態（正例/負例）を区別できるようにすると同時に、意味的に重要な相互作用を優先するように促します。

2. オンライン展開

実行時には、VLMの推論なしで動作します。

• ポリシー実行: 操作ポリシー（ManiFlow）が、ポイントクラウドと自己受容的（proprioceptive）入力に基づいてアクションを予測します。同時に、補助的な関係性の重要度 ($\hat{r}_t$) とタスク進捗 ($\hat{p}_t$) の推定値を出力します。
• 関係性に特化したOOD検知: 各関係性 $k$ について、独立したOOD検知器（具体的にはRandom Network Distillation: RND）が、潜在表現 $z^k_t$ を評価します。この検知器は、FiLMレイヤーを用いて現在のタスク進捗 $p_t$ に基づいて条件付けられます。
• 失敗ゲーティング (Failure Gating): OODスコア ($s^k_t$) が生成されます。失敗は、ある関係性が「重要」であり（閾値 $\theta_{imp}$ 超過）、かつ「異常」である（校正済み閾値 $\theta^k_{ood}$ 超過）場合にのみトリガーされます。
  $$f^k_t = \mathbb{I}[\hat{r}^k_t > \theta_{imp}] \cdot \mathbb{I}[s^k_t > \theta^k_{ood}]$$
  最終的な失敗信号は、これらすべての関係性にわたるゲート付きスコアの最大値となります。

主な貢献

1. 関係性認識型フレームワーク: グローバルな観測を、個別のタスク関連の関係性に特化した表現へと分解する、新しいアプローチ。これにより、標的を絞った失敗検知が可能になります。
2. 実行時のVLMを用いない意味的蒸留: VLMから関係性の重要度とタスク進捗を軽量なニューラルラベル付け器へと蒸留する手法。これにより、オンラインでのVLM推論を行うことなく、展開時における意味的な認識を可能にします。
3. タスク進捗に条件付けられたOOD検知: タスク進捗と関係性の重要度を統合して異常な相互作用を特定するOOD検致器。これは、ポリシー内部の潜在表現とは独立しています。

実験結果

RAFAILは、3つの実世界のロボット操作タスク（PickPlace, Uprighting, Pouring）で評価されました。本システムは、Action Chunk Entropy (ACE)、FIPER、および各種OOD検知器（logpZO, RND, PCA-kmeans）を含む強力なベースラインと比較検証されました。

• 性能: RAFAILは、全タスクを通じて**73.4%のバランス精度（balanced accuracy）**を達成し、最も強力なベースラインであるACE（65.2%）を上回りました。
• トレードオフ: RAFAILは、真陽性率（TPR: 58.5%）と偽陽性率（FPR: 11.6%）の間で良好なバランスを維持しました。これに対し、他の手法は異なるタスク間での一貫したトレードオフの維持に苦慮することが多くありました。
• 時間的整合性: 検知タイミングの分析により、RAFAILの信号はベースラインと比較して、失敗の物理的な顕現（manifestation）により密接に一致していることが示されました。ベースラインは、大幅に早すぎる、あるいは遅すぎるタイミングでトリガーされる傾向がありました。
• ローカライゼーション: 真陽性の検知において、アラートを発生させた関係性は、PickPlaceでは93.3%、Pouringでは69.3%、Uprightingでは68.0%の割合で、手動で注釈付けされた失敗の関係性と一致しました。
• アブレーション研究: 関係性ごとのエンコーディング（シーン全体をエンコードする場合）を削除した場合、または重要度ゲーティング機構を削除した場合、性能が著しく低下しました。これは、特定の関係性に焦点を当て、不要な関係性を抑制することが堅牢性のために極めて重要であることを裏付けています。

意義と限界

論文は、RAFAILが、失敗データを用いた学習を必要とせず、高い精度と低い計算コストで実行失敗を検知することで、信頼性の高い自律運用を実現する実用的なソリューションを提供すると主張しています。タスクに関連する関係性に焦点を当てることで、グローバルなシーンの変化によるノイズを回避できます。

しかし、著者らは以下の限界についても謙虚に認めています。

• 微細な失敗: 成功した関係性の分布内に収まってしまうような、小さなポーズの偏差によって引き起こされる失敗は、検知されない可能性があります。
• 未モデル化のエンティティ: 本フレームワークは、タスクに不可欠な失敗が、セグメンテーション可能なエンティティ間のペアワイズな関係によって表現できることを前提としています。モデル化されていないエンティティ、グローバルなシーンの特性、非幾何学的な接触力、またはセグメンテーション／トラッキングの崩壊を伴う失敗は、検知されないままとなる可能性があります。

より微細なエラーを捉えるための、より詳細な関係性表現の調査が今後の課題として示唆されています。