技術的サマリー：SAFEMANIP

問題定義

ロボティクス操作の評価は、従来、タスク成功指標（例：成功率）を主軸に行われてきた。しかし、タスクの成功達成は、安全な実行を保証するものではない。ロボティクス操作における多くの安全失敗は、瞬間的な状態違反ではなく、事象の順序やタイミングに起因する時間的な性質を持つ。具体例としては、汚染された食品を扱った後に清潔な表面に触れる、物体が完全に収容容器内に収まる前にそれを解放する、あるいは輸送中にアイテムを落とすなどが挙げられる。既存のベンチマークは、タスク固有の危険ラベル、瞬間的な衝突チェック、または累積軌道コストに依存することが多い。これらは有用であるものの、どの安全ルールが違反されたか、いつ違反が発生したか、そしてタスクが安全に完了したのか、単に完了しただけなのかを明確に示すことができない。多様な操作タスクにわたる時間的性質を明示的に評価する、再利用可能なプロパティ駆動型のフレームワークが存在しない。

手法

著者は、ロボティクス操作における時間的安全性を明示的に評価するために設計された、プロパティ駆動型のベンチマークSAFEMANIPを導入する。このフレームワークは、以下の 3 つの中核コンポーネントで構成される。

1. 形式的仕様言語（LTLf）

SAFEMANIP は、安全性プロパティを定義するために**有限トレース上の線形時間論理（LTLf）**を利用する。無限トレースに用いられる標準的な LTL と異なり、LTLf は、タスクの成功、失敗、または時間制限により終了する有限のロボットロールアウトに適している。

• 原子命題: システムは、物体の姿勢、接触イベント、グリッパー状態、固定具状態といった連続的な観測を、Contaminated（汚染）、StableGrasp（安定把持）、EnclosureCleared（収容容器のクリア）などのブール述語に接地（グラウンディング）する。
• 時間演算子: このフレームワークは、順序、不変条件、回復要件を指定するために、標準的な演算子である次（Next, $\bigcirc$）、Until（$U$）、Always（$\square$）、Eventually（$\diamond$）を採用する。
• 監視: 各 LTLf 式は、決定性有限オートマトン（DFA）にコンパイルされる。ロールアウトが記号的トレースを生成するにつれて、DFA はその状態を更新し、プロパティが満たされたか違反されたかを判定する。

2. 再利用可能な安全性プロパティテンプレート

このベンチマークは、再利用可能な LTLf テンプレートを持つ8 つの安全性カテゴリのスイートを定義する。これらのテンプレートは、タスク固有の物体、固定具、領域、またはスキルでインスタンス化可能であり、環境を超えた一般化を可能にする。

• 衝突および接触安全性: 操作全体を通じて、安全でない接触を回避する。
• 把持安定性: 物体が解放されるまで安定して保持されていることを保証する。
• 解放安定性: 解放された物体が安全に定着すること（転がらない、落ちない、こぼれない）を保証する。
• 交差汚染: 汚染物質を扱った後に清潔な接触を行う前に、消毒を強制する。
• 動作開始安全性: スキルを開始する前に、安全な前提条件を検証する。
• 機構安全性: 固定具（ドア、引き出しなど）への衝突後に、後退と回復を要求する。
• 封入安全性: 移動された液体や物体が意図された受容体に到達することを確認する。
• 収容およびアクセス安全性: 順序制約を強制する（例：新しいアイテムを挿入する前に収容容器をクリアする、完全に開くまで手を伸ばさない）。

3. 評価プロトコル

• タスクスイート: このベンチマークは、多様な家庭用操作スキル（清掃、調理、収納など）を網羅する50 の RoboCasa365 タスクにインスタンス化され、7 つの操作スイートにグループ化されている。
• 評価されたポリシー: 6 つのビジョン・言語・アクション（VLA）ポリシーおよびトレーニング変種がテストされた。これには、$\pi_0$、$\pi_{0.5}$、GR00T N1.5、および 3 つの GR00T 変種（事前学習のみ、ターゲットのみ、組み合わせ）が含まれる。
• 指標: このフレームワークは、タスク成功と安全性を分離する。以下の指標を報告する。
  • タスク成功率: タスクを完了したロールアウトの割合。
  • 安全性違反率: 全体およびプロパティごとの違反頻度。
  • 結果分解: ロールアウトを「成功かつ安全」、「成功だが安全でない」、「失敗だが安全」、「失敗かつ安全でない」に分類する。
  • 不安全状態曝露率: 違反状態に費やされたタイムステップの割合。

主要な結果

50 のタスクにわたる 6 つの VLA ポリシーの評価により、以下の知見が得られた。

1. タスク成功は安全性を意味しない: タスク成功率の向上は、必ずしもより安全な実行に転化しない。例えば、$\pi_{0.5}$ は $\pi_0$ に対してタスク成功率がわずかに向上したが、安全性違反は 69.7% から 82.8% へと大幅に増加した。多くの「成功」したロールアウトは、「成功だが安全でない」として分類された。
2. カテゴリ固有の失敗: 安全性失敗は均一に分布していない。衝突/接触および解放安定性の違反が最も頻繁であった。解放の失敗は特に持続的であり、物体が複数のタイムステップにわたって不安定なまま放置されることが多かった。
3. タスク時間軸と構造の影響:
   • 時間軸: 安全性違反率は、タスク時間軸がアトミックなものから長時間軸のタスクへと延長するにつれて、一般的に増加した。より長い実行は、接触、配置、固定具の動きなど、より多くの安全性上重要な遷移を導入し、最終目標が達成された場合でも違反を蓄積させる。
   • スイート依存性: 調理、清掃、サービングを含む複雑なスイートは、単純な固定具タスクよりもはるかに多くの時間的違反を露呈させた。
4. プロンプトベースのガイダンス: GR00T-tpt モデルに対する安全性プロンプトを用いた探索的分析は、トレードオフを示した。プロンプトはより保守的な行動を促し（違反率をわずかに低下させた）、タスク成功率を大幅に低下させた。

意義と主張

本論文は、SAFEMANIP が、単なるタスク完了や二値的な安全性ラベルを超えて、時間的安全性失敗を診断するための再利用可能な評価レイヤーを提供すると主張する。

• タスク成功を超えて: 著者は、タスク成功が重大な時間的安全性失敗を隠蔽し得ることを実証する。タスク完了と安全な実行を分離することで、SAFEMANIP は、モデルがしばしばタスクを安全でない方法で完了していることを明らかにする。
• 詳細な診断: プロパティ駆動型のアプローチにより、研究者は特定の失敗モード（例：不安定な解放対衝突）と、集計指標ではしばしば隠蔽されてしまう異なるタスク構造におけるそれらの prevalence（頻度）を特定できる。
• 一般化可能性: 再利用可能な LTLf テンプレートの使用により、同じ安全性仕様を異なる物体、固定具、環境に適用することが可能となり、比較的安全性分析を促進する。
• 限定的な範囲: 著者は、SAFEMANIP がすべての可能な危険ではなく、指定されたプロパティを評価することを認めている。現在のインスタンスは述語の接地にシミュレータの状態に依存しており、その結果はすべてのロボティクス領域に対する普遍的な主張ではなく、RoboCasa365 ベンチマークプロトコルに関する記述的ものである。この研究は、将来のプロパティレベルの安全性信号をポリシー訓練や実世界展開に統合するための基盤として機能する。