BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

技術要約: BOKBO — Best of K Bad Options

問題提起
Vision-Language-Action (VLA) ポリシーにおけるテスト時スケーリングは、$K$ 個の候補アクション・チャンクをサンプリングし、検証器やスコアラーによって「最良」のものを選択するという標準的な信頼性向上技術となっている。しかし、このパラダイムは、$K$ 個の候補の中に少なくとも1つは安全かつタスクを完遂できるものが存在する、という極めて重要でありながら、しばしば満たされない仮定に依存している。すべての $K$ 個の候補が不安全である場合、システムは絶対的な品質に関わらず「検証器による最良」の候補を実行してしまい、警告メカニズムのないまま「サイレント失敗（静かな失敗）」を招く。既存の手法には、これら「すべてが不安全な」セルを検出したり、安全性の保証を持って実行を断念（abstain）したりするための形式的なメカニズムが欠けている。さらに、先行研究では「フリー」信号（追加の推論コストなしで利用可能な信号、例えばベースポリシーの確信度や $K$ サンプル間の不一致など）がポリシーの不確実性と相関していると仮定していたが、本論文は、摂動ベースのサンプリング下ではこの仮定が壊滅的に失敗することを実証している。

手法: BOKBO
著者らは、$K$ サンプル VLA 推論のために特別に設計された、最初の共形棄却層（conformal abstention layer）である BOKBO (Best of K Bad Options) を導入する。BOKBO は、較正されたスコアに基づいて実行するか断念するかを決定し、断念されなかった決定における不安全な実行の発生率に対して、有限サンプルかつ分布に依存しない上限を提供 way する。

• 共形リスク制御 (Conformal Risk Control: CRC): この手法は、$K$ サンプル設定に CRC を適用する。違反（$v=1$）の確率を推定する予測器を訓練し、ホールドアウト校正セット上で閾値 $\hat{\tau}$ を較正する。予測器のスコア $s_\theta \le \hat{\tau}$ である場合にのみシステムは実行を行う。
• 非適合スコア (Nonconformity Scores): 本論文では、3 つのスコアリングメカニズムを評価している：
  1. VLA 確信度プロキシ: 選択されたチャンクのベースポリシーの対数確率。
  2. $K$ サンプル間の不一致: 候補間の最大ペアワイズ $L_2$ 距離。
  3. 学習済み違反予測器: セマンティックな視覚特徴（DINOv2）、固有受容状態、およびタスク識別子に基づいて、違反を直接予測するために訓練された小さな MLP。
• Mondrian 較正: タスク間での違反率の不均一性に対処するため、著者らは CRC の Mondrian（タスクごと）バリアントを実装している。これにより、データセット全体に対して周辺的にではなく、各特定のタスクに対して安全性の境界が保持されることを保証する。
• 安全性ラベル付け: 手法的な修正として、安全性のラベル定義が挙げられる。著者らは、グローバルに設定された力閾値（例：50N）が、多くのタスクにおけるエキスパートの典型的な操作力を上回るため、違反率を 5 倍に膨らませることを特定した。彼らは、$\max(50\text{N}, p99(\text{expert max force}) + 10\text{N})$ と定義される、タスクごとのエキスパート校正済み閾値を提案している。

主要な知見と診断分析
本論文の最も重要な診断的知見は、摂動ベースの $K$ サンプリングにおける「フリー」信号の構造的な失敗である。

• 摂動 vs 不確実性: アクション空間のガウス摂動（候補が $a_k = a_0 + \sigma\xi_k$ として生成される場合）の下では、VLA 確信度プロキシと $K$ サンプル間の不一致の両方が、ノイズハイパーパラメータ $\sigma$ と 0.98 の相関を示すが、実際の安全性違反とは（Spearman 相関係数 $\approx -0.05$ で）ノイズフロアにある。
• メカニズム: これらの信号は、注入された摂動の大きさを測定しており、ポリシーの内部的な不確実性を測定しているのではない。
• 境界条件: 著者らは、トークンレベルの温度サンプリング（ポリシーの確率性から多様性を生成する手法）をテストしている。このメカニズムの下では、フリー信号とサンプリングハイパーパラメータの間の相関は（0.98 から 0.41 へ）低下し、信号は安全性に関する情報をいくらか取り戻す。しかし、学習済み予測器はどちらのレジームにおいても依然として優れている。

実験結果
実験は OpenVLA-OFT および $\pi_0$-FAST バックボーンを用い、LIBERO スイート（具体的には libero_object_temp_x0.1 および libero_spatial_temp_x0.1）でファインチューニングして行われた。

• 安全性保証: 目標違反率 $\epsilon = 0.05$ において、条件付き CRC バウンドは libero_object で 86%、libero_spatial で 83% のブートストラップ分割で保持された。
• パフォーマンス: 学習済み予測器を用いることで、BOKBO は libero_object において 78% のカバレッジと 70% の純タスク成功率を達成し、オラクル安全性による改善の 87% を回収した。
• Mondrian バリアント: タスクごとのバリアントは、最小のタスク条件付き保持率を（グローバルの）0.71 から 0.93 へと引き上げ、「ケチャップ」や「ミルク」のような高リスクなタスクにおける信頼性を大幅に向上させた。
• 分布シフト: バウンドは、スイート内の 4 つの分布シフト（温度、オブジェクト、およびクロススイートシフト）の下でも保持されるが、アクションノイズレベル $\sigma$ が較正範囲外にシフトすると劣化する。
• アーキテクチャの特異性: 学習済み予測器はポリシー固有である。OpenVLA-OFT データで訓練された予測器を $\pi_0$-FAST に直接適用すると、条件付き保持率が 0.42 まで低下するため、バックボーン固有の較正が必要となる。

意義と主張
本論文は、主に 3 つの貢献を主張している：

1. 形式的な保証: BOKBO は、$K$ サンプル VLA 推論のための最初の形式的、有限サンプル、分布に依存しない棄却保証を提供し、システムが不安全なアクションを実行するのではなく、実行を拒否することを可能にする。
2. 構造的診断: 本研究は、摂動ベースのサンプリングにおいて「フリー」信号に頼ることの根本的な欠陥を露呈させている。これらの信号は、ポリシーの不確実性ではなく、摂動メカニズムを追跡しているという事実を明確にしており、これは信頼性の高いロボットコントローラーを設計する上で極めて重要な区別である。
3. 手法的な修正: 本論文は、グローバルな力閾値は操作タスクに対して不十分であることを示し、より現実的な違反率をもたらすタスクごとのエキスパート校正法を提案することで、安全性評価における落とし穴を修正している。

限界
著者らは、すべての実験が現在 MuJoico シミュレーション内で行われていることを指摘している。実世界への展開には、タスクごとの力閾値を物理ロボットに転移させる検証と、実行時の力モニタリングの統合が必要である。また、本手法は較正のためにタスクごとのエキスパートデモンストレーション（タスクあたり 25 回）を必要とし、現在は LIBERO ファミリーのベンチマークおよび特定の VLA バックボーンに限定されている。