技術要約: SafeBranch

問題提起

視覚言語モデル（VLM）ベースのエンボディド・エージェントは、インタラクティブな環境においてマルチステップのタスクを実行する能力を備えているが、実行中に安全制約に違反することが頻繁にある。この問題は**インタラクティブな安全性（interactive safety）と呼ばれ、エージェント自身の行動が予期せぬ危険（例：コンロをつけっぱなしにする、濡れた手でコンセントに触れる）を引き起こすことに起因する。これらのインタラクティブな安全上のハザードは、静的な安全制約とは異なり、軌道内の安全クリティカルなステップ（safety-critical steps）**という、限定されたステップに集中している。これらの特定の意思決定ポイントにおいて、エージェントの選択が、その後の軌道が安全な結果に向かうか、あるいは不安全な結果に向かうかの分岐を決定する。

既存のアプローチには、主に2つの制限がある：

1. 推論時のガードレール（Inference-time Guardrails）: 外部の安全性チェッカーや探索ベースのプランナーを使用して、あらゆるステップで行動をブロックまたは修正する手法は、デプロイ時のオーバーヘッドを増大させ、根本的なアクター（actor）自体を変化させることはない。
2. 標準的な教師あり学習（Standard Supervision）:
   • 模倣学習（SFT）: 安全な軌道で学習させることは、「何をすべきか」は教えるが、「なぜ代替案が不安全であったのか」という理由を説明できないため、安全な振る舞いの文脈なき適用につながる。
   • 軌道レベルの選好学習（DPO）: 安全な軌道と不安全な軌道全体を対照させる手法は、安全性の信号を多くのステップにわたる無関係な差異と混同させてしまい、安全性が決定された特定の意思決定ポイントを分離できていない。

核心となる課題は、同じ安全クリティカルなステップにおいて（同一のコンテキストを用い、異なる行動を対比させることで）、ステップレベルの安全性の信号をエージェントに教えるための教師あり学習を提供することである。

手法: SafeBranch

著者らは、エージェント自身の不安全なロールアウトから**分岐ペア（branch pairs）**を構築し、Branch Preference Optimization (BranchPO) を用いてアクターを整列（align）させるフレームワークである SafeBranch を提案する。

1. 環境ロールバックによる分岐ペアの構築

自然なインタラクティブ環境では、単一のステップで分岐する2つの軌道が得られないため、SafeBranchはこれらを合成する：

• ロールバック（Rollback）: エージェントのロールアウト中に安全性違反が発生した場合、安全性クリティック（外部LLM）が違反した制約と、意思決定が行われた特定のステップ（$h_k$）を特定する。
• 修復（Repair）: 環境を $h_k$ までロールバックする。その後、元のコンテキスト $h_k$ とクリティックのフィードバック（$f_k$）を条件として、アクターに対して安全な代替案（$y^+$）を問い合わせる。
• 事後再ラベル付け（Hindsight Relabeling）: エージェントがフィードバックのヒントではなくコンテキストから安全性を学ぶようにするため、訓練用プロンプトからクリティックのフィードバック（$f_k$）を削除する。これにより、生成される分岐ペアは、同一のコンテキスト $h_k$ に条件付けられた、元の不安全な行動（$y^-$）と修復された安全な行動（$y^+$）で構成される。
• フィルタリング（Filtering）: ジャッジLLMを用いて、安全な行動がコンテキストによって正当化され、実行可能であり、かつ制約を解決していることを確認し、ペアをフィルタリングする。

2. Branch Preference Optimization (BranchPO)

本フレームワークは、ステップレベルの整列に適応させた選好学習目的関数を用いてアクターを訓練する。分岐ペアのデータセット $D_{branch}$ が与えられたとき、目的関数は、同一のアンカーステップにおける安全な行動と不安全な行動の間のログ確率マージンを最大化する：
$$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$$
ここで、$r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$ である。これにより、クリティックの安全性判断がアクター内部へと内面化される。

3. デプロイメント

推論時の手法とは異なり、訓練されたアクターは**クリティックフリー（critic-free）**でデプロイされる。実行時には、外部モジュール、ロールバックメカニズム、またはフィードバックループを必要とせず、安全クリティカルな状況を自律的に処理できる。

主な貢献

1. インタラクティブな安全性をステップレベルの問題として定式化: 本論文は、安全性の整列には、軌道全体を最適化するのではなく、安全クリティカルなステップにおける意思決定を分離する必要があることを特定した。
2. SafeBranch フレームワーク: ロールバックによって不安全なロールアウトから、および安全な代替案を引き出すことによって、**同一状態の分岐ペア（same-state branch pairs）**を構築する新しい手法を提案し、ステップレベルの安全性に関するデータの不足問題を解決した。
3. BranchPO 目的関数: これらの分岐ペアを用いてアクターを訓練するために特別に設計された選好最適化目的関数であり、安全性制約を内部化させる。
4. クリティックフリーのデプロイメント: この手法は、安全性のコストを実行時（推論）から訓練時へと移行させ、外部の介入なしに安全に動作するスタンドアロンのアクターを実現した。

実験結果

本手法は、IS-Bench、SafetyALFRED、および未知のタスクやオブジェクトを含む分布外（OOD）バリアントを用いて評価された。

• 性能向上:
  • IS-Bench において、SafeBranchは安全成功率（SSR）を 0.031（未学習のベースライン）から 0.281 に向上させた。
  • OOD-ObjectShift バリアント（未知のオブジェクト）において、SSRは 0.048 から 0.355 に向上した。
  • OOD-TaskShift バリアント（未知のタスク）において、SSRは 0.048 から 0.469 に向上した。
  • SafetyALFRED において、ハザード精度は 0.274 から 0.438 に上昇した。
• ベースラインとの比較:
  • SafeBranchは、OOD設定への汎化に失敗した推論時ベースライン（Self-Verification, Lookahead）を上回った。
  • 標準的な選好学習のバリアント（Trajectory DPO, SFT-only）を大幅に上回った。これらは、正しい意思決定ポイントに安全性の信号を集中させることに苦慮した。
• 効率性: 分岐ペアの構築パイプラインは、一致する計算予算の下で、自然なBest-of-Nサンプリングよりも約 5.2倍速く 利用可能なペアを生成する。
• アブレーション研究: 事後再ラベル付けを削除した場合（訓練時にクリティックのフィードバックを保持した場合）、フィードバックが存在しないデプロイ時にモデルが失敗した。これは、安全性の信号を内面化することの必要性を裏付けている。

意義と主張

本論文は、SafeBranchがインタラクティブな安全性を内面化するためのデータ効率の高い経路を提供すると主張している。安全性をステップレベルの分岐問題として捉え、特定の分岐ペアを構築することで、本手法はエンボディド・エージェントがタスクの成功を犠牲にすることなく、どこで、どのように 安全に行動すべきかを学習することを可能にする。

著者らは、このアプローチが安全性の整列を、外部の実行時依存プロセスから、アクターの内部能力へと移行させるものであることを強調している。結果は、同一状態の分岐ペアでの訓練が、標準的な軌道レベルの教師あり学習では提供できない、ステップレベルの安全性信号を学習するために不可欠であることを示唆している。本手法は、イン分布、分布外、およびクロスシミュレータの設定において最先端の安全性性能を達成しつつ、デプロイ中の外部安全性モジュールの必要性を排除している。