💻 computer science

Same Weights, Different Robot: A Deployment Safety View of VLA Policies

本論文は、Vision-Language-Action（VLA）のデプロイメントにおける安全性には、行動正規化メタデータを実行可能なポリシーの不可欠な一部として扱うことが必要であることを主張しており、同一のモデル重みであっても、不一致の逆正規化コンベンションと組み合わされた場合には、劇的に異なり、かつ安全ではない物理的挙動を生じさせることを示している。

原著者： Jianwei Tai

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jianwei Tai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に有能なロボットシェフがいると想像してください。あなたはそのシェフに、特定のレシピ本（モデルの重み）と材料のリスト（プロンプト）を与えます。そして、もしレシピ本と材料が同じであれば、シェフは毎回全く同じ料理を作るはずだと想定します。

この論文は、ロボットにとってこの仮定は危険であると主張しています。

以下に、論文独自の知見を用いた簡単な解説をまとめます。

1. 「秘密の翻訳者」問題

論文によると、ロボットの脳（AIモデル）は、実際にはロボットの腕に直接指示を出しているわけではありません。代わりに、脳は「正規化」された言語、つまり学習しやすくするために数値を0から1の間にスケーリングしたコードで話しています。

ロボットが動く前に、翻訳者（「アンノーマライザー」と呼ばれます）が、その0から1の数値を現実世界の動き（例：「腕を前方に5インチ動かす」）へと変換します。

落とし穴： この翻訳者は、その変換を行うための特定の「辞書」または「メタデータ・キー」を必要とします。

キーA は、「0.5 は 2インチ動かすことを意味する」と定義しているかもしれません。
キーB は、「0.5 は 5インチ動かすことを意味する」と定義しているかもしれません。

もし、同じレシピ本（AIモデル）をダウンロードしたとしても、誤ってキーAではなくキーBを使用してしまった場合、ロボットは脳から全く同じ指示を受け取っているにもかかわらず、腕の動きは全く異なるものになります。

2. 「サイレント・スワップ（静かなる入れ替え）」

著者らはこれを「サイレント・インターフェース・フェイailure（静かなインターフェースの失敗）」と呼んでいます。

目に見えるもの： AIモデルは同一です。コードも同一です。安全チェックも「合格」と判定します。
実際に起きていること： 翻訳者が間違った辞書を使用したため、ロボットは実際には異なる「ポリシー（物理的なルールのセット）」を実行しています。

これは、パイロットに同じ飛行計画を与えながら、地図を別の大陸のものにすり替えてしまうようなものです。パイロットは指示通りに完璧に操縦していますが、目的地には全く別の場所にたどり着いてしまいます。

3. 「ドリフト」証明書

著者らは、ExecSpec と呼ばれるツールを導入しています。これは、ロボットを実際に動かす必要さえない**「フライト前チェックリスト」**のようなものです。

これは、ロボットに使用される予定の「辞書（メタデータ）」を調べます。
そして、実際に使用されている辞書と比較します。
そして、**「ドリフト・スコア（乖離スコア）」**を算出します。このスコアは、ロボットが起動する前に、ロボットの物理的な動きが意図からどれほど外れるかを正確に示します。

もしスコアが高い場合、それは、たとえAIの脳が同じであっても、ロボットが意図とは全く異なる動きをしようとしていることを意味します。

4. 「ロボット・ジム」実験

これが単なる理論ではないことを証明するために、著者らはLIBEROというロボット訓練シミュレーターを用いてテストを行いました。彼らは、成功したロボットの動き（ロボットが物体を完璧に拾い上げた動き）を再生しましたが、そこにひねりを加えました。

シナリオ： ロボットの「脳」と「動作コード」は全く同じままにしました。
変更点： 「辞書（メタデータ）」を、似たような見た目の別のデータセットのもの（例えば、「Goal」の辞書を「Spatial」の辞書に置き換えるなど）に差し替えました。

結果は劇的でした：

LIBERO-Goal： 正しい辞書を使用した場合、28回中28回成功していたタスクが、間違った辞書では28回中2回にまで激減しました。
LIBERO-Spatial： 正しい辞書を使用した場合、26回中26回成功していたタスクが、間違った辞書では26回中0回にまで落ち込みました。
LIBERO-Object： 間違った辞書を使用した場合、28回の成功試行はすべて完全に失敗しました。

ロボットが失敗したのは、ロボットが「愚か」だったからでも、AIがミスをしたからでもありません。翻訳者が数字の意味を変えてしまったために失敗したのです。

5. 主な教訓

この論文は、ロボットのポリシーはAIモデルの重みだけではないと結論付けています。

ロボットが何をするかを真に理解するためには、次の3つの要素を併せて確認しなければなりません。

AIモデル（脳）。
プロンプト（指示）。
メタデータ／辞書（翻訳者）。

これら3つのうちどれか一つでも変われば、たとえ重みが同一であっても、それは別のロボット・ポリシーとなります。論文は、ロボットを動かす前にこの「辞書」を検証する安全チェックを含めなければ、安全なロボットを導入しているつもりでも、実際には異なる、あるいは潜在的に危険なロボットを導入してしまう可能性があると示唆しています。

要約すると： 車が安全かどうかを知るために「エンジン（AIの重み）」だけをチェックしても不十分です。「ステアリングの校正（メタデータ）」もチェックしなければ、エンジンが完璧であっても、車は円を描いて走ってしまうかもしれません。

技術要約：同じ重み、異なるロボット

問題提起
現在のVision-Language-Action（VLA）ポリシーのデプロイメントモデルは、ニューラルネットワークのチェックポイント（重み、トークナイザー、プロンプト）を、ポリシーの同一性と安全性レビューの唯一の単位として扱っています。本論文は、この仮定が重大な「デプロイメント・セーフティ・ギャップ（展開上の安全性の乖離）」を生み出していると主張します。実際には、VLAモデルは正規化されたアクション座標を出力し、これは物理的なコントローラコマンドへと変換される**アクション非正規化（action unnormalization）**ステップを経る必要があります。このステップは、正規化された値を物理単位にマッピングするためのメタデータ（例：データセット固有の分位点統計量）に依存しています。

核心となる問題は、同一のモデル重みであっても、非正規化に使用されるメタデータが誤っている場合、異なる実行可能なロボットポリシーをインスタンス化してしまう可能性があることです。例えば、妥当に見える兄弟関係にあるメタデータキー（例：異なるタスクスイートの統計量）に置き換えた場合、モデルの内部出力は変化しないにもかかわらず、異なる物理的アクション則が生成されます。これは、安全性監査がチェックポイントを認証しても、実際にロボットコントローラに到達する実行可能なポリシーを見逃してしまうという「サイレント・インターフェース・フェイル（静かなインターフェースの失敗）」を構成します。

手法
著者らは、VLAポリシーを単なるモデルではなく、以下の実行可能タプル $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$ として定式化しています：

$f_\theta$ : 学習されたモデル。
$I$ : 画像および言語プロセッサ。
$Z$ : 正規化されたアクション表現。
$U_k$ : メタデータキー $k$ によって選択されたアクション非正規化器。
$C$ : コントローラの慣習（グリッパーのセマンティクス、制御周波数など）。

2つのデプロイメントは、あらゆる許容される履歴の下で同じ物理的アクション則を誘発する場合にのみ、**実行可能等価（executable-equivalent）**であると定義されます。本論文は、 $f_\theta, I, Z, C$ を一定に保ったまま $k$ を変更することで、この等価性が崩れることを示しています。

これを検出するために、著者らは分位点形式の正規化器に対する閉形式のメタデータ不一致変換（closed-form metadata mismatch transform）を導出しました。デプロイメントが意図されたキー $k_c$ ではなく、置換されたキー $k_w$ を使用している場合、次元 $i$ における正規化されたアクション $z$ に対する物理的なアクション変位 $\Delta_i$ は以下の通りとなります：
$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$
この変換は決定論的であり、モデルの推論には依存しません。これに基づき、著者らは、モデル推論やシミュレーションのロールアウトを必要とせずに、キャリブレーションセット上でアクション空間のセマンティック・ドリフト（平均変位、テイル変位、軸属性）を測定する事前ロールアウト証明書であるExecSpecを提案しています。

主な貢献

実行可能ポリシーの同一性基準: 本論文は、アクション空間のメタデータを含むポリシーの同一性を定義し、チェックポイントの一致は物理的なポリシーの一致を保証するには不十分であることを証明しました。
閉形式の証明書: 分位点形式の非正規化によるメタデータの不一致を検出するための、モデルに依存しない正確な証明書を導出し、ロールアウト前にセマンティック・ドリフトを検出することを可能にしました。
実証的な証拠: 4つのLIBEROスイート（Goal, Spatial, Object, Long）を用いた広範なリプレイ・エビデンスを提供し、妥当なメタデータ置換がタスク成功率を劇的に低下させることを示しました。

結果
著者らは、メタデータの置換による影響を分離するために、**正規化された軌跡をリプレイする（再再生する）**実験を行いました（モデルの出力と初期状態を固定）。

LIBERO-Goal: 意図されたキー GOAL-B を使用している際に、LONG-V2 に置換すると、6つの非グリッパー次元において0.199の平均ドリフトが発生しました。これにより、タスク成功率は28/28（意図通り）から2/28（置換後）へと減少しました。用量反応曲線（dose-response curve）は、メタデータキーが正しいものから誤ったものへと補間されるにつれて、成功率が単調に低下することを示しました。
LIBERO-Spatial: SPATIAL-V2 を LONG-V2 に置換すると、成功率は26/26から0/26に減少しました。
LIBERO-Object & Long: 全ての妥当な兄弟置換において、完全な置換下では成功率が0/28（Object）または0/23（Long）に低下しました。
コントロール実験: 論文では、ノーオップ（no-op）フィルタリング、生データ対正しいデータの再生アーティファクト、グリッパーの慣習の不一致、および合成的な破損といった、より単純な説明を排除しています。失敗の原因は、具体的にメタダ統計が異なる非グリッパー・アクション次元によって引き起こされました。

意義と主張
本論文は、より狭義のデプロイメント・セーフティの視点を提示しています。すなわち、アクション空間のメタデータは実行可能ポリシーの荷重を担うコンポーネントであり、モデルの重みと共にバージョン管理およびチェックされるべきであるという視点です。

一般的な失敗の主張ではない: 著者らは、すべてのVLAデプロイメントがメタデータの不一致によって失敗すると主張しているわけではなく、また正規化が唯一の隠れたハザードであるとも主張していません。
ハードウェアの安全性保証ではない: 結果はシミュレーションのリプレイに基づくものであり、クローズドループやハードウェアの安全性を保証するものではありません。ハードウェアの故障率を予測するものでもありません。
核心的な洞察: その意義は、隠れたアクション空間のセマンティクス層を特定したことにあります。デプロイメントにおいて、モデルを固定したまま非正規化器を変更すると、実行可能なポリシーが変化します。この不一致は、ロールアウト前の静的な証明書を通じて検出可能であり、監査されたものとセマンティクスが異なるポリシーのデプロイを防ぐことができます。

結論として、本論文は、再現性と安全性を確保するために、デプロイメント・マニフェストにはアクション非正規化キー、統計量のハッシュ、およびコントローラの慣習を含めるべきであり、これらのフィールドを単なる設定の詳細ではなく、ポリシー・オブジェクトの不可欠な一部として扱うべきであると述べています。