💻 computer science

Uncovering Vulnerability of Vision-Language-Action Models under Joint-Level Physical Faults

本論文は、Vision-Language-Actionモデルが、行動と動作のインターフェースを中断させる関節レベルの物理的故障に対して脆弱であることを示し、関節ダイナミクスから潜在的な故障レジームを推論することで、正常時の性能を損なうことなく適応的に行動を補正し堅牢性を回復させる軽量な残差校正フレームワークであるJ-PARCを提案する。

原著者： Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：ロボットの体が「病気」になったとき

想像してみてください。あなたは、非常に優秀で高度な訓練を受けたシェフ（VLAモデル）を雇っています。このシェフは、散らかったキッチンを見て、レシピを読み、野菜を刻んだり鍋をかき混ぜたりするための完璧な計画を立てることができます。このシェフは非常に賢いため、新しいレシピや異なるキッチンのレイアウトにも対応できます。

しかし、一つ問題があります。シェフは自分の手で料理をするわけではありません。シェフはロボットアーム（エンボディメント／身体性）に指示を出し、実際に作業を行わせます。

この論文は、これまで誰も真剣にテストしてこなかった問いを投げかけています。「もしロボットのアームが病気になったらどうなるのか？」 という問いです。

例えば、アームの関節が固まってしまったり（錆びた蝶番のように）、動きが半分しかできなくなったり（壊れた膝のように）、あるいは摩擦によって動きが硬くなったり（関節炎のような状態）することを想像してください。シェフ（AI）はすべてが正常であると思い込み、全く同じ指示を出し続けます。しかし、アームが壊れているため、ナイフは野菜を外してしまい、鍋の中身はこぼれてしまいます。

この論文は、たとえAIの脳が完璧であっても、これらの「病気」のアームが原因でロボットが失敗することを示しています。これを解決するために、著者たちはロボットのための「理学療法士」である J-PARC を構築しました。

問題点：「壊れた腕」の効果

研究者たちは、ロボットアーム（Franka Pandaロボットなど）がボウルを drawer（引き出し）に入れるようなタスクを実行している際に、異なる関節をロック（固定）した場合に何が起こるかをテストしました。

1. 単なる「届かない」だけではない：
関節がロックされているなら、単にターゲットに届かなくなるだけだと思うかもしれません。しかし、論文ではもっと微妙な現象が見つかりました。たとえロボットが物理的にターゲットに到達できる能力を持っていても、その動きが「おかしい」と感じられるのです。

比喩： 重くて硬いブーツを履いて直線を歩こうとしているところを想像してください。ゴールには到達できるかもしれませんが、歩き方が非常に不自然なため、よろめいたり、バランスを崩したりして、目標を外してしまいます。ロボットの「歩容（動き方）」が摩擦やロックによって乱れ、コースから逸れてしまうのです。

2. 「ドリフト（漂流）」効果：
ロボットが壊れた関節のせいで小さなミスを犯すと、世界の見え方がわずかに変わります。AIの脳は「おや、予想していた場所とは違う場所にいるぞ」と考え、修正しようとします。しかし、アームは依然として壊れているため、その修正が事態をさらに悪化させます。

比喩： パンクしたタイヤで車を運転しているようなものです。真っ直ぐ進むためにハンドルを左に切りますが、車は右に寄ってしまいます。もっと強く左に切りますが、車はさらに強く右に寄ります。最終的に、制御不能になってスピンアウトしてしまいます。ロボットは、壊れた体では決して解決できない問題を解決しようとするループに陥ってしまうのです。

3. 関節ごとに異なる問題：
論文では、どの関節を壊すかによって、失敗のタイプが異なることが分かりました。

比喩： 肩が固まっていれば、腕を高く上げることができません。手首が固まっていれば、ドアノブを回すことができません。同様に、「関節0（ベース部分）」をロックすると水平方向の動きが乱れ、「関節4（手付近）」をロックすると物を掴む動作が乱れます。ロボットは、どの部分が壊れているかによって、非常に具体的な形で失敗します。

解決策：J-PARC（「理学療法士」）

著者たちは、J-PARC（Joint-level Physical-fault Aware Residual Calibrator）と呼ばれる新しいシステムを作成しました。

メインのAI（シェフ）は「凍結（固定）」されていると考えてください。シェフはすでに料理が上手いため、シェフを再学習させる必要はありません。ただ、アームを修理したいだけなのです。

J-PARCの仕組み：

探偵（デテクティブ）： J-PARCはロボットの最近の動きを観察します。アームの動きの履歴を見て、「おい、何かがおかしいぞ。アームが硬いのか？関節が詰まっているのか？どれが原因だ？」と問いかけます。マニュアルがなくても、自力で「病状」を特定します。
理学療法士（セラピスト）： アームが病気であると分かると、J-PARCはシェフの指示に小さな「押し（ナッジ）」を加えます。
- もしシェフが「手を前方に10cm動かせ」と言い、アームが硬い場合、J-PARCは「分かった、でも実際には、硬さに打ち勝つために12cm押し進めて」と指示を出します。
- J-PARCは、回転やグリップではなく、あくまで「位置（手がどこへ行くか）」のみを微調整します。なぜなら、それらはアームをさらに壊さずに修正するのが難しいためです。
セーフティネット： アームが健康であれば、J-PARCは何もしません。静かなままです。これにより、故障がない時にはロボットは以前と同じ通りに動作します。

結果：効果はあるのか？

研究者たちは、これを2つの方法でテストしました。

シミュレーション内（ビデオゲーム形式）： 仮想のロボットに対して、壊れた関節（ロックされた状態、可動範囲の制限、高い摩擦など）をシミュレートしました。
- 結果： J-PARCがない場合、ロボットは頻繁に失敗しました。J-PARCがある場合、成功率は大幅に向上しました。一度も経験したことのない種類の「病気（摩擦）」でテストした場合でも、依然として機能しました。これは、理学療法士が新しい怪我に対しても、正しい治療法を推測できたようなものです。
現実の世界（実機ロボット）： 実物のロボットアーム（Trossen WidowX）を使用し、ボウルのピック・アンド・プレース・タスクを行いました。タスク中に、物理的に一つの関節をロックしました。
- 結果： 通常のロボットは毎回失敗しました。J-PARCを備えたロボットは、ほとんどの試行で成功しました。動画では、J-PARCがない場合はロボットの手がコースから逸れていく様子が映っていましたが、J-PARCがあるとスムーズで成功に至る経路を維持していました。

まとめ

この論文は、たとえ脳が完璧であっても、ロボットに「病気」の体を与えると、タスク遂行能力が損なわれることを証明しています。解決策は脳を再学習させることではなく、J-PARCというスマートで軽量なレイヤーを追加することです。これは理学療法士のように機能します。ロボットの動きを観察し、関節に何が起きているかを判断し、指示を優しく微調整することで、体のパーツが損傷していても作業を継続できるようにします。

技術要約：関節レベルの物理的故障下におけるVision-Language-Actionモデルの脆弱性の解明

問題提起

Vision-Language-Action（VLA）モデルを実際のロボットシステムに導入する際、極めて重要な堅牢性のギャップに直面する。これらのモデルは、意味論的および知覚的な変化に対しては高い汎化性能を示す一方で、エンボディメント側（身体側）の故障に対する堅牢性は欠いていることが多い。具体的には、VLAポリシーは、ロボットの本体が予測されたアクションを意図した動作へと忠実に変換することを前提としている。しかし、現実世界のロボットは、アクチュエータの劣化、ハードウェアの故障、安全上の制限、衝突による損傷、摩耗による摩擦といった、関節レベルの物理的故障の影響を受けやすい。

これらの故障は、アクションと動作のインターフェースを変化させ、学習されたクローズドループの関係（指令されたアクション、実現された動作、およびその後の観測との関係）を崩壊させる。従来のコマンド空間におけるノイズ（ポリシーの出力を直接摂動させるもの）とは異なり、関節レベルの物理的故障は、ロボットの運動学的または動力学的な能力そのものを変化させる。その結果、同じコマンドされたアクションであっても、影響を受けた関節や故障の深刻度に応じて、異なる実現状態をもたらす可能性がある。これにより、クローズドループ実行のミスマッチが生じる。つまり、VLAポリシーが期待する公称状態の軌道からロボットが逸脱し、たとえタスク自体が物理的に実行可能であっても、回復不能な失敗を引き起こす可能性がある。

手法：J-PARC

この脆弱性に対処するため、著者らは、ベースとなるVLAモデルをファインチューニングすることなく、凍結されたVLAポリシーの上で動作するように設計された軽量フレームワークである**Joint-level Physical-fault Aware Residual Calibrator（J-PARC）**を提案する。

コアアーキテクチャ

J-PARCは、推論された実行コンテキストに基づいて、VLAのアクション出力の並進成分を調整する残差補正モジュールとして機能する。

入力コンテキスト： モジュールは、最近の関節ダイナミクスと実行履歴（ $H_t$ ）を観測する。これには、ベースとなるアクション、エンドエフェクタ/グリッパーの状態、および指令されたアクションと実行されたアクションの差が含まれる。
故障レジームの推論： 事前学習済みのエンコーダ（ $g_\psi$ ）が、最近の関節運動を処理して、潜在的な関節故障レジーム（ $u_t$ ）を推論する。このエンコーダは、故障の存在を検出し、影響を受けている特定の関節を分類するように学習されているが、残差学習フェーズ中は凍結されたままとなる。
残差予測： トランスフォーマーベースの残差校正器（ $f_\theta$ ）は、ベースのアクションチャンク、実行履歴、および推論された故障レジームを入力として受け取る。これは、並進アームコマンド（ $\Delta x, \Delta y, \Delta z$ ）に特化した残差チャンク（ $R_{\theta,t}$ ）を予測する。
アクション補正： 最終的に実行されるアクションは、ベースのVLAアクションと予測された残差の合計である。不要な関節再構成を避けるため、ベースのポリシーからの回転およびグリッパーのコマンドは保持される。

学習戦略

J-PARCは、リファレンス誘導型残差ターゲット手法を利用する。

データ収集： システムは、故障のないリファレンス・ロールアウトと、同じ初期状態から開始される関節ロック条件下でのロールアウトをペアにする。
ターゲット生成： 「教師」メカニメントが、故障のある実行状態を故障のないリファレンス軌道と比較する。偏差が閾値を超えた場合、エンドエフェクタを故障のないウェイポイントへ再誘導するためのターゲット残差が計算される。偏差が「デモンストレーション・チューブ」内にある場合、ターゲット残差はゼロとなる。
最適化： 残差校正器は、予測された残差と教師生成されたターゲットとの間の平均二乗誤差を最小化するように学習される。この際、ベースのVLAポリシーと故障エンコーダは共に凍結された状態に保たれる。

主な貢献

脆弱性の特定： 本論文は、関節レベルの物理的故障（ロック、可動範囲制限、摩擦増加など）を、知覚的またはコマンド空間のノイズとは明確に区別される、VLA展開における極めて重要な課題として確立した。
不均一な影響の分析： 広範な分析を通じて、著者らは故障の影響が関節依存的であることを示している。タスクの難易度は、どの関節が影響を受けているか、およびその関節がタスク内でどのように使用されているかに基づいて不均一に低下する。さらに、パフォーマンスの低下は実行可能なシナリオ（例：摩擦の増加）においても発生しており、これは単なる物理的な実行不可能さの問題ではなく、クローズドループの実行ミスマッチであることを示している。
J-PARCフレームワーク： 実行履歴から潜在的な故障レジームを推論し、それに応じてアクションを適応させ、かつ故障がない環境ではベースのポリシーの挙動を維持する、軽量な残差校正フレームワークを提案した。
実証的検証： LIBEROベンチマークおよび実機ハードウェア（Trossen WidowX AI）を用いた実験により、J-PARCが関節故障下での成功率を大幅に向上させつつ、公称条件下での性能を維持できることを示した。

実験結果

著者らは、LIBEROベンチマーク・スイートにおいて、2つの凍結されたVLAバックボーン（OpenVLA-OFTおよび $\pi_0.5$ ）を用いてJ-PARCを評価した。

関節ロック故障： 関節ロック条件下において、J-PARCは平均成功率を、OpenVLA-OFTでは**42.3%から46.8%へ、 $\pi_0.5$ では48.4%から55.2%**へと向上させた。特筆すべきは、Constrained Inverse Kinematics (CIK) や RobustVLA といったベースラインを上回った点である。これらのベースラインは、一貫した性能向上を実現できなかったか、あるいは性能を低下させた。
未知の摩擦故障： 極めて重要なことに、J-配策は関節ロックのデータのみで学習された。しかし、学習時に見られなかった異なる故障モードである関節摩擦の増加に対してテストを行った際も、平均成功率を向上させた（例：OpenVLA-OFTで46.4%から55.1%へ）。これは、未知の実行ミスマッチに対する汎化性能を示している。
故障フリー環境の保持： 故障のない環境において、J-PARCはベースのポリシーの性能を維持した。これにより、残差モジュールが通常動作を妨げないことが確認された。
実世界での検証： ボウルのピック・アンド・プレース・タスクを行う物理ロボットにおいて、ベースのポリシーは関節ロック下で完全に失敗したが、J-PARCはエンドエフェクタの軌道を故障のないリファレンスパスに近づけることで、ほとんどの試行において成功した。

意義と主張

本論文は、エンボディメント側の堅牢性は、単なる二次的なハードウェアの問題ではなく、信頼性の高いVLA展開のための必要条件であると主張している。著者らは以下の通り述べている。

アクションノイズや知覚的摂動に焦点を当てた現在の堅牢性手法は、ロボットのダイナミクスを永続的に変化させる物理的故障に対処するには不十分である。
コマンドされたアクションと実現された動作の間のミスマッチは時間の経過とともに蓄積するため、静的な制約ではなく、現在の実行コンテキストに条件付けられた適応的なアクション校正が必要である。
J-PARCは、大規模なVLAモデルのファインチューニングや広範な敵対的学習データを必要とせず、堅牢性を高めることができる、実用的かつ軽量なソリューションを提供する。

著者らは、限界についても謙虚に述べており、現在、実世界での検証は安全上の制約から特定の関節（4および5）と単一のタスクに限定されていること、また、現在のメソッドは学習のために故障のないリファレンス軌道へのアクセスに依存していることを指摘している。今後の課題として、自動的なリファレンスの構築や、より広範なアクション空間への拡張が示唆されている。