技術概要：GuardVLA – 視覚言語行動モデルにおけるバックドアに基づく所有権検証への取り組み

1. 問題定義

視覚言語行動（VLA）モデルは、言語と視覚というマルチモーダル入力を連続的なロボットの動作にマッピングすることで、汎用的なロボット制御を可能にします。これらのモデルは、アーキテクチャ、ファインチューニング、データへの多大な投資を必要とする貴重な知的財産となるにつれ、そのオープンリリースは、不正な再利用、改変、商業的展開にさらされるリスクを伴います。

既存のモデル所有権検証手法は、VLA に適用される際に以下の重大な限界に直面します：

• 応答の分離性の弱さ： 標準的な視覚言語モデルが意味論的な出力を生成するのに対し、VLA は実行可能な連続的な動作を生成します。異なるポリシーは、同一タスクにおいて非常に類似した成功動作を示すことが多く、応答レベルの差異に基づいて所有権を区別することが困難です。
• 安全性の制約： 異常な出力を誘発する従来のバックドアベースの手法や敵対的摂動は、展開中に安全性を損なう動作をトリガーする可能性があるため、ロボット工学には不適切です。
• 頑健性： 検証メカニズムは、モデルが下流のファインチューニングや適応を経た後でも有効でなければなりません。

核心的な課題は、通常のタスク性能を損なうことなく、また安全性を欠くロボット動作を誘発することなく、区別可能な所有権証拠を提供する検証フレームワークを設計することです。

2. 手法：GuardVLA

著者は、VLA 向けに特別に設計された最初のバックドアベースの所有権検証フレームワークであるGuardVLAを提案します。このフレームワークは、「スワップ・アンド・検出（swap-and-detect）」メカニズムに基づいて動作し、良性の実行とトリガーモードによる検証を分離します。

2.1. ウォータマーク埋め込み（安全なファインチューニング）

トレーニング段階において、GuardVLA は保護対象モデルに隠蔽的で無害なバックドアウォータマークを埋め込みます：

• ステガノグラフィック注入： 固定された秘密メッセージ（$m_s$）を、事前学習済みの画像ステガノグラフィ埋め込み器（$E_\phi$）を用いて具現化された視覚観測（$x_{ob}$）に埋め込み、ウォータマーク付き観測 $x_s = x_{ob} + \delta_s$ を生成します。
• 安全なファインチューニング： 保護対象モデル（$M_w$）は、これらのウォータマーク付き観測に対して標準的なタスク損失を用いてファインチューニングされます。これにより、クリーンな入力に対する動作を変化させることなく、バックドアパターンがモデルのパラメータに埋め込まれます。
• 補助モデル： 検出を支援するため、2 つの補助モデルがトレーニングされます：
  • 元の修正されていないデータでファインチューニングされたクリーンモデル（$M_c$）。
  • ランダムでターゲットではない秘密メッセージ（$m_r$）を含むデータでファインチューニングされたノイズモデル（$M_r$）。

2.2. トリガー・プロジェクターと分類器の共トレーニング

展開されたモデルの良性動作を変化させることなく検出を可能にするため、GuardVLA は外部モジュールをトレーニングします：

• トリガー・プロジェクター（$P_t$）： 検証中に標準的なプロジェクターに代わって機能します。これは、埋め込まれたウォータマークに敏感なトークンへと視覚特徴をマッピングします。
• 分類器ヘッド（$H_c$）： 検証中に標準的な動作エキスパートに代わって機能し、所有権の確率を出力します。
• トレーニング目的： これらのモジュールは、表現空間を構造化する（クリーン表現とノイズ表現を近づけ、ウォータマーク付き表現を遠ざける）トリプレット損失と、ウォータマーク付きモデルを正、他を負として分類する二値交差エントロピー損失を用いてトレーニングされます。

2.3. スワップ・アンド・検出検証プロトコル

所有権検証は、2 つの明確なモードで実行されます：

1. 良性モード（性能テスト）： モデルは元のコンポーネント（$P_b, H_a$）を使用してタスクを実行します。成功率（SR）を測定し、モデルがクラッシュしたり著しく劣化したりしていないことを確認します。
2. トリガーモード（ウォータマーク検出）： モデルが性能テストを合格した場合、内部のプロジェクターと動作ヘッドは、トレーニング済みのトリガー・プロジェクター（$P_t$）と分類器ヘッド（$H_c$）に交換されます。モデルは同じ入力を処理し、分類器はウォータマーク識別信頼度（WIC）を出力します。
   • $WIC \ge \tau_{wic}$ の場合、モデルは保護対象モデルのコピーとして識別されます。
   • $WIC < \tau_{wic}$ の場合、モデルはウォータマーク未埋め込みとみなされます。

3. 主要な貢献

1. GuardVLA フレームワーク： VLA 向けに特化した最初のバックドアベースの所有権検証フレームワークであり、トレーニング中に無害なウォータマークを埋め込み、標準的な展開中は非活性のまま維持します。
2. スワップ・アンド・検出メカニズム： 良性の実行とトリガーモードによる検証を明示的に分離する新規の検証戦略です。これにより、所有権証拠は監査中にのみ活性化され、通常のロボット動作中の安全性を損なう動作を防止します。
3. 頑健性と忠実度： 広範な実験により、GuardVLA はリリース後のモデル適応（ファインチューニング）や各種抑制攻撃下においても高いウォータマーク検出性を維持しながら、下流タスクの性能（忠実度）を保持することが示されました。

4. 実験結果

著者は、LIBERO ベンチマークスイートを用いて、3 つの代表的な VLA アーキテクチャ（OpenVLA-OFT、VLA-Adapter、および $\pi_{0.5}$）に対して GuardVLA を評価しました。

• モデル忠実度： GuardVLA は、クリーンモデルと比較してタスク成功率（SR）を保持、あるいはわずかに向上させました。例えば、ウォータマーク付きの OpenVLA-OFT は Object セットで 99.4% の SR を達成しました（クリーンモデルは 98.2%）。また、VLA-Adapter は LIBERO-10 で 89.8% から 93.4% に向上しました。
• ウォータマーク検出性： トリガーモードにおいて、ウォータマーク付きモデルは 99.8% 以上の WIC スコアを一貫して達成し、クリーンモデルおよびノイズモデルは 0.1% 未満に留まりました。これは、保護対象モデルと非保護モデルの間に明確な分離があることを示しています。
• 適応に対する頑健性：
  • クロスデータセットファインチューニング： LIBERO-10 でトレーニングされたウォータマーク付きモデルを LIBERO-Spatial でファインチューニングした場合、WIC は適応プロセスを通じて 100% 付近を維持しました。
  • クロスメソッドファインチューニング： 視覚入力が削減された場合（単一ビュー対デュアルビュー）でも、ウォータマークは検出可能なままでした。
• 抑制への耐性： このフレームワークは、重みの量子化（INT4）、知識蒸留、およびプロジェクター不変の適応攻撃に耐えました。すべてのケースにおいて、WIC は 100% 付近を維持しましたが、攻撃はモデルのタスク性能（SR）を低下させることが多く、ウォータマークの除去が有用性を損なうことを示唆しています。
• 動作レベルの拡張： 著者は、トリガーによって誘発される特徴的なエンドエフェクタの運動パターンを通じて所有権を検証できることを実証しました。これにより、解釈可能な動作レベルの検証シグナルが提供されます。

5. 意義と主張

本論文は、GuardVLA が、信頼性が高く、安全で、頑健な所有権検証方法を提供することで、オープンソース VLA の展開における重要なギャップを埋めると主張しています。

• 安全性最優先： 誤った動作を誘発する可能性のある従来のバックドア手法とは異なり、GuardVLA はウォータマークが通常動作中は休眠状態であることを保証し、ロボットポリシーの安全性と有用性を維持します。
• 持続性： ウォータマークは、VLA 適応において一般的な下流のファインチューニングを通じて持続するように設計されており、モデルが新しいタスクや環境に適応した後でも所有権主張が有効であることを保証します。
• 実用性： このフレームワークは、検証者が完全なモデル重みではなく限定的なアクセス（インターフェースベース）しか持たない現実的な脅威モデル下で動作し、検証プロセスにプライベートなトレーニングデータの露出を必要としません。

著者は、GuardVLA によって開発者が良性の研究や適応を妨げることなく不正使用を追跡できるようになり、具現化された知性のための持続可能なエコシステムを支援すると結論付けています。