技術要約：運動を通じたリモート検知可能な鍵付き通信

問題提起

本論文は、ロボットの主要なタスク性能を低下させることなく、また追加のハードウェアを必要とせずに、任意の鍵付きメッセージをロボットの物理的な運動を通じて伝達するという課題に取り組んでいる。ロボットは伝統的にテキスト、音声、または無線信号を通じて通信するが、その物理的な動きは、スマートフォンやCCTVなどのあらゆるカメラによって観察可能な普遍的なチャネルである。しかし、既存の「判読可能な運動（legible motion）」（例：ジェスチャー）の手法は、人間の解釈を目的としており、意図をオープンに放送するように設計されている。一方、標準的なデジタル・ウォーターマーキングは、内部の制御信号へのアクセスを必要とするか、あるいはクローズドなシステムを前提としている。

具体的な問題は、以下の条件を満たすシステムを設計することである：

1. エンコーダ： 事前学習済みの確率的ポリシーを、推論時にメッセージ $m$（$L$ 個のシンボルからなるシーケンス）をそのアクションノイズに埋め込むように修正する。
2. デコーダ： ロボットの結果としての運動（例：ビデオまたはモーションキャプチャによるもの）のみを観察し、共有された秘密鍵 $k$ を保持しているリモート監査人が、高い確率で $m$ を復元できる。
3. 制約： ポリシーの再学習やアーキテクチャの変更、追加のハードウェアを導入してはならない。タスク性能を維持する必要があり、かつ鍵を持たない観測者がメッセージを復元できないこと（復元できるのは偶然レベルにとどまること）を保証しなければならない。ただし、ウォーターマーク自体の存在が隠蔽されるとは主張されていない。

手法：運動によるメッセージング (MTM)

提案手法である Messaging Through Motion (MTM) は、以前はバイナリ検出（信号の有無）に限定されていた「Colored Noise Coherency (CoNoCo)」フレームワークを拡張したものである。MTMは、このシングルビットのプリミティブをマルチシンボル通信チャネルへと変貌させる。

コアメカニズム

1. チャネルの定義： 本手法は、観察可能な自由度（例：肢の速度、エージェントの位置）を通信チャネルとして利用する。以下の3つの戦略をサポートする：

   • シングルチャネル（Single-channel）： 1つのチャネルが全メッセージを運ぶ。
   • 同一メッセージ（Same-message）： すべてのチャネルが同じシンボルシーケンスを運び、検出スコアをプールすることでノイズを低減する。
   • 分割メッセージ（Split-message）： 各チャネルが独立したメッセージの一部を並列に運ぶ。

2. エンコーディング：

   • メッセージはサイズ $M$ の有限のアルファベットにマッピングされる。
   • 各シンボル $i$ は、個別の鍵付きランダムシード $k_i$ に関連付けられる。
   • CoNoCoプリミティブは、$k_i$ を使用して、秘密の周波数帯 $B$ に集中した Keyed Colored Gaussian Noise (CGN) シーケンスを生成する。
   • このノイズは、シンボル $i$ に対応する時間窓の間、確率的ポリシーのアクション空間に注入される。極めて重要な点は、これが既存の探索ノイズを置き換える（修正する）ものであり、別個の摂動を加えるのではないため、ポリシーの周辺的なアクション分布およびタスク性能を維持できることである。

3. デコーディング：

   • 監査人は、共有鍵を保持しており、すべての候補となるノイズシーケンスを再生成する。
   • リモートの運動トレース（グリンプスシーケンス）から、監査人は、観察された運動と各候補のCGNリファレンスとの間の検出スコア（スペクトルコヒーレンシ）を計算する。
   • 最も高いスコアを持つシンボルが、その時間窓に対して選択される。このプロセスを連続する窓に対して繰り返し、完全なメッセージを再構成する。

4. 設計空間の最適化：
   著者らは、アルファベットサイズ（$M$）、シンボル持続時間（$t$）、およびチャネル割り当ての間のトレードオフを定式化している。目標とする復元精度（$1-\epsilon$）を満たしながら総伝送時間 $T$ を最小化するスキームを選択するための設計手順を提案している。これには、パーシンボル精度の曲線（accuracy curves）を経験的に測定し、$M$ とチャネル戦略（例：信頼性に基づいた不均等な割り当てを行う分割メッセージスキームを優先するなど）の最適な組み合わせを選択することが含まれる。

主な貢献

1. MTMフレームワーク： 事前学習済みの確率的ポリシーのアクションノイズチャネルに、推論時に任意の鍵付きメッセージをエンコードし、受動的なリモート観察から復元可能な手法の導入。
2. ウォーターマークからメッセージへの構築： キー付き信号にシンボルをマッピングし、時間窓にわたってデコードすることで、リモートで検知可能なシングルビットのウォーターマーキング・プリミティブ（CoNoCo）をマルチシンボル通信チャネルへと拡張できることを実証したこと。
3. 設計空間の定式化： アルファベットサイズ、シンボル持続時間、およびチャネル割り当ての間のトレードオフを体系的に特性化し、目標精度に対して最も高速なスキームを選択するためのヒューリスティックを提供したこと。
4. 経験的検証： 5つの環境（Discovery, Lunar Lander, Reacher, Football, および実機ロボットのRoboMaster）にわたる広範な評価により、シミュレーションにおける100%のメッセージ復元、および実機ハードウェアにおける8ビットの復元成功を実証したこと。

結果

• シミュレーション： 4つのシミュレーション環境（VMAS, Box2D, MuJoCo）において、「same-message」スキームは100%のメッセージ復元を達成した。特に、敵対的な「Football」（3対3のマルチエージェント）環境において、本手法は6ビットのチーム戦略を100%の精度で復元した。
• 実世界への展開： 50 Hzで動作する4台の物理的なRoboMasterロボットのチームにおいて、分割メッセージ（split-message）スキームは、12秒間で8ビットのメッセージ（ロボット1台あたり2ビット）の復元に成功した。これにより、0.67 bits/s の集約スループットが得られた。
• ヌル条件： 「誤った鍵（wrong key）」および「メッセージなし（no message）」の条件下では、デコーディング精度は偶然レベル（例：$1/M$）まで低下し、チャネルの鍵付き性質が確認された。
• タスク性能： 本手法はほとんどの環境でタスク性能を維持した。Football環境では、ウォーターマーキングによりスコアリング率がわずかに低下（1.00から0.90へ）したが、これは摂動自体に起因するものと著者らは述べている。
• 堅牢性： 本手法は、困難なダイナミクス（Lunar Lander）や、関節運動（Reacher）、敵対的な干渉（Football）に対しても堅牢であることを示した。ただし、Reacher環境における機械的な結合（mechanical coupling）は、「same-message」スキームにおいて破壊的な干渉を引き起こしたことから、チャネル選択の重要性が浮き彫りになった。

意義と主張

本論文は、ロボットの運動における微細な統計的信号が、標準的な無線チャネルを補完する、ハードウェア不要で堅牢な通信媒体として機能し得ることを主張している。その意義は以下の点にある：

• 普遍性： 運動はカメラを持つ者なら誰でも観察可能であり、専用の受信機なしに、傍観者、規制当局、または監査人に通信することを可能にする。
• セキュリティ： 共有された秘密を持つ監査人だけがメッセージ内容を復元できる鍵付きチャネルを提供し、チャネルのアイデンティティをロボットの身体性に結びつける物理的なハンドシェイクを提供する。
• 回復力： 無線チャネルがジャミングされている場合や、利用不能、あるいは信頼できない場合でも機能する。
• 非侵襲性： 再学習、アーキテクチャの変更、または追加のハードウェアを必要とせず、既存の確率的ポリシーに適用可能である。

著者らはセキュリティに関する主張については控えめであり、本スキームはメッセージの内容を鍵を持たない者から隠すが、ウォーターマークの「存在」自体を隠すものではない（ステガノグラフィではない）と明示している。彼らは、ステガナリシス、既知平文攻撃、または適応型ジャミングに対する耐性を主張しておらず、またロボットの目標を永久に隠し続けることも主張していない。むしろ、鍵を持つ観測者が、鍵を持たない観測者よりも大幅に早く意図を解読できるようにすることを目的としている。