ドローンに空を飛ぶ方法を教える、と想像してみてください。現実の世界では、ロボットは人間のような「目」を持っていません。代わりに、位置を知るためのGPS、バランスを取るためのジャイロスコープ、動きを捉えるためのカメラといった、一連のセンサーに頼って、自分がどこにいて、どう動くべきかを判断します。これは、**強化学習（Reinforcement Learning: RL）**の世界です。強化学習とは、コンピュータが試行錯誤を通じて、良い行動に対して報酬を得ることで意思決定を学ぶ人工知能の一種であり、犬がご褒美をもらいながら芸を覚えるプロセスによく似ています。目標は、複雑なタスクの中を安全にドローンを操縦できる「脳」を作り出すことです。

しかし、そこには巧妙な問題が潜んでいます。センサーは騙される可能性があるのです。手品師があなたの目を欺くように、ハッカーはドローンのセンサーに偽の信号を送ることができます。これは**物理的攻撃（physical attack）**と呼ばれます。例えば、ハッカーが偽のGPS信号を送り、ドローンに「自分は別の場所にいる」と思い込ませたり、音波を使ってバランスセンサーを狂わせたりすることがあります。もしドローンの脳がこれらの嘘を信じてしまったら、墜落したり建物に衝突したりするかもしれません。科学者たちは、危険を回避するための「安全な」脳を作ろうと試みてきましたが、ほとんどのセーフティネットは、ドローンがハッカーによって積極的に欺かれている場合には機能しません。これまでの手法は、世界が単に「少し乱れている（ノイズが多い）」ことは想定していても、「誰かが積極的に嘘をついている」ことは想定していなかったのです。

ここで、ARMORと呼ばれる新しいアイデアが登場します。この研究の背後にある研究者たちは、センサーが「真実だ」と叫んでいるときでも、その嘘を見抜けるドローン・コントローラーを作りたいと考えました。彼らは単にドローンを「タフ」にしたのではありません。ドローンに、世界の新しい見方を教え込んだのです。簡単に騙されてしまう生のセンサーデータを見るのではなく、ARMورは、実際に起きていることの「秘密の要約」を作り出す方法を学びました。論文によれば、この特別な2段階のトレーニング手法を用いることで、ドローンが個々の新しいハッカーの手口に対してその都度再学習することなく、センサーが妨害されている状況下でも進路を維持できることが示唆されています。

ARMORの物語：嘘を見抜くドローン

ARMOR（Adaptive Robust Manipulation-Optimized State Representations）をご紹介しましょう。ARMORを単なるパイロットではなく、偽のアリバイを無視することを学んだ「探偵」だと考えてください。

ドローン制御の世界では、通常、コンピュータにセンサーからの生データを入力します。「私は座標Xにいます」「私は速度Yで回転しています」といった具合です。しかし、ハッカーが偽の信号を注入すると、コンピュータはその嘘を信じてしまいます。従来の手法は、特定のトリックに対して訓練を行うことで、ドローンに「疑り深さ」を教えようとしてきました（これは、特定の種類のテスト問題のためだけに勉強している学生のようなものです）。しかし、これは時間がかかりコストも高く、ハッカーがトリックを少し変えただけで、ドローンは失敗してしまいます。

ARMORは異なるアプローチを取ります。それは、2段階のトレーニング・フレームワークを使用する方法で、いわば「熟練の教師」と「生徒」がいるようなものです。

第1段階：超視力を持つ教師
まず、研究者たちは「教師エンコーダー（Teacher Encoder）」を訓練します。これはスマートなAIコンポーネントであり、一つの超能力を持っています。それは、**特権情報（privileged information）**にアクセスできることです。シミュレーション内において、この「教師」は、いつ攻撃が発生しているのか、どのセンサーが嘘をついているのか、そしてその嘘がどれほど大きいのかを正確に把握しています。これは、まるで答えの入った解答用紙を見ながらテストを受けている先生のようなものです。

この参照情報を用いて、教師は、嘘が混じった乱れたセンサーデータを、**堅牢な潜在表現（robust latent representation）**へと翻訳することを学びます。これを「秘密のコード」あるいは「真実の要約」と考えてください。たとえGPSが「ドローンは海の上にいる」と伝えていても、教師の秘密のコードは「いいえ、GPSは嘘をついています。ドローンは実際には空中にいます」ということを理解します。ドローンの制御ポリシー（その脳）は、生のセンサーデータではなく、この秘密のコードに基づいて意思決定を行うように学習します。これにより、ドローンは攻撃を受けている最中であっても、真実から学ぶことで完璧に飛行する方法を習得できるのです。

第2段階：真実を見る方法を学ぶ生徒
ここからが難しい部分です。現実の世界では、ドローンには解答用紙を持つ「教師」はいません。いつ攻撃を受けているのかを知る術もありません。そこで、研究者たちは**生徒エンコーダー（Student Encoder）**を訓練します。

生徒は、解答用紙なしで真実を突き止めなければならない「探偵」のようなものです。生徒は、ドローンの履歴——つまり、過去数秒間のセンサーデータの流れ——にしかアクセスできません。生徒は、この履歴を見て、教師が生成した「秘密のコード」を推測するように訓練されます。生徒は、「おや、GPSの数値がゆっくりと漂っている。これは通常、偽の信号であることを意味するぞ」とか、「ジャイロスコープが奇妙なリズムで揺れている」といったパターンを見つけ出すことを学びます。

生徒が秘密のコードを推測できるようになったら、教師は引退します。ドローンは、生徒と制御ポリシーだけを備えて配備されます。今や、現実世界でドローンが飛行し、攻撃を受けたとき、生徒はセンサーデータの履歴を分析して「真実の要約」を生成し、制御ポリシーはその情報を用いてドローンが真っ直ぐ飛び続けるようにします。

実験結果が示したこと

研究者たちは、シミュレーションされた3Dの世界において、5種類の物理的攻撃（GPSスプーフィング、ジャイロスコープの改ざん、加速度計のトリック、磁力計の汚染、オプティカルフローの偽装）をぶつけ、ARMORの性能をテストしました。彼らは、ARMORをRARL（敵対的訓練を用いるもの）やHRP（ハイブリッド回復ポリシー）といった他のトップレベルの手法と比較しました。

シミュレーションにおける結果は非常に明白でした。

• 生存率（Survival Rate）： 攻撃に直面した際、ARMORはドローンを約**88%の確率で成功裏に飛行させ続けました。対照的に、従来の手法は苦戦し、成功率は30%から83%**の間でした。
• 墜落（Crashes）： おそらく最も印象的なのは、ARMORがテストされたすべての攻撃タイプにおいて、**墜落率が0%であったことです。他の手法は頻繁に墜落しました。例えば、GPS攻撃を受けた際、競合する手法は50%**の確率で墜落しました。
• 進路の維持（Staying on Course）： ドローンが進路を外れたとしても、ARMORは「状態のドリフト（進路からのずれ）」を、GPS攻撃に対して約0.1メートルという極めて低いレベルに抑えました。他の手法では、ドローンが数メートル、あるいは数度も流されてしまい、それは墜落やミッション失敗を招くのに十分な距離となります。

「ゼロショット」の超能力

最もエキサイティングな発見は、著者たちが**ゼロショット汎化（zero-shot generalization）**と呼ぶものです。通常、ロボットに「GPSの嘘」に対処するよう訓練しても、突然「ジャイロスコープの嘘」に襲われたら失敗してしまうことがあります。それは、数学だけを勉強して歴史のテストで落第するようなものです。

しかし、ARMORは、追加の訓練なしで未知の攻撃に対処できることを示しました。

• GPS攻撃に対してのみ訓練し、それを一度も経験していないジャイロスコープ攻撃でテストした場合、ARMORは依然として**60%の確率で成功しました。一方、他の手法（RARL）は完全に失敗し、成功率は0%**でした。
• ジャイロスコープ攻撃に対して訓練し、GPS攻撃でテストした場合、ARMORは**70%の成功率を示しましたが、他の手法はわずか5%**にとどまりました。

このことは、ARMORが「現実の物理的な状態とはどのようなものか」という秘密のコードを学習することで、たとえ練習していない種類の嘘であっても、あらゆるセンサーが嘘をついていることを認識できることを示唆しています。

なぜこれが重要なのか（そして、何ではないのか）

論文は、この2段階の手法が、2つの大きな問題を同時に解決するため、大きな前進であると示唆しています。第一に、これは訓練がより速く、より安価です。従来の手法は、コンピュータが偽の攻撃者に対して何度も戦う「敵対的訓練」に何千時間も必要とします。ARMORは、教師を使って迅速に真実を学び、その後に生徒にその真実を模倣させることで、このプロセスをスキップします。

第二に、これによりドローンはより幅広い脅威に対してより安全になります。著者らは、ARMORは単一のセンサー攻撃や、いくつかのセンサーが同時に攻撃を受けるマルチセンサー攻撃には非常に強いものの、限界もあると指摘しています。もし攻撃者が、あまりにも多くのセンサーを複雑な方法で同時に操作した場合、システムは依然として苦戦する可能性があります。また、これらの結果は現在、シミュレーション（コンピュータモデル）に基づいたものであり、実際にハッキングされたハードウェアを用いた現実世界での飛行ではありません。著者らは、結果は非常に有望であるものの、次のステップは、これが実際のドローンを用いて現実世界で機能するかどうかを確認することであると慎重に述べています。

要約すると、ARMORはドローンに対し、ノイズだらけの嘘をつくセンサーを聞くのをやめ、「現実の秘密の要約」に耳を傾けることを教えています。これは、脆弱なロボットを、世界が騙そうとしても真っ直ぐ飛び続けることができる、強靭なロボットへと変える巧妙なトリックなのです。