論文「DYNAMIC DECEPTION: WHEN PEDESTRIANS TEAM UP TO FOOL AUTONOMOUS CARS」の技術的サマリー

この論文は、自律走行車（AC）に対する新しいシステムレベルの敵対的攻撃手法を提案し、その有効性を CARLA シミュレータ上で検証した研究です。従来のモデルレベルの攻撃がシステム全体に波及しないという課題を克服し、複数の歩行者が協調して動的に行動することで、車両を完全に停止させることに成功した点が最大の特徴です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

近年、自律走行車の知覚モジュールに対する敵対的攻撃の研究は進んでいますが、実システム（フルスタック）にデプロイされた際には、多くの攻撃が失敗に終わっています。その主な理由は以下の 2 点です。

1. 時空間的な短命さ: 車両の動的挙動により、攻撃信号（敵対的パッチ）が車両の視野に留まる時間が短く、システムレベルの挙動変化（ブレーキや停止など）を引き起こすまでに至らない。
2. モデルレベルとシステムレベルの乖離: 知覚モデルが誤分類（例：歩行者を一時停止標識と誤認）しても、そのエラーが制御ロジックに伝播せず、車両の挙動には影響しない場合が多い。

既存の研究は、単一の静的な標識や看板への攻撃に焦点が当てられており、歩行者を「能動的な攻撃キャリア」として利用し、かつ「動的な協調（コリュージョン）」を行う攻撃手法は未研究でした。

2. 手法 (Methodology)

著者らは、歩行者の T シャツに敵対的パッチを印刷し、複数の歩行者が協調して車両の視野内で移動することで攻撃効果を最大化する手法を提案しました。

2.1 攻撃パッチの生成

• ベース画像: 赤いツバキの花（CARLA シミュレータの一時停止標識と色・形状が類似しているため）。
• 敵対的摂動: ツバキの花の中に、一時停止標識として誤認識させるための敵対的摂動を埋め込みます。
• 生成アルゴリズム: 黒箱モデル攻撃として、YOLOv5 を代理モデル（Surrogate Model）として使用し、勾配ベースの手法（Brown et al. [23] のアルゴリズム）でパッチを生成しました。
• 隠蔽性（Stealthiness）: 人間には自然な花に見え、自動検知システムにも攻撃と判別されないよう設計されています。

2.2 攻撃シナリオの設計

攻撃の効果を検証するために、以下の 4 つの主要な変数を組み合わせた実験を行いました。

1. 単一歩行者 vs. 共謀（Collusion）歩行者:
   • 単一: 1 人の歩行者がパッチ全体を T シャツに持つ。
   • 共謀: 1 つのパッチを 2 つに分割し、2 人の歩行者がそれぞれ半分ずつ持ち、カメラの視点から見て 1 つの大きなパッチに見えるように位置を調整（片方がもう片方の少し後ろに位置する）する。
2. 静的（Static）vs. 動的（Dynamic）:
   • 静的: 歩行者は停止している。
   • 動的: 歩行者は車両と同じ速度で歩き、車両の視野内に長時間留まり続ける。

2.3 実験環境

• シミュレータ: CARLA (v9.15.2)。
• 自律走行エージェント: CARLA Leaderboard で 1 位を獲得した「Simlingo」エージェント（言語モデルを用いて視覚入力を解釈し、制御アクションを生成）。
• 評価指標:
  • モデルレベル: 一時停止標識検出数と歩行者検出数の比率（STP 比）。
  • システムレベル: 車両が一時停止標識の検出に基づいて完全に停止したか（Attack Success Rate: ASR）。

3. 主要な貢献 (Key Contributions)

1. ステルス性の高いシステムレベル攻撃手法の提案: 歩行者を敵対的パッチのキャリアとして利用する手法を初めて提案。
2. 共謀歩行者攻撃（Collusion Pedestrian Attack）: 複数の歩行者がパッチを分割して持ち、視覚的なパッチ面積を拡大することで、単一歩行者の物理的サイズ制限を克服。
3. 動的歩行者攻撃（Dynamic Pedestrian Attack）: 歩行者が車両に追従して移動することで、敵対的効果を時間的に持続させ、システムレベルの失敗を誘発。
4. 包括的な実験評価: CARLA シミュレータ上で、最先端の自律走行エージェントに対して、単一/共謀、静的/動的の 4 条件を網羅的に比較評価。

4. 結果 (Results)

実験は各シナリオ 10 回ずつ実施されました。

• 単一歩行者攻撃 (RQ1):
  • システムレベル: 10 回中 0 回（ASR = 0%）。車両は一度も停止しませんでした。
  • モデルレベル: 知覚モデルは歩行者を一時停止標識と誤認する傾向がありましたが、その誤認が車両の停止行動には至りませんでした。
• 共謀歩行者攻撃 (RQ2):
  • 静的共謀: 10 回中 0 回（ASR = 0%）。
  • 動的共謀: 10 回中 5 回成功（ASR = 50%）。2 人の歩行者が車両に追従して移動した際のみ、車両は完全に停止しました。
  • パッチ分割の効果: パッチ全体（Patch-Both）の方が、半分ずつ（Patch-Left/Right）よりも高い成功率を示しました。
• 動的性の重要性 (RQ3):
  • 動的な移動が攻撃成功の決定的要因であることが示されました。歩行者が移動することでパッチがカメラ視野内に長く留まり、速度低下のシグナルが持続的に発生し、最終的な停止を誘発しました。
  • 動的シナリオでは、歩行者の検出数が減少し、一時停止標識の検出比率（STP）が大幅に向上しました。

5. 意義と結論 (Significance & Conclusion)

この研究は、自律走行車の安全性評価において重要な示唆を与えています。

• モデルレベルとシステムレベルのギャップの可視化: 単なるモデルの誤分類率だけでは、実システムへの脅威を評価できないことを実証しました。攻撃がシステムレベルで成功するには、「時間的な持続性（Persistence）」と「協調的な動的行動（Coordinated Dynamics）」が不可欠です。
• 実世界での脅威の深刻さ: 攻撃は T シャツに花の模様を印刷するだけで実行可能であり、複数の歩行者が自然に協調するだけで車両を停止させられます。これは非常に低コストかつステルス性が高く、実社会でのリスクが極めて高いことを示しています。
• 防御への示唆: 既存の防御策は静的な攻撃や単一オブジェクトを対象としている可能性が高く、動的かつ協調的な攻撃に対する防御メカニズムの必要性が浮き彫りになりました。

結論として、歩行者の「動き」と「協調」を悪用した動的な敵対的攻撃は、自律走行車のシステムレベル安全性に対する重大な脅威であり、今後の研究においてこの動的側面への対応が急務であると提言しています。