技術概要：AI/ML 搭載医療機器における偽データ注入シナリオの特定を支援するツール SAMD

1. 問題定義

医療機器への人工知能（AI）および機械学習（ML）の統合は、自動化された遠隔監視や診断能力の向上など、重要な利点をもたらします。しかし、この統合は推論段階における偽データ注入攻撃という重大なセキュリティリスクをもたらします。従来の安全上重要な分野（自動車や産業制御など）では、単一のメーカーがシステム全体を制御することが一般的ですが、AI/ML 搭載医療システムは、中央の ML モデルにデータを送信する、異種多ベンダーの周辺機器（血糖値測定器、カメラなど）に依存することが多いです。

核心的な課題は、ML ソフトウェアとこれらの周辺機器との最終的な統合が、サイバーセキュリティの専門知識を欠くユーザーや医療提供者によって、展開後に実施されることが多い点です。その結果、周辺機器の脆弱性（通信プロトコル、ファームウェア、またはオペレーティングシステムなど）が悪用され、悪意のあるデータが注入される可能性があります。これにより、ML の予測誤り、誤診、そして致命的な治療ミスが生じる恐れがあります。既存のセキュリティ対策は、ML モデル自体の強化やソフトウェアスタックの分析に焦点を当てていますが、相互接続された周辺機器の既知の脆弱性を悪用して ML エンジンを侵害するというシステム全体のリスクに対処するものはほとんどありません。さらに、攻撃対象領域の複雑さと医療 ML 開発者のサイバーセキュリティ専門知識の不足により、これらのコンポーネント横断的な攻撃経路の特定は困難です。

2. 手法：SAMD

これらの課題に対処するため、著者はSAMD（AI/ML 搭載医療機器向け STPA-Sec）を導入しました。これは、セキュリティのためのシステム理論的プロセス分析（STPA-Sec）を実行するように設計された自動化ツールです。SAMD は医療システムを制御構造としてモデル化し、すべてのコンポーネントを偽データ注入の潜在的なベクトルとして扱います。このツールは、3 つの段階からなるワークフローを通じて、脆弱性の発見と攻撃シナリオの生成を自動化します。

A. 技術識別子

このモジュールは、システムコンポーネント（ハードウェア、ソフトウェア、周辺機器）が使用する技術に関する情報を、公開されている機器ドキュメント（FDA 提出書類、ユーザーガイドなど）から抽出します。

• 手法: 通信プロトコル、暗号化方式、ファームウェア、オペレーティングシステム、外部ライブラリなどの特定の技術要因を特定するために、命名実体認識（NER）モデル（GliNER および GPT-4o ベースの NER）の組み合わせを採用します。
• 幻覚の軽減: 精度を確保するため、このモジュールはソースドキュメントに対する完全な単語一致チェックを行い、両方の NER モデルからの出力をマージし、ドキュメントに明示的に存在しないキーワードを除去します。

B. 脆弱性発見者

技術が特定されると、このモジュールはMITRE 共通脆弱性一覧（CVE）データベースを照会し、それらの技術に関連する最新の CVE レコードをトップ N（10 に設定）取得します。

• 関連性フィルタリング: LLM には、機器の説明と CVE の説明を入力として提示され、その脆弱性が ML コンポーネントによって使用されるデータを注入、改変、またはスプーフィングするために実用的に悪用可能かどうかを判断するように指示されます。LLM は、脆弱性がデータ改ざんを可能にするかどうかに基づき、厳格な「YES」または「NO」を出力するように指示され、情報漏洩やサービス拒否（DoS）に限定されるものは除外されます。

C. 攻撃シナリオ生成器

このモジュールは、フィルタリングされた脆弱性、システム制御構造、既知の敵対的ステップを統合し、詳細な攻撃シナリオを生成します。

• プロンプトエンジニアリング: LLM にはセキュリティエンジニアの役割が割り当てられ、システム説明、データフロー、特定の ML 技術、対象技術、CVE 詳細を含む構造化されたプロンプトが提供されます。
• 構造化出力: 変動と幻覚を減らすため、LLM は特定の 5 段階の思考連鎖フレームワークに従って攻撃ステップを生成するように制約されます。
  1. 偵察
  2. アクセス獲得
  3. プライバシー昇格
  4. 攻撃実行
  5. 影響
• 目的: 出力は、攻撃者が周辺機器の特定の脆弱性を悪用して ML エンジンに入力されるデータを操作し、具体的な患者への安全影響（例：誤ったインスリン投与量）を引き起こす方法を詳細に記述します。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説しています。

1. SAMD の開発: AI/ML 搭載医療機器向けの STPA-Sec 分析を支援する最初の自動化ツールです。これは、対象機器の技術を自動的に特定し、公開データベースから関連する脆弱性を取得し、詳細な実行ステップを含む特定の攻撃シナリオを生成します。
2. 実証評価: 著者は、SAMD を 3 つの最先端 LLM（GPT-4、GPT-4o、Llama 3）を使用して実装し、多様な専門分野にわたる 5 つの現実世界の FDA 承認医療機器に適用しました。
   • d-Nav: インスリン投与量推奨アプリ。
   • ABMD: CT スキャンからの骨密度測定。
   • IDx-DR v2.3: 網膜画像からの糖尿病性網膜症の検出。
   • KIDScore D3: 体外受精（IVF）のための自動化された胚分析。
   • Oxehealth Vital Signs: 動画による非侵襲的脈拍および呼吸数の測定。
3. 厳密な評価: ツールの性能は、手動レビューと「LLM を裁判官として」の方法を通じて評価され、生成された攻撃ステップの正確性と関連性が検証されました。

4. 実験結果

SAMD の評価は、以下の定量的結果をもたらしました。

• 技術識別: SAMD は、入力ドキュメントに記載された機器技術を特定する際、100% の精度を達成しました。（注：このツールは、提供されたドキュメントに明示的に存在する技術のみを識別できます。公開ドキュメントに含まれない機密メーカーデータは識別されませんでしたが、これはツールの限界ではなく、入力の限界です）。
• 脆弱性発見: SAMD は、特定された技術に関連する既知の脆弱性を63.2% の精度で取得しました。抽出された 165 の CVE のうち、36 が偽データ注入のために実際に悪用可能であると手動で検証されました。
• 攻撃シナリオ生成: 生成された攻撃シナリオは、2 つの独立した LLM 裁判官（GPT-o3 および Gemini-2.5-Pro）による評価において、正確性、詳細さ、システムとの関連性の点で95.3% の平均精度を示しました。
• LLM の性能: 試験されたモデルの中で、GPT-4oは GPT-4 および Llama 3 を一貫して上回り、最も正確なステップ（96.2%）、最高レベルの詳細、セキュリティ推奨事項および患者への影響に関する最良の追加洞察を提供しました。
• 効率性: SAMD は分析時間を大幅に短縮しました。54 の CVE（そのうち 22 が関連）を持つ機器の場合、手動分析には約 5.5 時間かかると推定されましたが、SAMD は約3 分でタスクを完了しました（観測された最大実行時間は IDx-DR v2.3 の 191.64 秒でした）。

5. 意義と主張

著者は、SAMD を医療機器ライフサイクルの設計段階および展開後の段階における予防的セキュリティツールとして位置付けています。

• メーカーにとって: SAMD は、商業化前に潜在的な攻撃経路と脆弱な周辺機器技術を特定することを可能にし、対策の実施や、安全な展開環境に関するエンドユーザーへの勧告の発行を可能にします。
• セキュリティアナリストにとって: これは、医療機器に関する公開情報を体系的に分析し、セキュリティ推奨事項を生成し、多ベンダーシステムの複雑さにより見落とされがちな危険性を特定するための方法を提供します。
• 限界と謙虚さ: 本論文は、SAMD が人間のセキュリティアナリストを代替するものではなく、支援するものであることを明確に述べています。医療の安全性の重要性の高さから、著者は生成されたシナリオの最終的な人間によるレビューを推奨しています。また、ツールの効果は入力ドキュメントの完全性と現在の LLM の能力によって制限されることを認めていますが、試験されたモデル（特に GPT-4o）における幻覚発生率は低かったと指摘しています。

要約すると、SAMD は周辺機器の脆弱性と ML モデルの安全性の間のギャップを埋め、複雑で多様な医療エコシステムにおける偽データ注入攻撃を予測するための自動化された構造化アプローチを提供します。