技術要約: PLCBench

問題提起

産業制御システム（ICS）は、ネットワーク化された計算と物理的制御を橋渡しするために、プログラマブル・ロジック・コントローラ（PLC）に依存しています。ツールを使用する大規模言語モデル（LLM）エージェントは、デジタル・サイバーセキュリティのタスク（例：ペネトレーションテスト、脆弱性悪用）において能力の向上を示していますが、ネットワークへの到達可能性を持続的な物理的影響へと翻訳する能力については、まだ定量化されていません。

既存の評価は、オープンなサービスの発見、有効なソフトウェア書き込みの達成、あるいはツールアクセスの獲得といった、中間的なデジタル・マイルストーンで終了することが一般的です。ICSの文脈において、これらのマイルストーンは物理的リスクの指標としては不十分です。有効なPLC書き込みであっても、制御ループに対して無関係であったり、既存のロジックによって上書きされたり、あるいは危険な物理状態を維持することに失敗したりする可能性があるからです。自律型エージェントが以下の事項を実行できるかどうかを評価する、包括的なエンドツーエンドの評価フレームワークが欠如しています：

1. ベンダー固有のインターフェースを介して、異種混合の実際のPLCと相互作用すること。
2. 閉ループのプロセス・フィードバックに基づいて行動を適応させること。
3. 独立して検証可能な、物理的に実現された目的を達成すること。

手法: PLCBench フレームワーク

著者らは、サイバーから物理への能力とその境界を特性評価するために設計された、初の実際のPLCを用いたハードウェア・イン・ザ・ループ（HIL）フレームワークであるPLCBenchを提示します。このフレームワークはモジュール式であり、コアとなる評価ループを変更することなく、LLMバックエンド、商用PLC、およびプロセス・ワークロードを再結合することが可能です。

コア・コンポーネント

1. エージェント・フレームワーク: ReAct（Reasoning and Acting）パラダイムに基づく、長期的な相互作用ループ。
   • プロンプト契約: 固定されたシステムプロンプトとタスク記述を使用し、ターゲット固有の詳細（例：ネイティブのオブジェクトマップ、アクティブなプロトコル）を隠蔽します。
   • 監査済みツール: シェル、Python、および公開プロトコル・ライブラリを提供します。エージェントは、事前設定されたラッパーなしで、クライアントを構成し、ネイティブのリクエストを発行しなければなりません。
   • コンテキスト管理: 長期のエピソードにおいて、時間的順序や重要な証拠を失うことなく、相互作用履歴の決定論的な圧縮を実装し、評価用の完全な生トランスクリプトを保持します。
2. HIL プラットフォーム:
   • 実際のPLC: ベンダー固有のプロトコル（S7comm, Modbus/TCP, ADS, MC/SLMP）を実行する4つの商用PLC（Siemens S7-300, Schneider M241, Beckhoff CX2030, Mitsubishi R08CPU）。
   • 閉ループ・ワークロード: センサー・フィードバックとアクチュエータ制御を提供する、4つの異なるプロセス・シミュレーション（例：4槽タンク、熱混合）。
   • 隔離: エージェントは隔離されたサンドボックス内で動作します。HILブリッジが、プロセス・サーバーとPLC間の状態交換を管理します。
3. 決定論的エバリュエーター（評価器）:
   • エージェントのコンテキストの外側で動作します。
   • 独立した証拠ソース（ランナーログ、パケットキャプチャ、オブジェクト監査、プロセス・トレース）を分析します。
   • 進捗を分類するために、6つの隠された診断フラグを割り当てます：
     • PLCインターフェース取得: discover（サービス発見）、read（有効なデータ返却）、write（書き込み受理）。
     • 物理制御の進行: manipulate（プロセスに関連するオブジェクトへの書き込み）、disrupt（警告条件の維持）、impact（タスク目的の完全な維持）。

実験設定

• モデル: 5つのLLMファミリー（GPT 5.5, Sonnet 5, Gemini 3.5 Flash, DeepSeek V4 Pro, Kimi K2.7）。
• 構成: 4つのPLC × 4つのワークロード × 5つのモデル × 3回の反復 = 計240エピソードのクロス設計。
• 制約: 100アクションの予算、3600秒の時間制限、コントローラ管理アクション（例：再起動）の禁止、およびPLCプログラムの変更禁止。

主な結果

全体的な影響

• 成功率: 240エピソード全体で、**75回（31.3%）**が持続的な物理的影響を達成しました。
• モデル性能: GPT 5.5が最も有能であり、48エピソード中38エピソードで影響を及ぼし、16のすべてのPLC-ワークロード構成において成功しました。他のモデルは、著しく低い成功率とカバー率を示しました。
• 再現性: GPT 5.5は16個のセルすべてで成功しましたが、そのうちの全3回の反復すべてで成功したのは9つのセルのみであり、最強のモデルであっても成功が必ずしも一様に再現可能ではないことを示しています。

バリア分析

評価により、エージェントが頻繁に失敗する2つの明確な障壁が特定されました。

1. バリア I: ネイティブ・インターフェース取得（98エピソードがここで停止）

   • エージェントは、ネットワーク到達可能性から、使用可能なベンダーネイティブ・インターフェースへの移行に苦戦しました。
   • プロトコルの複雑性: 特殊なプロトコルにおいて大幅な脱落が見られました。例えば、Beckhoff (ADS) および Mitsubishi (MC/SLMP) のPLCでは、多くのエージェントがサービスを検出できたものの、有効なリード（読み取り）を取得できませんでした。
   • 知見: インターフェースの取得はプロトコルの習熟度とクライアント構成に強く依存しており、強固なセキュリティ境界というよりも、摩擦点として機能しています。

2. バリア II: 物理的変換（62エピソードがここで停止）

   • エージェントはプロセスに関連するオブジェクトへの書き込み（manipulate）には成功しましたが、危険な状態を維持すること（impact）には失敗しました。
   • プロセス・ダイナミクス: 失敗の原因は、多くの場合、閉ループ制御および保護ロジックの複雑さにありました。例えば、4槽タンクのシナリオでは、結合されたダイナミクスに対して特定のタンクレベルの制約を維持することができませんでした。
   • 観測性: より豊かなプロセス観測（中間変数、制御ループの状態）を提供することで、書き込み後のインパクトの条件的達成率は 44.2% から 64.0% に上昇しました。これは、限定的な観測性が重大なボトルネックであることを示唆しています。

アブレーション研究

• 共有プロトコル: すべてのワークロードが単一の共有Modbus/TCPパスを介して公開された場合（プロトコルの異種性を排除した場合）、操作の達成率は100%（異種ネイティブパスでの57.1%に対し）に上昇し、生のインパクトは50%に上昇しました。
• 観測の深さ: より豊かな観測条件は、インターフェース取得を改善しませんでしたが、書き込みを持続的な物理的影響へと変換する能力を大幅に向上させました。

意義と主張

本論文は、サイバーから物理への文脈における、自律型LLMエージェントの初の体系的な実機PLCを用いたHIL評価を提供すると主張しています。その意義は以下の通りです：

1. 脅威モデルの転換: ターゲット固有の運用技術（OT）の知識（例：プロトコルの詳細、オブジェクトマップ）が、もはや攻撃成功の厳格な前提条件ではないことを示しています。有能なエージェントは、ネットワークアクセスと限定的なフィードバックがあれば、相互作用を通じてオンラインでこれらの知識を再構築できます。
2. 真の障壁の特定: 本研究は失敗点を局所化しています。プロトコルの複雑さとターゲット固有の知識の欠如は、耐久性のあるセキュリティ境界というよりも、「浸食的な摩擦」として機能すると論じています。エージェントがインターフェースの障壁を乗り越えると、物理的変換の障壁が主要な制約となり、それはプロセス・ダイナミクスと観測性に大きく影響されます。
3. 防御の評価: 本フレームワークは、防御戦略を評価するための再現可能な基盤を提供します。研究は、以下の点に焦点を当てた防御が必要であることを示唆しています：
   • エンジニアリング・サービスへのアクセスを制限すること。
   • プロセスに影響を与える書き込みを検証すること（状態認識の不変条件）。
   • 極端な閾値だけでなく、危険な領域をガードすること。
   • 攻撃を助長する「デュアルユース」のテレメトリを防ぐために、詳細なモニタリング・データと書き込み権限を分離すること。

著者らは、PLCBenchは新しいベンダーの脆弱性を発見するものではなく、むしろ既存の既知のインターフェースを悪用して物理的な結果を得る自律型エージェントの能力を特性評価するものであると強調しています。結果は、現在のエージェントは普遍的に信頼できるわけではありませんが、検証されたラボ環境において持続的な物理攻撃を実行する能力を備えており、ICSのセキュリティがどのように評価され、防御されるべきかという考え方の転換を求めていることを浮き彫りにしています。