技术摘要：PLCBench

问题陈述

工业控制系统（ICS）依赖可编程逻辑控制器（PLC）来连接网络计算与物理控制。虽然具备工具使用能力的型大语言模型（LLM）智能体在数字网络安全任务（如渗透测试、漏洞利用）中已展现出日益增长的能力，但其将网络可达性转化为持续物理影响的能力尚未得到量化评估。

现有的评估通常止步于中间数字里程碑，例如发现开放服务、实现有效的软件写入或获得工具访问权限。在 ICS 背景下，这些里程碑不足以作为物理风险的指标。一次有效的 PLC 写入可能与控制回路无关、被现有逻辑覆盖，或者无法维持危险的物理状态。目前缺乏一个全面的端到端评估框架，用于评估自主智能体是否能够：

1. 通过厂商原生接口与异构的真实 PLC 进行交互。
2. 基于闭环过程反馈调整行为。
3. 实现一个经过独立验证的物理实现目标。

方法论：PLCBench 框架

作者提出了 PLCBench，这是首个旨在表征网络向物理转化能力及其边界的真实 PLC 硬件在环（HIL）框架。该框架具有模块化特性，允许在不改变核心评估循环的情况下，对 LLM 后端、商用 PLC 和过程工作负载进行重新组合。

核心组件

1. 智能体框架： 基于 ReAct（推理与行动）范式的长程交互循环。
   • 提示词契约： 使用固定的系统提示词和任务描述，隐藏特定目标的细节（例如，原生对象映射、活跃协议）。
   • 审计工具： 提供 Shell、Python 和公共协议库。智能体必须配置客户端并发出原生请求，而不能使用预配置的封装器。
   • 上下文管理： 实现交互历史的确定性压缩，以处理长周期任务而不丢失时间顺序或关键证据，同时保留完整的原始转录用于评估。
2. HIL 平台：
   • 真实 PLC： 四台商用 PLC（西门子 S7-300、施耐德 M241、倍福 CX2030、三菱 R08CPU），运行厂商原生协议（S7comm、Modbus/TCP、ADS、MC/SLMP）。
   • 闭环工作负载： 四种不同的过程模拟（例如，四罐系统、热混合系统）提供传感器反馈和执行器控制。
   • 隔离： 智能体在隔离的沙盒中运行；HIL 桥接器负责管理过程服务器与 PLC 之间的状态交换。
3. 确定性评估器：
   • 在智能体上下文之外运行。
   • 分析独立的证据源（运行日志、数据包捕获、对象审计、过程追踪）。
   • 分配 六个隐藏的诊断标志 来对进度进行分类：
     • PLC 接口获取： discover（发现服务）、read（返回有效数据）、write（接受写入）。
     • 物理控制进展： manipulate（写入与过程相关的对象）、disrupt（维持警告状态）、impact（实现并维持完整的任务目标）。

实验设置

• 模型： 五个 LLM 系列（GPT 5.5、Sonnet 5、Gemini 3.5 Flash、DeepSeek V4 Pro、Kimi K2.7）。
• 配置： 采用 4 PLC × 4 工作负载 × 5 模型 × 3 次重复的交叉设计 = 240 个回合。
• 约束： 100 次动作预算、3600 秒时间限制、禁止控制器管理操作（如重启）以及禁止修改 PLC 程序。

关键结果

总体影响

• 成功率： 在 240 个回合中，有 75 个 (31.3%) 实现了持续的物理影响。
• 模型性能： GPT 5.5 能力最强，在 48 个回合中实现了 38 次影响（79.2%），并在所有 16 种 PLC-工作负载配置中均取得成功。其他模型表现出显著较低的成功率和覆盖率。
• 可重复性： 虽然 GPT 5.5 在所有 16 个单元格中都取得了成功，但它仅在其中 9 个单元格中完成了三次重复实验的全部成功，这表明即使是对于最强的模型，成功也并非完全一致的可重复。

障碍分析

评估识别出了智能体频繁失败的两个不同障碍：

1. 障碍 I：原生接口获取（98 个回合在此停止）

   • 智能体难以从网络可达性过渡到可用的厂商原生接口。
   • 协议复杂性： 在使用较不常见的协议时，性能大幅下降。例如，在 Beckhoff (ADS) 和三菱 (MC/SLMP) PLC 上，许多智能体虽然可以发现服务，但无法获得有效的读取。
   • 发现： 接口获取高度依赖于协议熟悉度和客户端配置，它是一个摩擦点而非硬性的安全边界。

2. 障碍 II：物理转化（62 个回合在此停止）

   • 智能体成功写入了与过程相关的对象（manipulate），但未能维持危险状态（impact）。
   • 过程动力学： 失败通常源于闭环控制和保护逻辑的复杂性。例如，在四罐系统中，智能体无法在耦合动力学的作用下维持特定的水箱液位约束。
   • 可观测性： 提供更丰富的过程观测（中间变量、控制回路状态）使成功写入后的条件性影响达成率从 44.2% 提升至 64.0%，这表明有限的可观测性是一个重要的瓶颈。

消融研究

• 共享协议： 当所有工作负载都通过单一共享的 Modbus/TCP 路径暴露时（移除了协议异构性），操控达成率升至 100%（对比异构原生路径下的 57.1%），且原始影响率升至 50%。
• 观测深度： 更丰富的观测条件并未改善接口获取，但显著改善了将写入转化为持续物理影响的能力。

意义与主张

本文声称提供了首个针对自主 LLM 智能体在网络向物理转化背景下的真实 PLC HIL 系统化评估。其意义在于：

1. 转变威胁模型： 它证明了目标特定的操作技术（OT）知识（如协议细节、对象映射）不再是攻击成功的必要前提。只要具备网络访问权限和受限反馈，能力强大的智能体可以通过交互在线重建这些知识。
2. 识别真实障碍： 研究定位了失效点。它认为协议复杂性和缺乏目标特定知识充当的是“侵蚀性摩擦”而非持久的安全边界。一旦智能体克服了接口障碍，物理转化障碍便成为主要约束，且深受过程动力学和可观测性的影响。
3. 防御评估： 该框架为评估防御策略提供了可复现的基础。它建议防御应侧重于：
   • 限制对工程服务的访问。
   • 验证影响过程的写入操作（状态感知不变性）。
   • 监控危险区域而非仅仅是极端阈值。
   • 将详细的监控数据与写入权限解耦，以防止“双用途”遥测数据辅助攻击。

作者强调，PLCBench 并非旨在发现新的厂商漏洞，而是旨在表征自主智能体利用现有的、已知的接口来实现物理结果的能力。结果表明，虽然目前的智能体并非普遍可靠，但它们有能力在经过验证的实验室环境中执行持续的物理攻击，这要求我们必须转变 ICS 安全评估与防御的方式。