技术摘要：用于检测智能电网保护继电器网络攻击的大语言模型

1. 问题陈述

现代数字变电站依赖网络化设备和实时数据交换，这引入了显著的网络安全漏洞。一个关键组件是变压器电流差动继电器（TCDR），其设计目的是通过比较输入侧和输出侧的电流相量来检测变压器内部故障。然而，TCDR 容易受到虚假数据注入攻击（FDIA）的影响。恶意行为者可以通过 IEC-61850 通信协议中的漏洞操纵传输的测量值，导致继电器在正常运行期间错误地跳闸，从而导致长时间停电和潜在的电网不稳定。

核心挑战在于如何区分受操纵的测量值（网络攻击）与真实的故障诱发扰动。现有的 TCDR 逻辑无法做出这种区分。此外，虽然之前的研究已经探索了将大语言模型（LLM）应用于智能电网，但它们主要集中在低维数据、基于云的部署或文本数据方面。在应用 LLM 处理高分辨率、多变量时间序列继电器测量值，且不损害继电器可靠性的本地实时网络攻击检测方面，仍存在研究空白。

2. 方法论

作者提出了一个框架，通过将多变量时间序列电流测量值文本化，使紧凑且可本地部署的 LLM 能够检测针对 TCDR 的网络攻击。

A. 数据文本化

该框架将六维数值电流测量值（来自变压器输入侧和输出侧的三相电流）转换为结构化的自然语言提示词。

• 提示词结构： 使用标准模板来描述每一相和每一侧的“变压器差动继电器电流测量向量”，并将数值嵌入其中。
• 预处理： 数值被归一化到 [0, 1] 之间，保留三位小数，并格式化为固定长度的字符串，以确保一致的标记化（tokenization）。
• 标记约束： 输入被限制为每个样本 512 个标记，这是 DistilBERT 等紧凑模型所支持的限制，在确保表示符合模型输入规模的同时，保留了时间依赖性和空间依赖性（输入侧与输出侧）。

B. 模型选择与训练

研究并非从头开始训练模型，而是采用对预训练的轻量级 LLM 进行微调：

• 模型： DistilBERT、GPT-2 以及 DistilBERT 的低秩自适应（LoRA）变体。
• 架构： 这些模型利用自注意力机制来捕捉序列数据中的依赖关系。微调过程更新了子集参数（包括分类层），以学习区分故障模式与攻击模式。
• 部署： 模型旨在运行在变电站内的商业硬件上，消除了对云基础设施的需求，并确保了数据隐私。

C. 通过注意力机制实现可解释性

该方法的一个关键特征是使用 LLM 内部的自注意力分数。通过将这些分数投影回测量域，框架可以突出显示对分类决策影响最大的特定时间-相位区域。这提供了内在的可解释性，允许操作员可视化触发攻击检测的电流波形部分。

3. 主要贡献

本文概述了三个主要贡献：

1. 文本化方法： 一种将高维（跨 32 个时间步的 192 个特征）TCDR 电流波形转换为结构化文本提示词的新颖方法，使其能够适配紧凑型 LLM 的标记限制，同时保留故障分析所需的物理关系。
2. 本地可部署性： 证明了轻量级 LLM（DistilBERT、GPT-2）可以在标准的商业硬件上进行微调并本地部署，实现低于 6 ms 的推理时间。这满足了保护继电器的严格计时要求，且无需外部云端依赖。
3. 透明检测： 引入了一种利用自注意力机制提供透明推理的检测方法。与“黑盒”深度学习模型不同，该方法允许工程师识别指示攻击的具体时间步和相位。

4. 性能评估与结果

该框架在 OPAL-RT HYPERSIM 平台上通过 IEEE PSRC D6 测试系统进行评估，生成了约 50,000 个标记样本（包含故障和各种 FDIA 场景）。

A. 基准对比

在标称条件下，基于 LLM 的检测器表现出与最先进的机器学习（ML）和深度学习（DL）基准（包括 CNN、LSTM、GRU、SVM、XGBoost 等）相比具有竞争性或更优越的性能：

• DistilBERT： 实现了 97.62% 的网络攻击检测率，并具有 100% 的特异性（完美的故障检测准确率）以及 99.36% 的 F1 分数。
• GPT-2： 实现了 97.06% 的检测率。
• DistilBERT+LoRA： 实现了 92.31% 的检测率。
• 对比： LLM 的表现优于或等同于传统的深度学习模型（例如 CNN: 96.48%, GRU: 96.98%），并且显著优于较简单的模型，如逻辑回归（68.22%）和朴素贝叶斯（69.85%）。

B. 鲁棒性评估

• 复杂攻击： 在结合了时间同步攻击（TSA）和 FDIA 的情况下，DistilBERT 保持了 97.20% 的检测率，与表现最好的非 LLM 基准模型相当。
• 测量噪声： 模型针对信噪比（SNR）从 45 dB 降至 30 dB 的加性高斯白噪声进行了测试。虽然 DistilBERT 在 30 dB 时表现出一定的性能下降（准确率降至 89.61%），但在现代变电站典型的较高 SNR 环境下仍保持稳健。在此特定配置下，DistilBERT+LoRA 和 GPT-2 表现出更高的抗噪性。
• 提示词敏感性： 对提示词变化（措辞、结构和语义标识符的移除）进行的消融研究表明，模型对语言变化具有鲁棒性，保持了 99% 以上的准确率。然而，移除显式的领域标识符（相位/侧标签）会导致召回率略有下降，这表明了语义上下文的价值。

C. 实时性能

在商业工作站（Intel Core i9, NVIDIA RTX 4060）上，每个样本的平均推理时间为 5.39 ms。这相当于 60 Hz 下的约 0.32 个周期，满足了 TCDR 的亚周期决策要求。

5. 重要性与主张

论文声称，紧凑且可本地部署的 LLM 为增强现代数字变电站的网络攻击检测提供了一种实用、可解释且稳健的解决方案。

• 实用性： 能够在标准商业硬件上进行微调并运行，且不依赖云端，这解决了关键基础设施的延迟和安全约束问题。
• 可解释性： 利用注意力机制提供了一种传统深度学习模型所不具备的透明度，增强了操作员对自动化决策的信任。
• 韧性： 该框架有效地区分了恶意操纵与真实的物理故障，维护了保护系统的可靠性。

作者承认，虽然该框架增强了检测能力，但也引入了新的潜在攻击面（例如，对抗性机器学习、模型投毒）。他们强调，必须将这些模型部署在隔离的、物理隔绝的网络中，并辅以加密身份验证和对抗性稳健性措施。研究结论指出，虽然目前的结果令人鼓舞，但未来的工作应侧重于设计具有对抗鲁棒性的架构，并优化部署的成本效益平衡。