论文技术总结：基于大语言模型的实时故障注入与智能故障测试用例生成

1. 研究背景与问题定义 (Problem)

背景：
随着汽车软件系统（ASSs）架构的日益复杂化（涉及数百个控制单元和异构组件），系统故障率随之上升。为了满足 ISO 26262 功能安全标准，必须在开发阶段进行故障注入（Fault Injection, FI）测试，以验证安全机制并评估系统可靠性。

核心问题：
现有的故障注入方法存在显著局限性：

1. 人工依赖重： 故障注入的三个关键属性（故障类型、故障位置、注入时间）需要人工识别和定义。
2. 效率低下： 随着系统复杂度增加，人工定义故障测试用例（TCs）的过程变得昂贵、耗时且劳动密集。
3. 覆盖率与成本矛盾： 随机注入导致测试覆盖率不足，而穷举注入则产生无限多的潜在用例，导致资源浪费。
4. 缺乏智能化： 传统方法难以从功能安全需求（FSRs）中系统性地生成符合现实场景的故障用例。

研究目标：
提出一种基于大语言模型（LLMs）的辅助方法，用于从功能安全需求（FSRs）中自动生成故障测试用例，并在硬件在环（HIL）系统中进行实时验证，以优化测试流程并降低安全关键系统的开发成本。

---

2. 方法论 (Methodology)

论文提出了一种三阶段的 LLM 辅助实时故障注入框架：

2.1 故障测试用例生成阶段 (Generation Phase)

• 输入： 自然语言形式的功能安全需求（FSRs）。
• 预处理： 利用 LLM 的内在自然语言处理能力，无需传统 ML 模型所需的复杂文本预处理。
• 任务分解：
  1. 分类任务： LLM 首先将 FSR 分类为“传感器相关”或“执行器相关”，以提高后续生成的针对性。
  2. 故障识别与生成： 基于分类结果，LLM 识别可能导致功能违反的潜在故障。
     • 故障属性： 定义故障位置（Location）、类型（Type）和注入时间（Time）。
     • 输出格式： 生成 JSON 对象，键值对表示组件（如传感器/执行器），值为"1"表示注入故障，"0"表示正常。支持单故障和并发故障（最多两个并发故障，符合 ISO 26262 标准）。
     • 故障类型： 涵盖增益（Gain）、偏移（Offset）、固定值（Stuck-at）、延迟（Delay）、噪声（Noise）、丢包（Packet loss）、漂移（Drift）和尖峰（Spike）等。
• 提示工程（Prompting）： 采用**少样本提示（Few-shot prompting）**技术，动态将支持的传感器列表和上下文描述注入 Prompt，无需重新训练模型即可适应动态环境变化。

2.2 执行阶段 (Execution Phase)

• 平台： 硬件在环（HIL）仿真系统，包含 HIL 模拟器、真实 ECU、CAN 总线、物理方向盘/踏板及分析工具。
• 机制： 通过实时接口（RTICANMM）访问 CAN 信号。
• 黑盒测试： 故障注入在系统模型外部进行，不修改系统架构代码，确保被测系统（SUT）作为黑盒运行。
• 流程： 将 LLM 生成的故障参数传输至故障注入器，在实时驾驶循环中注入故障。

2.3 结果分析阶段 (Analysis Phase)

• 基准对比： 记录无故障条件下的“黄金运行（Golden Run）”作为基准。
• 行为评估： 对比故障注入后的系统变量（如发动机转速、扭矩、温度、车辆动力学），评估系统鲁棒性及安全机制是否按预期触发。
• 反馈： 若违反 FSR，生成反馈报告并返回开发阶段。

---

3. 主要贡献 (Key Contributions)

1. 创新框架： 提出了首个将 LLM 集成到汽车系统实时 HIL 验证中的故障注入框架，实现了从自然语言 FSR 到实时故障用例的自动化生成。
2. 智能分类与生成： 设计了基于 LLM 的分类任务，将 FSR 按组件（传感器/执行器）分组，显著提高了故障用例生成的准确性和覆盖率。
3. 并发故障支持： 能够生成符合 ISO 26262 标准的单故障及双并发故障用例，并通过 JSON 格式精确控制注入位置。
4. 模型性能评估： 全面评估了多种 LLM（包括闭源的 GPT-4o 和开源的 LLaMA, phi-4, Qwen 等）在故障分类和用例生成任务上的表现，分析了数据量（Few-shot 数量）对性能的影响。
5. 实时验证： 在高保真汽油发动机和车辆动力学模型上进行了实时验证，证明了生成用例的有效性和对系统行为的影响。

---

4. 实验结果 (Results)

实验使用了 134 条 FSR 数据集，对比了 GPT-4o, GPT-4o-mini, Llama-3-70b, Phi-4-14b, Qwen2.5-7b 等模型。

4.1 FSR 分类性能

• 最佳模型： GPT-4o 表现最优，F1 分数达到 88.0%（N=1）。
• 其他表现： Qwen2.5-7b (85.7%), Phi-4-14b (83.2%), Llama-3-70b (82.4%)。
• 结论： LLM 能够有效理解并分类自然语言形式的安全需求。

4.2 故障测试用例生成性能

• 单用例生成： GPT-4o 在 N=8 时达到 97.5% 的 F1 分数，N=1 时也有 97.0%。
• 开源模型表现： Phi-4-14b 表现惊人，F1 分数达到 96.6%（N=3），且在不同样本量下表现稳定。但在样本过多（N=8）时，由于超出上下文窗口，格式错误导致 F1 降为 0%。
• 批量生成： 在批量生成测试中，GPT-4o 和 Llama-3-70b 在特定配置下（如 BS=3, N=1）保持了高 F1 分数（>97%）。
• 负例过滤（Drop Sensors）： 模型能够有效识别并排除未支持的传感器。Phi-4-14b 在此任务中表现最佳（F1 97.7%）。

4.3 实时执行分析

• 案例验证： 在 HIL 系统中注入延迟故障（APP 传感器）和并发故障（RPM 延迟 + APP 固定值）。
• 结果： 成功捕捉到了系统从安全状态到故障状态的转变，包括发动机转速异常、车辆速度失控、扭矩补偿导致的能量需求增加以及发动机温度异常波动。
• 结论： 生成的用例能有效触发 FSR 违反，验证了系统安全机制的响应能力。

---

5. 意义与展望 (Significance & Future Work)

意义：

• 效率提升： 将故障用例生成从人工密集型转变为自动化，显著降低了测试时间和成本。
• 安全性增强： 通过系统性地生成覆盖边缘场景的故障用例，提高了复杂汽车软件系统的安全评估质量。
• 技术突破： 证明了 LLM 在工程领域（特别是安全关键系统测试）的实用价值，不仅限于文本生成，还能处理结构化工程逻辑。
• 灵活性： 少样本提示（Few-shot prompting）使得该方法能够适应动态变化的传感器列表，无需重新训练模型。

未来工作：

• 扩展故障类型，涵盖通信层故障和 ECU 级故障。
• 研究 LLM 生成预测结果背后的推理依据（Rationale），以辅助工程师的决策。
• 进一步优化实时性，减少延迟。

总结：
该论文提出了一种利用大语言模型自动化生成汽车系统故障测试用例的新范式。实验表明，GPT-4o 在性能上领先，而 Phi-4-14b 作为开源模型提供了极具竞争力的替代方案。该方法成功在 HIL 平台上验证，为汽车功能安全测试的智能化转型提供了有力的技术支撑。