Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

技术摘要：基于多智能体大语言模型框架的支撑系统测试的知识图谱提取

问题陈述
技术文档（如以太网交换机配置手册，ESCMs）包含丰富的领域知识，对于自动化下游软件工程任务（尤其是系统测试）至关重要。然而，ESCMs 本质上是半结构化的，且旨在供人类用户阅读而非自动化处理。由于以下原因，它们给直接知识提取带来了重大挑战：

1. 隐式属性：配置步骤通常包含未明确标注的隐式目标、注释和依赖关系。
2. 复杂依赖：高层“配置路线图”步骤与详细“过程”步骤之间常存在多对多的映射关系，且这些关系未明确记录。
3. 结构可变性：不同手册的格式、写作风格和结构标记差异显著，导致基于规则的方法和传统自然语言处理技术无法进行准确提取。

因此，从这些手册中推导全面的测试用例仍然是一个劳动密集型的人工过程。虽然知识图谱（KGs）提供了一种适合自动化的结构化表示，但从此类复杂技术文档中生成高准确度的知识图谱十分困难，尤其是当现有的大语言模型（LLM）方法主要针对通用文本进行优化，而非严格遵循精确的技术模式时。

方法论
作者提出了一种基于多智能体大语言模型的框架，旨在从 ESCMs 中提取、评估并改进知识图谱。该框架基于细粒度的知识图谱模式运行，该模式专为以太网交换机领域定制，捕获了诸如用例场景、网络需求、配置路线图（包含分层步骤、目标和注释）以及过程（包含命令、预期输出和注释）等实体。

该框架包含以下核心组件：

1. 分块：将 ESCMs 分解为基于章节的块（例如路线图、过程），以处理令牌限制并隔离信息类型。
2. 提取智能体（ExtrAgents）：三个专用大语言模型智能体执行不同的提取任务：
   • 路线图提取智能体：从配置路线图中提取上下文、分层步骤、目标和注释。
   • 路线图 - 过程映射智能体：识别高层路线图步骤与详细过程步骤之间的语义映射，处理多对多关系。
   • 过程提取智能体：从过程部分提取分层步骤、命令、预期输出和注释。该智能体利用包含代表性示例的少样本提示（few-shot prompting）来处理结构变化。
3. 知识图谱提取 - 评估 - 改进（EEI）循环：为确保高正确性，该框架采用迭代循环：
   • 评估智能体（EvalAgent）：利用**大语言模型即裁判（LLM-as-a-Judge）**范式，根据特定任务指南（例如逐字复制、正确的步骤匹配）评估提取的实体。它提供二元评分和详细反馈。
   • 改进智能体（ImprovAgent）：分析来自评估智能体的反馈，并优化提取提示以解决特定错误（例如，阐明如何区分注释与操作细节）。
   • 该循环使用优化后的提示重新生成知识图谱实体，直到达到正确性阈值（设定为 0.9）或达到最大迭代次数（3 次）。
4. 知识图谱增强：将补充部分（例如配置文件、网络需求）集成到最终知识图谱中，以支持下游任务。
5. 下游应用：生成的知识图谱被转换为测试用例规范（TCSs），这是一种结构化、可供人工审查的格式，包含先决条件、配置步骤和预期结果，旨在指导自动化测试生成。

主要贡献

1. 多智能体框架：一个新颖的框架，包含用于提取、评估和提示优化的专用智能体，由迭代 EEI 机制引导，以处理技术文档中的结构和语义变化。
2. 细粒度知识图谱模式：专为 ESCMs 设计的领域特定模式，明确捕获步骤级属性（目标、注释、命令）和跨章节依赖关系（路线图 - 过程映射）。
3. 迭代优化机制：引入 EEI 循环，利用大语言模型即裁判的反馈自动优化提取提示，在无需真实参考数据的情况下显著提高了困难案例的正确性。
4. 实证验证：对来自行业合作伙伴（华为）的 50 份真实世界 ESCMs 进行了全面评估，证明了高提取正确性，以及生成的知识图谱在测试用例生成方面的实际效用。

结果
本研究在涵盖 18 个子类别的 50 份 ESCMs 上进行。

• 提取正确性（RQ1）：使用原始提示（在 EEI 优化之前），该框架在三个提取任务中实现了 0.97 至 0.99 的高平均正确性评分。大多数 ESCMs 无需优化。
• EEI 影响（RQ2）：对于初始评分低于 0.9 阈值的一小部分 ESCMs，EEI 循环触发了提示优化。这带来了显著改进，路线图提取的平均正确性提升了 0.12，路线图 - 过程映射提升了 0.15，使所有案例均达到所需的质量水平。
• 大语言模型与人类的一致性（RQ3）：在所有任务中，大语言模型即裁判与人类评估者表现出高度一致性，Cohen's kappa 分数范围为 0.72 至 0.80。差异主要源于次要的分类差异（例如，区分注释与操作细节）或格式问题，而非关键提取错误。
• 下游效用（RQ4）：五位经验丰富的行业测试人员评估了从知识图谱生成的测试用例规范。这些规范获得了持续的高评分，总体平均分为 4.18/5，正面评级率为 95.3%。测试人员认为这些规范有用、清晰且技术准确，尽管有人指出先决条件和预期结果有时需要进一步优化以便直接执行。

意义与主张
该论文声称，其提出的框架有效地弥合了半结构化技术文档与自动化系统测试之间的鸿沟。通过利用多智能体架构和迭代优化循环，该方法在传统方法失效的地方实现了高精度的知识提取。作者强调，虽然研究聚焦于 ESCMs，但该框架是模块化且可泛化的；将其适应其他领域主要需要重新定义知识图谱模式并定制提取/评估提示，而无需重新设计架构。

其意义在于证明，当大语言模型集成到结构化、反馈驱动的框架中时，可以可靠地从复杂的工业文档中提取隐式依赖关系和属性。这种能力支持了下游任务的自动化，特别是测试用例规范的生成，从而减少了与以太网交换机测试相关的人工努力和成本。作者保持了谦逊的态度，承认虽然生成的测试用例规范非常有用，但它们可能仍需要人工审查或进一步优化才能完全可执行，且该框架对其他文档类型的泛化能力仍需进一步调查。