Towards Standardized Evaluation in Automated Domain Modeling: Introducing a Benchmark
本文通过结合现有数据集，引入了一种用于评估自动化领域建模方法的标准化基准，旨在实现跨不同复杂度和规模的比较性评估，同时根据 FAIR4RS 建议将该资源作为可重用的研究人工制品进行提供。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在软件工程领域，在编写第一行代码之前，团队必须就系统应当是什么达成共识。这种共识以一种地图的形式呈现，即一种视觉蓝图，概述了故事中的关键角色及其相互作用方式。在技术术语中，这被称为领域模型（domain model），通常以类图（class diagram）的形式绘制。它是一种精确的语言，开发者通过它来确保每个人都理解游戏规则，无论项目是一个银行应用还是一个医院调度系统。几十年来，创建这些地图一直是一项手动任务，需要人类专家将模糊的业务需求描述转化为严格的图表。近来，被称为大语言模型的强大计算机程序开始尝试自动完成这种转换，承诺加速这一过程并减少错误。然而，由于缺乏衡量这些程序表现如何的统一方法，人们很难知道它们是真的有帮助，还是仅仅在瞎猜。
为了解决这个问题，研究人员 Vasiliy Seibert 引入了一种旨在公平评估这些自动化工具的标准测试。这项工作解决了该领域的一个关键空白：虽然许多研究人员已经开发出了将文本转化为图表的方法，但他们是在各自私有的示例集上进行测试的，这使得跨不同研究的结果对比变得不可能。Seibert 的解决方案是一个基准测试（benchmark），一个共享的标尺，它将两个现有的数据集组合成一个包含 53 个示例的单一且稳健的数据集。每个示例都由一段系统的自然语言描述（例如，关于实验室如何管理患者检测请求的详细解释）以及一个完美的、由人工创建的作为正确答案的图表组成。目标很简单：将文本描述输入到自动化工具中，观察生成的图表与人工制作的参考图表匹配程度如何。
该研究通过测试执行此任务的三种不同方法来应用这一基准。第一种是依赖固定规则和语言模式来提取信息的传统方法，这种技术已被使用了多年。另外两种方法使用现代大语言模型（即先进聊天机器人背后的同类技术）来阅读文本并直接生成图表。为了确保结果可靠，研究人员多次运行了测试，使用了两种不同的语言模型，并检查了输出的一致性。他们使用特定的评分系统来衡量每次尝试的成功率，该系统通过比较生成的图表与正确图表，统计找到了多少正确的元素以及犯了多少错误。
研究结果揭示了能力的清晰转变。在包含 45 个示例的较大数据集上，由大语言模型驱动的工具显著优于传统的基于规则的方法。表现最好的“语言模型结合特定提示策略”组合获得了高分，正确识别了文本中所描述的大部分类（classes）、属性（attributes）和关系（relationships）。传统方法虽然表现稳定，但在捕捉描述的完整复杂性方面显得吃力，在各项指标上的得分都低得多。然而，研究也发现了一个隐藏的挑战。当研究人员在包含 8 个更复杂示例的小型数据集上测试这些工具时，结果变得不再稳定。语言模型的得分在不同运行之间波动更大，错误率也有所上升。这表明，尽管这些工具功能强大，但它们的性能会对任务的规模和复杂度非常敏感。
这项工作的最重要贡献或许不仅在于对工具的排名，而在于建立了一种衡量它们的标准方法。通过提供公开的数据集和清晰的评分方法，研究人员为未来的竞争和改进奠定了基础。这使得其他科学家能够针对同一基准测试自己的想法，确保该领域的进步是真实且可衡量的。该基准测试作为一个开放资源发布，邀请社区利用它来完善其方法，并推向自动化软件设计所能达到的边界。通过这样做，这篇论文使该领域从一系列孤立的实验转向了一门统一的科学，使工具可以被比较、被理解并被信任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。