Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
本文对一项网络安全推理项目进行了审计，旨在证明其发布的云端与本地能耗对比因溯源缺陷（包括将恒等式伪装成测量值以及量纲不匹配）而无效，从而为未来的评估建立一套严谨的、具备溯源意识的协议。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，大型语言模型已成为安全团队的强大工具，帮助他们处理钓鱼邮件、解释软件漏洞并应对网络攻击。这些人工智能系统通过预测句子中的下一个词来工作，但它们在执行任务的同时也会消耗电力。随着各机构在决定是在自己的服务器上运行这些模型，还是向大型云服务商租用模型时，一个关键问题随之而来：哪种选择对环境更好？为了回答这个问题，研究人员必须测量每次请求所消耗的能量。然而，测量能量并不像读取仪表那样简单。它需要准确知道使用了什么硬件、运行了多久以及执行了哪些特定任务。如果没有清晰的记录说明一个数字从何而来以及是如何计算出来的，那么对两个不同系统的比较，就像是用汽车的速度计读数去对比关于自行车可能有多快的猜测一样。
奥克兰理工大学的一个研究小组决定通过仔细调查一个已经完成的特定网络安全项目来研究这个问题。他们没有进行新的实验，也没有使用新设备测量电力。相反，他们扮演了审计员的角色，检查现有的文件、日志和报告，以查看原研究中提出的能源声明是否真正值得信任。他们的目标是将每一个数字追溯到其来源，检查该数据是现实的直接观察，还是基于假设的计算。他们发现，该研究试图比较两种截然不同的事物：一个是内部运作机制被隐藏的云服务，另一个是研究人员可以观察其过程但在记录数据方式上犯了根本性错误的本地计算机。
研究人员发现，该研究中云端部分的能源数据并非电力的测量值。在包含 360 条记录的云端电子表格中，每一个能量值都是通过将模型生成的总单词数乘以一个固定数值而得出的。这意味着该能量数值是一个数学恒等式，即应用在文本上的一个规则，而不是来自电表的一次读数。云服务提供商并未分享任何关于其服务器为这些请求实际消耗了多少电力的数据。因此，单词数量与能量成本之间的这种强关联性是计算方法产生的人为产物，而非对云端实际耗电量的物理观察。
本地实验的情况虽然不同，但也同样存在问题，在这些实验中，模型运行在研究人员自己的电脑上。在这里，团队使用了一个旨在估算二氧化碳排放量的软件工具。该工具正确地计算了产生的二氧化碳当量，单位为千克。然而，研究人员随后将这个碳重量视为千瓦时的电能测量值。他们将碳的重量乘以一千，并将其称为能量，然后使用这个错误的数字来计算电费。这是一种单位的混淆，类似于称量一袋苹果的重量，然后声称这个重量代表了游泳池里有多少水。由于这个错误，本地的能量数值既无法与云端数值进行比较，也无法被视为对功耗的真实测量。
审计还揭示了研究的两侧测试的内容并不相同。云端请求涉及不同类型的模型，并且允许答案比本地请求长得多，而本地请求在较短的长度处被截断。本地研究还缺乏关于所使用的确切软件版本和硬件设置的清晰记录，这使得无法得知如果重复实验是否会得到相同的结果。此外，该研究并未包含一种验证安全任务是否被正确解决的方法，仅确认了任务已完成。如果不知道答案是否正确，就无法判断所消耗的能量是高效的还是浪费的。
当研究人员应用一种被称为“溯源”（provenance）的严格数据历史追踪框架时，他们发现该存档无法支持对哪种部署方式更具能源效率性的排名。云端数据是基于文本长度的估算，而本地数据则是基于单位转换错误。该研究无法确定云端更好，还是本地设置更好，甚至无法确定它们是否具有可比性。研究人员得出结论，未来的研究必须进行不同的设计。他们需要对两个系统使用相同的任务，使用适当的仪表或经过验证的数据来测量电力，并保持一条清晰、不间断的证据链，以展示每个数字究竟是如何推导出来的。在这样的研究开展之前，关于其中一种方法相对于另一种方法在环境效益方面的说法仍是未经证实的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。