Bridging Cybersecurity Expertise Gaps through Human-LLM Collaboration: Trust, Reliance, and Design Imperatives from a Mixed-Methods Study
这项针对 58 名网络安全专业人员的混合方法研究表明，虽然人机协作（Human-LLM collaboration）能提高分诊准确性，但对 AI 建议的依赖程度因任务透明度而异，这为构建能够减轻自动化偏差并支持校准人类判断的、值得信赖且具备上下文感知能力的网络安全助手提出了特定的设计要求。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字世界中，安全团队面临着持续不断的警报洪流。每天，他们必须从成千上万封可疑邮件和网络警报中进行筛选，以判断哪些是无害的噪音，哪些是真正的攻击。这个被称为“分诊”（triage）的过程，通常由疲惫不堪、承受着压力且有时缺乏深厚专业知识的人员来完成。随着网络威胁的增长速度超过了受过训练的专家数量，组织正转向利用人工智能来提供帮助。具体而言，他们正在测试大语言模型——这些能够阅读、写作和进行人类语言推理的计算机程序——将其作为助手。人们希望这些工具能够发现人类可能错过的危险。然而，一个新问题出现了：如果计算机给出了建议，人类会过度信任它，还是信任不足？真正的挑战不仅在于计算机是否聪明，还在于人类是否能够理解计算机的推理过程，从而做出最终决定。
来自澳大利亚联邦科学与工业研究组织（CSIRO）的一个研究小组致力于探索人类员工与人工智能之间的这种关系。他们不仅仅是测试计算机在独立寻找恶意邮件或网络攻击方面的表现，而是研究了人与计算机如何协同工作。他们招募了58名参与者，其中许多人拥有技术知识，但并非专业的网络安全分析师。这些志愿者被要求执行两种截然不同的安全检查任务。第一项任务是阅读邮件，以判断它们是否为钓鱼攻击——即旨在窃取信息的欺诈性消息。这些邮件包含可见的线索，例如奇怪的发件人地址或可疑链接，人们可以亲眼观察并自行核查。第二项任务涉及查看网络记录，即显示计算机之间如何通信的数据表。这些记录更难阅读；线索隐藏在复杂的数字和模式之中，肉眼无法直接察觉。
在研究中，参与者首先就一封邮件或一条网络记录是安全还是危险做出自己的判断。随后，他们有机会与一名人工智能助手协作。该助手可以解释其推理过程，指出具体细节，并提供建议。研究人员密切观察了人类对此做出的反应。他们发现，人们如何使用人工智能完全取决于他们自行核实证据的难易程度。当任务是检查邮件（即线索清晰可见）时，参与者将人工智能视为一个有用的“第二意见”。他们可以查看邮件，看到人工智能提到的可疑链接，然后自行决定是否同意。人工智能帮助他们捕捉到了更多错误，但人类仍然掌握着主导权。
当参与者转向网络记录时，情况发生了剧烈变化。由于线索隐藏在复杂的数据之中，人类无法轻易自行验证人工智能的说法。在这种环境下，人工智能的“信心”成为了最强大的因素。当人工智能表现得非常笃定时，人类往往会听从其建议，即使人工智能是错误的。研究人员观察到，自信但错误的建议比犹豫不决的建议会导致更多的错误。这造成了一个危险的差距：在人们最需要帮助的任务中，他们也最容易盲目信任机器。研究表明，虽然人工智能提高了整体准确率，但它是通过改变人类的思维方式来实现的。在困难的网络任务中，人工智能不再仅仅是一个工具，而更像是一个引导者，带领着人类走过一条他们独自无法看见的路径。
研究人员还观察了人们是如何提问的。在检查邮件时，人们会问直接的问题，如“这是一封钓鱼邮件吗？”但在查看网络数据时，他们会提出更具探索性的问题，例如“为什么这个连接很异常？”或“你能将其与正常流量进行对比吗？”这种转变表明，对于复杂问题，人们不仅想要一个“是或否”的答案，更想要理解其背后的逻辑。研究发现，最有帮助的人工智能响应是那些指向具体证据并解释为何该证据重要的回复。当人工智能仅给出标签而不提供证据，或者在不确定的情况下表现得过于自信时，人类会做出更差的决策。
研究结果表明，为了使人工智能在网络安全领域真正发挥作用，必须根据具体任务进行差异化设计。对于人类可以观察到证据的简单任务，人工智能应当是一个默默工作的助手，负责高亮显示细节。对于证据隐藏在背后的复杂任务，人工智能必须成为一个谨慎的伙伴，解释其不确定性并鼓励人类进行复核。研究结论指出，目标不是用机器取代人类专家，而是建立一种机器支持人类判断而非取代其判断的伙伴关系。通过教导人工智能展示其工作过程并承认其不确定之处，安全团队可以弥合日益增长的威胁数量与有限的专家数量之间的鸿沟。研究表明，安全的未来不在于单纯更聪明的算法，而在于人类与机器之间更智能的沟通方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。