🤖 AI

LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments

该研究通过对比实验发现，尽管使用详细的代码本能略微提升大语言模型在分析人类实验中的安全相关评论时的表现，但其结果仍缺乏一致性且不足以可靠地替代人工标注员。

原作者： Maria Camporese, Fabio Massacci, Yuanjun Gong

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Maria Camporese, Fabio Massacci, Yuanjun Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于人工智能（AI）能否取代人类专家来“读懂”安全代码评论的故事。

简单来说，研究人员发现：在涉及网络安全这种高难度、需要深度理解的领域，目前的顶级 AI 模型还无法完全取代人类专家的工作。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文：

1. 背景：为什么需要 AI 帮忙？

想象一下，你是一位安全审计员（人类专家）。你的工作不是写代码，而是阅读成千上万条程序员留下的“安全笔记”（比如：“我觉得第 10 行代码有个漏洞，因为这里没检查缓冲区”）。

人类的工作：你需要把这些笔记分类。比如，标记出哪些笔记提到了“变量名”，哪些提到了“具体的漏洞类型”，哪些只是“我不确定”。
痛点：这就像让一个人去读几千页的手写日记并做摘要，非常耗时、费钱，而且容易累出错。
AI 的诱惑：大家想，既然现在的 AI（大语言模型，LLM）能写诗、写代码，那让它来自动给这些笔记分类，岂不是既快又省？

2. 实验：AI 真的能行吗？

研究人员找来了4 个目前世界上最聪明的 AI 模型（包括 GPT-5、Claude 4、DeepSeek 和 Qwen3-Max），让它们扮演“审计员”，去分析人类学生写的安全评论。

他们设计了三种“考试难度”来测试 AI：

简单版（P1）：只告诉 AI：“请把这些笔记分类。”（就像只给题目不给课本）。
标准版（P2）：给 AI 一本详细的说明书（代码本），告诉它什么是“变量名”，什么是“漏洞”，并附带例子。（就像给了课本和例题）。
困难版（P3+）：不仅给说明书，还专门挑出那些让人类都争论不休的“模糊案例”，告诉 AI 为什么这个算“有漏洞”，那个算“没漏洞”。（就像请了名师进行考前特训，专门讲易错题）。

3. 结果：AI 的“翻车”现场

实验结果有点令人失望，可以用以下比喻来形容：

表面功夫还行，深层理解不行：
- 如果任务是找“有没有提到数字”或“有没有提到某个具体的变量名”（比如看到 inv 或 debug），AI 做得还不错，像个勤奋的抄写员。
- 但一旦任务变成理解语境（比如：“这句话是在描述一个漏洞，还是在表达‘我没找到漏洞’？”），AI 就彻底晕了。它经常把“我不确定”误读为“我发现了漏洞”，或者把普通的单词当成代码术语。
越努力，越迷茫：
- 研究人员发现，给 AI 的说明书越厚、例子越多、甚至专门教它怎么区分易错题，它的表现并没有显著提升。
- 这就好比给一个不懂中文的外国人一本厚厚的字典和语法书，让他去理解一首中文古诗的深意。书越厚，他反而越容易在字面意思上钻牛角尖，反而忽略了诗的真正含义。
数据不会撒谎：
- 如果用普通的“准确率”来看，AI 好像有 75% 是对的。但这就像猜硬币，因为大部分评论本来就没有漏洞，AI 只要瞎猜“没漏洞”，准确率就很高。
- 一旦用更严格的**“排除运气后的真实准确率”（Cohen's Kappa）来算，AI 的表现就跌到了“勉强及格”甚至“不及格”的水平。这意味着它们无法可靠地替代人类**。

4. 核心结论：AI 是助手，不是替身

这篇论文得出了一个重要的结论：

在网络安全这种需要“火眼金睛”和“深度推理”的领域，目前的 AI 还只是一个“初级实习生”，而不是“资深专家”。

它能做什么？ 它可以帮你快速筛选出那些明显的、字面上的关键词（比如“这里提到了缓冲区”）。
它不能做什么？ 它不能代替人类去判断复杂的逻辑、微妙的语气，或者在模棱两可的情况下做出正确的安全判断。

5. 给未来的建议

研究人员建议，不要指望 AI 能完全“一键生成”完美的安全分析报告。

正确的姿势：应该把 AI 当作一个**“初筛助手”。让它先快速过一遍，把明显的标记出来，然后人类专家**再回头去复核那些 AI 拿不准的、或者看起来有点奇怪的地方。
未来的路：我们需要设计更好的“人机协作”流程，让 AI 做它擅长的（处理大量数据），让人做它擅长的（理解复杂语境和承担安全责任）。

一句话总结：
在网络安全评论分析这件事上，AI 目前还只是个**“只会认字，不懂读心”**的笨学生。虽然它很聪明，但在需要深度理解人类意图和复杂逻辑时，人类专家依然是不可替代的“守门人”。

这是一篇关于大型语言模型（LLMs）在软件安全领域定性数据分析中表现的学术论文总结。该研究通过人类实验，评估了 LLMs 是否能替代人类标注者来处理与安全相关的技术评论。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：在涉及人类受试者的软件工程实验中，主题分析（Thematic Analysis, TA）是提取定性见解（如参与者对代码漏洞的解释）的关键方法。然而，TA 过程耗时且昂贵，因为它需要多名领域专家进行多轮标注和审查以确保可靠性。
假设：鉴于 LLMs 在情感分析等任务上的成功，人们自然假设它们可以替代人类标注者，自动处理技术评论。
核心问题：
- RQ1：LLMs 能否在安全相关的技术注释中替代人类标注者？
- RQ2：模仿人类标注最佳实践（如逐步细化提示词、提供代码本、冲突示例等）的提示工程（Prompt Engineering）对 LLM 的性能有何影响？
挑战：与情感分类不同，安全特定的注释（如识别代码标识符、行号、特定安全关键词、漏洞类型或潜在利用方式）需要更深层次的上下文理解和领域知识。

2. 方法论 (Methodology)

数据集：
- 数据来源于一个未发表的受控实验（由 Papotti 等人 [37] 的研究团队提供）。
- 规模：263 条由人类受试者（计算机科学硕士生）生成的自由文本评论，这些评论是对包含漏洞的代码片段的分析理由。
- 标注：由 4 名人类标注者根据主题分析协议进行标注，并经过独立审查员检查。
标注任务：
- 定义了 9 种安全相关的代码（Codes），例如：
  - Var: 是否提及变量/方法标识符。
  - Lin: 是否提及代码行号。
  - Key: 是否提及相关安全关键词。
  - Vul: 文本是否与特定漏洞相关。
  - Exp: 是否提及潜在利用方式。
  - NoVul/Unsr/Unclr: 表示未发现漏洞、不确定或回答不清。
实验设计：
- 模型选择：选取了 LiveBench 基准测试中表现最好的 4 个 LLM（2 个闭源：GPT-5, Claude-4；2 个开源：DeepSeek-V3.2, Qwen3-Max）。
- 提示策略（Prompt Refinement）：模拟人类标注的认知过程，设计了 4 种逐步复杂的提示：
  1. P1：仅任务描述和代码名称。
  2. P2：增加代码的正式定义和示例（代码本）。
  3. P3：增加其他标注者的标签作为少样本（Few-shot）示例。
  4. P3+：增加冲突示例及研究人员的澄清说明（模拟解决分歧的过程）。
- 评估指标：
  - 使用 Cohen's Kappa ( $\kappa$ ) 作为主要指标，即随机校正后的准确率（Chance-corrected accuracy）。
  - 理由：安全代码通常稀疏（大多数评论不包含特定代码），传统准确率会因不平衡数据集而虚高。Kappa 能衡量模型是否真的学到了模式，而非随机猜测。
  - 将 LLM 的表现与人类标注者之间的互评结果进行对比。

3. 关键结果 (Key Results)

总体结论（RQ1）：LLMs 目前无法可靠地替代人类标注者。
- 即使在最复杂的提示（P3+）下，所有模型的随机校正准确率（ $\kappa$ ）均未达到“可替代”的水平。
- 最佳表现：开源模型 Qwen3-Max 表现最好（ $\kappa \approx 0.61$ ，属于“实质性” agreement），其次是 DeepSeek-V3.2（ $\kappa \approx 0.53$ ）。闭源模型（GPT-5, Claude-4）表现较差（ $\kappa < 0.30$ ）。
- 代码特异性：模型在某些简单任务（如识别行号 Lin 或标识符 Var）上表现尚可，但在需要推理的任务（如识别“不确定”Unsr 或“不清晰”Unclr）上表现极差，甚至不如随机猜测。
提示工程的影响（RQ2）：提示词的优化收益递减。
- 从 P1 到 P2（增加定义和示例）有显著的性能提升（ $\kappa$ 从 0.37 升至 0.42）。
- 进一步增加复杂性（P3, P3+，引入冲突示例和澄清）并未带来统计学显著的改进，甚至在某些情况下导致模型性能下降或混淆。
- 统计检验（Wilcoxon 配对检验）表明，除了 P1 到 P2 的跳跃外，后续提示的改进并不显著。

4. 主要贡献与发现 (Key Contributions & Findings)

负面结果验证：在安全特定的定性分析任务中，LLMs 尚未达到替代人类专家的水平。即使提供了详细的代码本和冲突示例，LLM 仍难以理解安全语境下的细微差别（如区分“调试”一词是作为代码标识符还是自然语言）。
开源模型的优势：令人惊讶的是，在特定任务上，开源模型（DeepSeek, Qwen）的表现优于当时的顶级闭源模型（GPT-5, Claude-4）。
提示工程的局限性：单纯通过增加提示词的长度、复杂度和示例数量（Prompt Engineering），无法弥补模型在深层安全推理能力上的不足。
评估指标的重要性：强调了在稀疏事件（如安全漏洞提及）分析中，必须使用 Cohen's Kappa 或 Heidke Skill Score，否则传统准确率会严重误导结论（实验中传统准确率>75%，但 Kappa 仅为 0.2-0.6）。

5. 意义与未来展望 (Significance & Future Work)

当前定位：LLMs 在安全定性分析中的角色应定位为辅助工具（Assistive），而非自主替代（Autonomous）。它们可以用于生成初步草稿、标记潜在代码或加速低复杂度任务，但必须由人类专家进行最终验证。
未来方向：
- 需要针对特定安全领域进行模型微调（Fine-tuning），而不仅仅是提示工程。
- 开发混合工作流（Hybrid Workflows），结合 LLM 的效率和人类的判断力。
- 在更大规模的数据集和更多样化的安全场景中进行验证。

总结：该论文通过严谨的实验证明，尽管 LLM 在通用任务上表现出色，但在处理需要深层领域知识和上下文推理的安全特定定性数据时，目前仍无法可靠地替代人类专家。盲目依赖 LLM 进行此类标注可能导致严重的分析偏差。