🤖 AI

OLAF: Towards Robust LLM-Based Annotation Framework in Empirical Software Engineering

本立场论文提出了 OLAF，这是一个将基于大语言模型（LLM）的标注视为经验软件工程中严谨测量过程的概念框架，通过定义可靠性、校准度和漂移等关键构建模块来增强透明度与可复现性。

原作者： Mia Mohammad Imran, Tarannum Shaila Zaman

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mia Mohammad Imran, Tarannum Shaila Zaman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图整理一个堆满凌乱手写笔记的海量图书馆。在过去，你会雇佣一个图书管理员团队来阅读每一条笔记，决定它属于哪个类别（比如“缺陷报告”、“功能请求”或“垃圾信息”），然后在上面贴上标签。这既慢又贵，而且两个管理员对同一条笔记的判断也可能不一致。

现在，想象你雇佣了一个超级聪明的机器人（AI 或大语言模型）来为你做标注工作。它既快又便宜。但问题在于：这个机器人是真的在做好工作，还是仅仅在瞎猜？

这篇题为 OLAF 的论文认为，我们不应该再把这些机器人当作只会“完成任务”的魔术黑盒。相反，我们需要将它们视为科学测量工具，就像温度计或秤一样。如果你用秤来称量蛋糕的配料，你需要知道这个秤是否准确，它是否会随时间发生漂移，以及每次使用时是否能给出相同的结果。

以下是该论文思想的拆解，使用了简单的类比：

1. 问题所在：“魔术黑盒”陷阱

目前，许多研究人员使用 AI 来标注数据，但他们并不告诉我们具体是怎么做的。

类比： 想象一位面包师说：“我用了一个特殊的烤箱来烤这个面包。”但他没有告诉你温度、时间和烤箱的品牌。如果你尝试烤同样的面包，它可能会变得焦黑或还没熟透。
现实情况： 研究人员经常忘记提及一些微小的细节，比如他们输入给 AI 的确切词句（即“提示词/Prompt”）、特定的 AI 版本，或者他们使用的设置。因此，其他人无法重复他们的实验，也无法验证是否能得到相同的结果。

2. 解决方案：OLAF（“质量控制”框架）

作者提出了一个名为 OLAF 的新框架。你可以把 OLAF 想象成一个质量控制清单，在你信任机器人的标签之前，你必须使用它。它将 AI 视为一种需要进行校准的测量仪器，而不是一个单纯的劳动者。

OLAF 要求你检查六个特定的维度（构念）：

可靠性 (Reliability) —— “一致性”检查： 如果你要求机器人对同一条笔记进行五次标注，它是否会给出相同的答案？还是会反复无常？
共识度 (Consensus) —— “集体拥抱”检查： 如果你使用三个不同的机器人，它们会对同一个标签达成一致吗？如果它们都说是“缺陷”，那信号就很强；如果它们意见不一，说明这项任务可能太令人困惑了。
聚合度 (Aggregation) —— “投票”系统： 你如何结合这些答案？是简单地采取多数票？还是使用一种高级的数学公式来判断哪个机器人更可靠？
透明度 (Transparency) —— “收据”检查： 你是否记录了一切？机器人的名称、版本号、你输入的精确词句？如果没有这份“收料单”，你的工作对他人来说是毫无意义的。
校准度 (Calibration) —— “信心”检查： 如果机器人说“我有 99% 的把握这是个缺陷”，那么它实际上是否真的在 99% 的情况下都是正确的？还是它只是过度自信了？这用于检查机器人的信心是否与现实相符。
漂移度 (Drift) —— “移动的球门”检查： AI 模型会随时间发生变化。一个今天表现完美的机器人，下个月可能会因为公司更新了软件而表现得完全不同。OLAF 用于检查机器人的行为是否发生了意外的“漂移”或改变。

3. 如何使用机器人（六种配置）

论文还解释说，你不一定非要让机器人完成所有工作。它提出了六种人类与机器人混合使用的方案，就像不同的食谱一样：

人机协同 (Human-in-the-Loop)： 机器人进行第一轮标注，但人类会复核那些机器人拿不准的部分。（就像学生做作业，老师负责批改难题）。
模型协同 (Model-in-the-Loop)： 机器人提出一个答案，然后由另一个机器人或人类进行检查。
校验者协同 (Verifier-in-the-Loop)： 第二个机器人充当“裁判”，在人类看到结果之前，先检查第一个机器人的答案是否合格。
过滤器 (Filter)： 机器人快速剔除明显的垃圾内容（如垃圾邮件），这样人类就只需要关注重要的内容。
评判者 (Judge)： 机器人充当裁判，根据一套规则对其他 AI 的工作进行评分。
标注者 (Annotator)： 机器人独自完成整个工作。（这很快，但如果机器人犯错，风险也很大）。

4. 局限性

作者承认，这还不是一个完美的解决方案。

类比： 如果你不知道温度计是如何制造的，或者工厂每周都在更改设计，你就无法完全信任这个温度计。
现实情况： 许多流行的 AI 模型（例如来自大型科技公司的模型）都是“黑盒”。我们不知道它们的训练数据，而且它们可能会在不告知的情况下发生变化。OLAF 试图衡量它们的稳定性，但它无法保证它们明天不会发生改变。

总结

这篇论文的核心观点是：“停止将 AI 标注视为魔法，开始将其视为科学。”

如果你想在软件工程中使用 AI 来标注数据，你需要一个框架（OLAF），迫使你去检查 AI 是否具有一致性，它是否诚实地表达了自己的信心，以及你是否详细记录了使用过程。否则，你的研究结果可能是不可靠的，就像是用一个未经测量的烤箱烤出来的蛋糕。

技术摘要：OLAF —— 构建经验软件工程中稳健的基于 LLM 的标注框架

问题陈述
经验软件工程（ESE）日益依赖大语言模型（LLM）来自动化或辅助标注任务，例如标记缺陷报告、分类提交意图或识别自我承认的技术债。然而，这些实践的方法论严谨性仍处于欠发达状态。目前的研究通常将基于 LLM 的标注视为一种纯粹的自动化活动，而非一个测量过程，这导致了几个关键性的差距：

缺乏标准化： 在 LLM 标注研究中，缺乏关于可靠性、校准度或漂移性的标准化度量标准。
报告碎片化： 关键配置细节（如提示词模板、解码参数、模型版本）经常被遗漏，阻碍了研究的可复现性。
配置敏感性： 提示词、温度设置或模型更新的微小变化都可能剧烈改变结果（这种现象被称为“提示词漂移”或“LLM 操控”），但这些敏感性却很少被量化。
定义不明： 诸如“标签准确度”等抽象概念缺乏将其与可测量程序相联系的形式化操作定义，从而威胁到构念效度、内部效度和外部效度。

方法论与框架 (OLAF)
本文提出了 OLAF（面向 LLM 标注的操作化框架）。OLAF 并非提供一种新的算法或特定的实验结果，而是一个概念性框架，旨在将 LLM 标注视为一个可测量、可审计的过程。它通过六个关键构念将标注操作化，并将这些构念映射到特定的指标和报告重点上（总结于论文中的表 1）：

标注者可靠性 (Annotator Reliability)： 使用经机会校正的统计量（如 Cohen's $\kappa$ , Gwet's AC1, Krippendorff's $\alpha$ ）来衡量个体标注者（人类或模型）之间的一致性。
共识 (Consensus)： 反映群体层面的协议，以确定标注者是趋向于共同判断，还是任务本身具有内在的歧义性。
聚合 (Aggregation)： 定义了将多个标注者合并为一个单一标签的方法，特别区分了概率聚合（如 Dawid–Skene, GLAD, MACE）与多数投票。
透明度 (Transparency)： 要求完整记录模型标识符、参数、提示词和设置（遵循 Datasheets 和 Model Cards 等实践），以确保可复现性。
校准 (Calibration)： 通过将预测概率与经验准确度进行比较，评估预测概率的正确性，使用指标包括期望校准误差 (ECE) 和 Brier 分数。
漂移 (Drift)： 通过测量模型行为在提示词或上下文变化下的稳定性来捕捉行为变化，通过激活距离（L2, 余弦相似度）、输出分布指标（Jensen-Shannon 散度）或提示词敏感性指数 (POSIX) 进行量化。

该框架还对六种常见的标注工作流进行了分类（表 2），以将这些指标置于具体语境中：

人机协同 (Human-in-the-Loop, HitL)
模型/LLM 协同 (Model-in-the-Loop, MitL)
验证者协同 (Verifier-in-the-Loop, VitL)
LLM 作为预筛选过滤器 (LLM-as-a-Pre-screen-Filter)
LLM 作为评判者 (LLM-as-a-Judge, LLMaaJ)
LLM 作为标注者 (LLM-as-an-Annotator)

核心贡献

概念转变： 本文主张将 LLM 标注从一项自动化任务重新定义为一种测量过程，需要具备与传统代码度量相同的验证严谨性。
操作定义： 它为专门针对软件工程领域 LLM 标注的可靠性、共识、漂移和校准提供了首个结构化的操作定义集。
实践指南： 作者为研究人员提供了具体的指导方针，包括：
- 明确声明标注配置（例如，是 HitL 还是 LLM-as-an-Annotator）。
- 记录完整的模型和提示词详情。
- 根据观察到的协议程度选择合适的聚合方法。
- 使用固定的校准子集实现漂移追踪（例如，当参数发生变化时，重新标注 50–100 个由专家标记的项目）。
资源提供： 作者建立了一个配套网站 (se-llm-annotation-olaf.github.io)，提供详细的指南和示例。

结果与主张
作为一篇立场论文，OLAF 并不呈现用于验证其框架有效性的新实验数据或经验结果。相反，其“结果”是对现有文献（引用了 Ahmed 等、Baumann 等、Wagner 等人的著作）的综合，以展示当前研究在严谨性上的缺失。

本文主张：

由于可靠性和校准度定义不明，当前的 LLM 标注实践在安全关键型或合规敏感型场景中是不充分的。
所提出的六个构念为可复现研究提供了必要的基石，允许研究人员根据其特定任务选择相关的维度（例如，确定性任务可能不需要全部六个维度）。
该框架承认局限性，特别是对于训练数据和更新计划不透明的专有模型（如 GPT, Claude），实现“受限稳定性”比实现确定性行为更现实。

意义
OLAF 的意义在于其提升经验软件工程方法论标准的潜力。通过提供结构化的词汇和测量方法，它旨在：

激发关于 LLM 生成标签之有效性的方法论讨论。
使未来的经验研究更具透明度和可复现性。
防止 LLM 标注的“黑盒”性质破坏软件工程研究结论的有效性。

作者将 OLAF 定位为初步步骤，计划未来通过实证评估该框架对可复现性的影响，并开发特定于软件工程的操作实例。

1. 问题所在：“魔术黑盒”陷阱

2. 解决方案：OLAF（“质量控制”框架）

3. 如何使用机器人（六种配置）

4. 局限性

总结

技术摘要：OLAF —— 构建经验软件工程中稳健的基于 LLM 的标注框架

类似论文