💬 NLP

Prompt Stability Scoring for Text Annotation with Large Language Models

本文通过提出一种名为提示稳定性分数（PSS）的通用框架，解决了大语言模型文本标注对提示变异的脆弱性问题，该框架将传统可靠性指标加以适配以诊断稳定性问题，并包含一个用于实际实现的 Python 软件包。

原作者： Christopher Barrie, Elli Palaiologou, Petter Törnberg

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Christopher Barrie, Elli Palaiologou, Petter Törnberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解读。

核心思想：你的 AI 是否“反复无常”？

想象你雇佣了一位非常聪明但有点神经质的助手，让他把一堆信件分类到“是”和“否”两个信封里。你给了他一条明确的指令：“如果信件提到金钱，就把它放进‘是’的堆里。”

你让他重复这个操作 30 次。

情景 A： 他每次都把相同的信件放入相同的堆中。
情景 B： 第 1 次尝试时，他把一封关于“储蓄”的信放进了“是”的堆里；第 2 次尝试时，他把同一封信放进了“否”的堆里；第 3 次尝试时，他又把它放回了“是”的堆里。

即使这位助手通常都是对的，情景 B 仍然是一个问题。这意味着他的决策是不稳定的。如果你无法信任他在完全相同的指令下保持一致，那么当你稍微改变措辞（例如，“如果信件谈到现金……"）时，你更无法信任他。

这篇论文旨在构建一个测试，以便在你让 AI 助手处理任何实际工作之前，先检查它是稳定的（情景 A）还是反复无常的（情景 B）。

问题所在：AI 对“文字沙拉”过于敏感

作者解释说，大型语言模型（AI）不像计算器那样工作。它们不会在书中查找固定的答案。相反，它们像一个人猜测句子中的下一个词那样，逐个预测下一个词。

正因为如此，以下两点会破坏它们的一致性：

“相同提示”问题： 即使你两次输入完全相同的指令，AI 也可能给出略有不同的答案，因为其计算机大脑中存在微小的、不可见的随机因素（就像背景中发生了一次抛硬币）。
“改写”问题： 如果你只是稍微改变指令——比如把“分类这个”改成“整理这个”——AI 可能会感到困惑并给出完全不同的答案。

论文认为，准确率是不够的。即使 AI 在 90% 的情况下给出了正确答案，但如果你每次微调提示词它都会改变答案，那么你的研究结果就是不可靠的。

解决方案：“提示稳定性评分”（PSS）

作者开发了一个工具（一个名为 promptstability 的 Python 包），它充当你 AI 指令的压力测试。

把它想象成测试一座桥梁：

提示内稳定性（“重复”测试）： 你在相同的数据上对完全相同的指令运行 30 次。该工具会检查：AI 每次给出的答案都一样吗？ 如果答案跳来跳去，说明这座桥梁摇摇欲坠。
提示间稳定性（“改写”测试）： 你取你的指令，让另一个 AI 用 10 种不同的方式重写它（例如，“整理这些”、“分类这些”、“标记这些”）。然后，你在相同的数据上运行所有 10 个版本。该工具会检查：即使词语发生了变化，AI 是否仍然与自己保持一致？

该工具会给你一个分数（称为Krippendorff's alpha，这只是一个 fancy 的说法，意为“一致性评分”）。

高分（接近 1.0）： 太好了！你的指令很稳健。AI 表现一致。
低分（低于 0.8）： 警告！你的指令太脆弱了。措辞的微小变化就会破坏系统。

他们的发现（“压力测试”结果）

研究人员在六个不同的真实世界数据集上测试了这一点（例如美国政治推文、英国政党宣言和新闻文章）。以下是他们的发现：

简单即稳定： 当任务简单且数据清晰时（例如识别推文是来自共和党还是民主党），AI 非常稳定。无论你是否改写提示词，它都会给出相同的答案。
复杂即脆弱： 当任务困难或数据混乱时（例如判断推文是否使用“民粹主义”语言，或将调查答案归类到 12 个非常相似的类别中），AI 变得不稳定。提示词的微小变化会导致 AI 摇摆不定。
“格式”陷阱： 有时 AI 并非真的困惑，它只是忘记了遵循格式规则（例如写了一段话而不是一个数字）。当研究人员过滤掉这些“潦草”的答案后，稳定性评分提高了。这让他们意识到，有时问题不在于 AI 的大脑，而在于它无法遵循严格的格式规则。
模型很重要： 他们将一个强大的 AI（GPT-4）与一个较小的开源模型进行了比较。强大的那个要稳定得多。这意味着“反复无常”并不总是你的错；有时你只需要一个更聪明的 AI。

“实战手册”：你应该怎么做？

这篇论文为研究人员提供了一份简单的指南：

第 1 步：运行稳定性测试。 在你花钱或花时间验证结果之前，先运行 promptstability 工具。
第 2 步：检查分数。
- 如果分数高：你可以放心继续。你的流程是稳健的。
- 如果分数低：停下！暂时不要相信你的结果。
第 3 步：解决问题。
- AI 是否忽略了格式？让提示词更严格。
- 任务是否太模糊？让指令更清晰。
- 数据是否太混乱？也许这个特定任务对 AI 来说太难，无法一致地处理。
- AI 是否太弱？尝试使用更强大的模型。

底线

你不能仅仅因为 AI 给了你一个答案，就假设这个答案是可靠的。这篇论文提供了一份清单，以确保你的 AI 不仅仅是在随机猜测，或者对你的提问方式过于敏感。

稳定性是信任的基石。 如果你的 AI 在你用略微不同的方式提出同一个问题时无法与自己达成一致，那么你就无法信任它为你的研究提供的结果。

技术摘要：大语言模型文本标注的提示稳定性评分

1. 问题陈述

研究人员越来越多地利用大语言模型（LMs）进行文本标注，通常采用零样本或少样本方法，即通过“提示”（prompt） instruct 模型对数据进行分类。尽管这些方法具有可扩展性，但它们引入了一个关键的可信度缺口：LM 的输出往往对提示措辞或随机解码参数的微小、语义等价的变化非常敏感。

现有文献缺乏针对这些流程的常规、自动化可靠性检查。单个提示产生高准确率并不能保证稍微重新措辞的提示会产生相同的标签。如果输出在不同但语义相似的提示或重复运行中发生偏移，则该分类流程是“脆弱的”，这会破坏可重复性并使下游估计不可靠。作者认为，稳定性是准确性和可重复性的必要前提；在微小扰动下不稳定的流程不应进入如人工编码等成本高昂的验证步骤。

2. 方法论

本文提出了提示稳定性评分（Prompt Stability Score, PSS），这是一个自动化的诊断框架，用于量化在受控扰动下标注流程的一致性。该框架将重复的模型运行和语义等价的提示变体视为人类评分者在评分者间和评分者内可靠性研究中的类比。

核心组件

提示内稳定性（Intra-PSS）： 衡量模型在相同提示对相同项目重复运行时的一致性。这捕捉了由解码随机性（例如温度采样）和非确定性硬件执行引起的运行间变异性。
提示间稳定性（Inter-PSS）： 衡量模型在使用语义等价提示变体时的一致性。该框架利用外部改写模型（PEGASUS）在不同解码温度下生成这些变体。低温产生保守的改写，而较高温度则作为压力测试，揭示流程在何处崩溃。

统计操作化

指标： 作者使用Krippendorff's $\alpha$ ( $K\alpha$ ) 作为主要的一致性统计量。这一选择允许处理名义、有序和区间数据，并校正了偶然一致性。
不确定性估计： 采用非参数自举法（bootstrapping）为稳定性估计生成置信区间。
实现： 作者提供了一个开源 Python 包 promptstability，可自动化生成提示变体、执行重复运行并计算稳定性评分。

实验设计

该框架在六个数据集和十二个不同结果上进行了验证，生成了约310 万条标注（约 3 亿个输入 token）。数据集涵盖多样化的社会科学背景（例如美国参议员推文、英国政党宣言、《纽约时报》文章、调查回复），并在以下方面存在差异：

结果复杂性： 二元 vs. 多类 vs. 连续量表；细粒度 vs. 粗略类别。
数据复杂性： 信息丰富 vs. 信息匮乏的输入（例如短文本 vs. 长文本）。
模型能力： 不同大语言模型之间的比较（例如 GPT-3.5、GPT-4o、DeepSeek-R1）。

3. 关键结果

实证分析将不稳定性映射到四个主要来源：标准模糊性、结果复杂性、数据复杂性和模型能力。

一般稳定性模式： 大多数基准任务表现出较高的提示内稳定性（在固定提示下的可重复性），并迅速收敛到高一致性水平。然而，提示间稳定性变化较大；随着提示改写的多样化，稳定性通常会下降。
标准模糊性： 若干任务（例如立场检测、“最重要议题”分类）即使在低改写器温度下，提示间稳定性也迅速下降。这表明编码标准对措辞的微小变化非常脆弱，暗示提示设计模糊或构念定义不明确。
数据和结果复杂性：
- 数据复杂性： 信噪比低的任务（例如从有限的个人资料数据中预测选民选择）即使在固定提示下也表现出较差的稳定性。
- 结果复杂性： 将标签集扩展到更细粒度、重叠的类别（例如 12 个议题类别 vs. 6 个议题类别）会降低稳定性，即使输入数据保持不变。
模型能力： GPT-4o 与 DeepSeek-R1:8b 之间的比较显示，模型选择显著影响稳定性。较小的模型表现出较低的提示内稳定性，且提示间稳定性下降更快，这表明不稳定性可能源于模型局限性，而不仅仅是提示设计。
诊断效用： 作者证明，过滤正确的输出格式（例如移除格式错误的整数）可以区分格式错误和真正的分类不稳定性。对于某些数据集（例如“最重要议题”），过滤解决了不稳定性；而对于其他数据集（例如“合成短文本”），则未能解决，表明存在根本性的任务难度。
成本可行性： 作者估计，在典型样本量上运行这些稳定性诊断的成本在3 美元至 150 美元之间（使用 GPT-3.5），表明该方法是一种可行的早期阶段诊断，而非 prohibitive 的验证步骤。

4. 主要贡献

概念框架： 本文通过评分者间和评分者内可靠性的视角重新构建了 LM 标注可靠性，将“提示稳定性”定义为可重复性所必需的独特、可测量的属性。
自动化诊断工具： 引入**提示稳定性评分（PSS）**及配套的 promptstability 包，为研究人员提供了一种标准化的自动化方法，以便在投入真实值验证之前对标注流程进行压力测试。
实证特征描述： 通过在 12 个结果和 6 个数据集上进行测试，本文大规模地描述了基于提示的流程何时稳定、何时脆弱，并确定了与数据信号、标签粒度和模型选择相关的具体故障模式。
实用操作指南： 作者提供了一份"PSS 操作指南”用于解读结果，建议研究人员根据稳定性评分何时细化提示、澄清构念、切换模型或调整解码设置。

5. 意义与主张

本文主张，单个提示产生的高准确率不足以保证可重复性。如果标注流程对微小扰动（改写或重复运行）是脆弱的，那么无论模型的平均表现如何，任何下游估计都将继承这种脆弱性。

作者将 PSS 定位为真理或准确性的衡量标准，而是有效性的前提条件。他们主张研究人员应将稳定性诊断视为研究工作流程中的必要早期步骤。低 PSS 是一个警告，提示研究人员在投入资源进行昂贵的验证程序之前，应重新审视提示措辞、构念定义、数据质量或模型选择。本文得出结论：虽然稳定性不能保证正确性，但它是构建可重复的基于 LM 的社会科学研究所必须的基础。