💬 NLP

Researchers waste 80% of LLM annotation costs by classifying one text at a time

该研究证明，通过批量处理和变量堆叠策略，研究人员可在不显著降低编码质量的前提下，将大语言模型文本分类的 API 调用次数和成本减少 80% 以上。

原作者： Christian Pipal, Eva-Maria Vogel, Morgan Wack, Frank Esser

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Christian Pipal, Eva-Maria Vogel, Morgan Wack, Frank Esser

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给研究人员提供一份"省钱又高效的 AI 使用指南"。

想象一下，你是一位社会科学研究者，手里有 10 万条推特（Twitter）帖子，你需要让 AI 帮你给这些帖子打标签（比如：这是关于什么的？是支持还是反对？有没有解决问题？）。

🚫 过去的做法：像“单点外卖”一样浪费钱

以前，大家用大语言模型（LLM）做这件事时，习惯像点单点菜一样：

把一条推文发给 AI。
问 AI 一个问题（比如：“这条推文支持 230 条款吗？”）。
等 AI 回答完，再发下一条，再问下一个问题。

这就好比：你饿了，去餐厅点菜。你点一个菜，服务员跑一趟厨房，端上来，你吃完；再点下一个菜，服务员又跑一趟。

后果：如果你要处理 10 万条数据，涉及 4 个不同的问题，你就需要叫服务员跑 40 万次！
代价：这不仅慢，而且极其昂贵。论文说，这种传统做法浪费了 80% 的预算。

✅ 新的发现：像“拼单”和“打包”一样聪明

研究人员（Christian Pipal 等人）做了一个大胆的实验，他们问：如果我们一次把很多条推文打包发给 AI，并且一次问它好几个问题，会发生什么？

他们把这种做法称为"批量处理"（Batching）和"变量堆叠"（Variable Stacking）。

1. 批量处理（Batching）：一次送一大盘菜

做法：不再一次发 1 条推文，而是把 25 条 甚至 100 条 推文打包在一起，一次性发给 AI。
比喻：就像你不再让服务员跑一趟端一个菜，而是直接点了一桌菜（25 个菜），让服务员一次性端上来。
结果：
- 省钱：API 调用次数从 40 万次降到了 4 千次，成本直接砍掉 80% 以上。
- 质量：神奇的是，只要一次发的数量在 100 条以内，AI 的准确率几乎没有下降！就像服务员端来 25 个菜，每个菜的味道和单独端上来时一样好。

2. 变量堆叠（Variable Stacking）：一次问所有问题

做法：以前是问完“支持吗？”，再发一条问“是什么话题？”。现在，在同一个请求里，一次性问 AI 这 25 条推文的所有 4 个问题（相关性、立场、话题等）。
比喻：以前是问：“这道菜辣吗？”（等回答）“这道菜贵吗？”（等回答）。现在是直接问服务员：“这桌菜里，哪些辣？哪些贵？哪些是素食？”
结果：
- 只要一次问的问题不超过 10 个，AI 依然能回答得很准确。
- 关键点：准确率下降不是因为“问题太多”或者“文字太长”，而是因为任务本身太复杂。就像让服务员同时记住 20 个菜的特殊要求确实很难，但如果只是记住 10 个，完全没问题。

🧪 实验细节：他们是怎么测试的？

研究人员找了 8 个 目前最火的 AI 模型（来自 OpenAI、Google、Anthropic 等公司），用 3962 条 已经由人类专家打好标签的推文做测试。

测试范围：他们尝试了一次发 1 条到 1000 条不等的数量，也尝试了一次问 1 个问题到 25 个问题。
发现：
- 大多数模型在“一次发 100 条”时，表现依然完美。
- 只有少数几个特定的模型（比如 OpenAI 的某些“推理型”小模型）在数量太大时“晕头转向”，准确率暴跌。
- 结论：只要选对模型，并且控制好在“安全范围”内（一次 25-100 条，一次问 10 个问题），省下的钱比 AI 可能犯的一点点小错误还要多得多。

💡 这对普通人意味着什么？

这篇论文告诉我们要打破思维定势：

不要“单线程”工作：在让 AI 处理大量数据时，不要一条一条地发，要打包发送。
不要“单问单答”：不要一个问题一个问题地问，要把问题列个清单一次性问清楚。
安全区：只要你的批量大小在 100 以内，问题数量在 10 个以内，你就在“安全区”里。在这个范围内，AI 的准确率几乎和人类专家一样稳，但成本却只有原来的 20%。

一句话总结：
以前用 AI 做研究像是在用金条买面包（一次只买一个，还贵）；这篇论文告诉你，其实可以像去超市批发一样（一次买一袋，便宜又高效），而且买回来的面包味道完全一样好。

这是一篇关于大语言模型（LLM）在社会科学研究中进行文本分类时，如何通过优化提示工程（Prompt Engineering）来大幅降低成本的技术论文总结。

1. 研究问题 (Problem)

当前社会科学研究广泛使用 LLM 进行自动化内容分析（如分类社交媒体帖子、新闻或学术文本）。然而，现有的实施惯例存在严重的效率低下问题：

保守的调用模式：研究人员通常采用“一次一个文本、一个变量、一个提示（Prompt）”的模式。
成本高昂：这种模式导致 API 调用次数和 Token 消耗呈线性甚至指数级增长。例如，对 10 万条文本进行 4 个变量的分类，需要 40 万次 API 调用。
未经验证的假设：虽然计算机科学领域已知小批量（Batching）和多任务（Multi-task）推理在技术上可行，但在社会科学的代码本驱动（Codebook-driven）分类场景中，**批量处理（Item Batching）和变量堆叠（Variable Stacking）**是否会降低编码质量，以及两者的影响是否会产生叠加效应，此前缺乏系统性验证。

2. 方法论 (Methodology)

研究团队设计了一项大规模实验，系统测试了不同批量大小和变量堆叠数量对 8 种主流生产级 LLM 的影响。

数据集：使用了 Gilardi 等人 (2023) 的复制数据，包含 3,962 条 经过专家人工标注的推文（关于内容审核），涵盖四个变量：相关性（二分类）、问题/解决方案（三分类）、立场（三分类，针对第 230 条）、主题（六分类）。
模型：测试了来自 4 个提供商的 8 种 LLM：
- Anthropic: Claude Haiku 4.5
- OpenAI: GPT-5-mini, GPT-5-nano (推理模型，温度锁定为 1)
- Google: Gemini 3 Flash, 3.1 Flash-Lite, 2.5 Flash-Lite
- Alibaba: Qwen 3.5 Plus, 3.5 Flash
实验设计：
- 研究 1（批量大小测试）：将批量大小（ $b$ ）从 1 变化到 1000（共 9 个水平：1, 5, 10, 25, 50, 100, 250, 500, 1000），每次提示仅编码一个变量。
- 研究 2（变量堆叠测试）：在固定批量大小（ $b=25$ ）下，测试同时编码的变量数量（ $k$ ），分别为 4（真实变量）、10（4 真实 +6 虚拟）、25（4 真实 +21 虚拟）。
- 控制变量：设置了“提示长度控制组”，即提示长度与 $k=25$ 相同，但仅包含 4 个真实变量（其余为填充文本），以区分是“任务复杂度”还是“提示长度”导致了性能下降。
评估指标：主要指标为准确率（Accuracy），辅以 95% 自助法置信区间（Bootstrap CIs）。

3. 关键贡献 (Key Contributions)

首次系统性验证：填补了 LLM 在社会科学研究中批量处理和变量堆叠应用的实证空白。
量化成本与质量的权衡：明确了在保持高质量的前提下，可以安全使用的批量大小和变量堆叠上限。
揭示性能下降机制：证明了性能下降主要源于任务复杂度（同时管理多个分类方案），而非提示长度（Token 数量）。
提供最佳实践指南：为研究人员提供了具体的参数建议，使大规模文本分析项目在保持统计效力的同时大幅降低成本。

4. 主要结果 (Key Results)

A. 批量处理 (Item Batching)

安全范围：对于大多数模型（6/8），在批量大小 $b \le 100$ 时，准确率相对于单条基准（ $b=1$ ）的下降幅度 小于 2 个百分点 (pp)。
成本节约：在 $b=25$ 时，Token 成本可降低 80% 以上。
模型差异：
- Claude Haiku 4.5 表现最稳健，所有批量大小下最大准确率下降仅为 1.1 pp。
- Google 和 Alibaba 模型 在 $b=1000$ 时下降 3-4 个百分点。
- OpenAI 推理模型 (GPT-5-nano, GPT-5-mini) 在 $b \ge 250$ 时表现崩溃，准确率下降 27-36 个百分点，且出现大量解析失败（Parse failures）。这可能是因为推理模型无法在温度 0 下运行，且难以处理长上下文中的多任务指令。
变量敏感性：不同变量对批量的敏感度不同。“相关性”最敏感，但绝对准确率仍保持在 83% 以上；“主题”分类甚至在大批量下准确率有所提升（可能是共现推文提供了分布信息，辅助了类别边界校准）。

B. 变量堆叠 (Variable Stacking)

安全上限：堆叠 $k \le 10$ 个变量时，结果与单变量基准相比，准确率下降在 2.2 pp 以内（GPT-5-nano 除外）。
堆叠上限：堆叠至 $k=25$ 时，7 个模型中的 6 个准确率下降在 1.6–6.1 pp 之间。
交互效应：批量处理和变量堆叠的影响是加性的，而非乘性（即不会相互放大负面效应）。
控制组发现：当提示长度与 $k=25$ 相同但任务复杂度低（仅 4 个变量）时，模型表现与 $k=4$ 相当。这证实了性能下降是由任务复杂度（同时管理多个分类方案）引起的，而非 Token 数量过多。

C. 误差对比

在安全操作范围内（ $b=25, k=10$ ）引入的测量误差，小于地面真值数据中人类编码员之间的不一致性（Inter-coder disagreement，通常在 6–21% 之间）。这意味着效率提升带来的误差在社会科学领域可接受的范围内。

5. 意义与启示 (Significance)

经济可行性：对于大规模项目（如 10 万条推文，4 个变量），采用 $b=25$ 和全变量堆叠策略，可将成本从约 337 美元（中端模型）降至 50 美元以下（甚至低于 10 美元使用预算模型）。
方法论规范：呼吁研究者在报告 LLM 研究时，必须像报告模型名称和提示词设计一样，报告批量大小和变量堆叠配置。
实践建议：
- 推荐批量大小设置为 25–100。
- 推荐变量堆叠数量设置为 10 以内。
- 避免使用 OpenAI 的推理模型（如 GPT-5-nano）进行大批量处理，除非能解决其温度限制和解析问题。
- 模型选择（Model Choice）对结果的影响远大于批量大小的选择。
局限性：研究基于短英文推文和特定领域。对于长文档、其他语言或更复杂的任务，结果可能需要进一步验证。

总结：该论文证明了通过合理的批量处理和变量堆叠，研究人员可以在几乎不牺牲数据质量的前提下，将 LLM 文本分类的成本降低 80% 以上，从而极大地推动了大规模计算社会科学研究的可行性。