💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

本文表明，将上下文学习扩展到数百个示例能够使大语言模型在命名实体识别任务中达到或超越全监督的 BERT 性能，同时也能作为一个有效的数据标注框架，显著提升低资源命名实体识别模型的性能。

原作者： Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：通过展示示例来教机器人阅读

想象你有一个非常聪明的机器人（大语言模型，简称 LLM），它虽然懂得如何阅读，但从未被专门教过如何在句子中寻找人名、地名或组织机构名。通常情况下，为了教会机器人这项技能，你必须雇佣一个由人类教师组成的团队来编写数千个示例，并对它们进行完美的标注，然后花费数周时间在这些示例上进行“训练”。这既昂贵又缓慢。

这篇论文提出了一种不同的方法：与其只说，不如展示（Show, Don't Just Tell）。

研究人员并没有重新训练机器人的大脑，而是简单地在机器人阅读新句子之前，向它展示数百个示例。这被称为上下文学习（In-Context Learning, ICL）。论文提出了一个问题：如果我们不只给机器人看 5 个例子，而是同时展示 100 个、200 个甚至 500 个例子，会发生什么？

主要发现：示例越多 = 机器人越聪明

研究人员发现了一个令人惊讶的趋势：展示给机器人的示例越多，它的表现就越好。

旧方法（少样本学习/Few-Shot）： 给机器人看 5 个例子就像是给学生一张快速参考的小抄。这很有帮助，但学生仍然会犯错。
新方法（多样本学习/Many-Shot）： 给机器人看 100 多个例子就像是在考试前给学生一整章教科书来学习。机器人不仅仅是“猜”得更准了；它对模式的学习如此透彻，以至于其表现甚至优于那些在数千个由人工标注的示例上训练了数周的机器人。

类比： 把机器人想象成一名新员工。

微调（旧方法）： 你雇佣一名培训师，花一个月的时间教员工工作的每一项规则。
多样本上下文学习（新方法）： 你让员工坐下来，递给他一叠 100 份填好的表格，并说：“看看这些是怎么做的，然后填写这一份新的。”员工无需经过一个月的培训，就能立刻掌握窍门。

问题所在：机器人运行缓慢且成本高昂

虽然“多样本（Many-Shot）”方法在获取答案方面效果极佳，但它有一个弊端。每当你想要机器人阅读一个新的句子时，你都必须再次把那 100 多个示例喂给它。

类比： 这就像是请一位图书管理员找书。如果你每次问他要找哪本书时，都必须递给他一本 100 页的历史书，那么这不仅耗时，而且成本很高。你无法在处理成千上万份文档时实时这样做。

解决方案：“标注工厂”（ICA）

为了解决速度和成本问题，研究人员构建了一个名为**上下文标注（In-Context Annotation, ICA）**的框架。

他们不是让机器人在实时处理文档时进行阅读，而是将其作为一名离线工厂工人。

准备阶段： 他们给了机器人大约 100 个由人工标注的示例作为“种子”（这个“种子”就像是蓝图）。
工厂运作： 机器人利用这 100 个种子来阅读数千份未标注的文档，并自行进行标注。
质量控制： 有时机器人会犯错。研究人员增加了一个“质量控制”步骤，让机器人检查自己的工作、修正错误，并对最佳答案进行投票（就像是一个机器人委员会在互相评审）。
结果： 现在他们拥有了一大堆高质量的、已标注的数据。
部署： 他们利用这些新数据来训练一个小型、快速、廉价的机器人（例如 BERT）。

类比：

第一步： 你雇佣一名高薪、动作缓慢的专家（大型 LLM）来标注 2,000 份文档。你给了他们一些示例作为开端。
第二步： 专家完成了工作，反复检查自己的错误，最后交给你一份完美的数据库。
第三步： 你解雇了这位昂贵的专家。你利用这个完美的数据库，教一名快速、廉价的实习生（小型 BERT 模型）如何胜任这份工作。
第四步： 现在，当你需要阅读新文档时，你使用的是那位快速、廉价的实习生。它是即时的，而且几乎不需要成本。

用通俗语言总结的关键发现

规模化有效： 展示给大机器人的示例越多，它就越聪明。在 100 个示例左右时，它达到了一个“甜点位（Sweet Spot）”，此时它的准确度变得极高。
人工投入极低： 你只需要大约 100 个人工标注的示例就能让整个系统运转起来。与通常需要的数千个示例相比，这只是极小的工作量。
超越顶尖水平： 在低资源任务中，利用“工厂制造”的数据训练出的小型机器人，表现比目前最优秀的方法还要高出约 10%。
精炼至关重要： “质量控制”步骤（即机器人修正自身错误的过程）至关重要。具体而言，一种被称为“错误感知精炼（Error-Aware Refinement）”的方法（即教机器人去寻找特定类型的错误，如“缺失名称”或“错误名称”）带来了最大的提升。

总结

这篇论文表明，我们不需要花费数月时间在海量数据集上训练机器人。相反，我们可以将一个强大、聪明的机器人作为一个临时的老师。通过向它展示数百个示例，它可以为一个小巧、快速的机器人生成高质量的训练数据。这个小型的机器人随后成为了我们在现实世界中真正使用的工具，让我们能以极少的人力投入和极低的成本，获得极高的性能。

技术摘要：通过多样本上下文学习实现命名实体识别的性能扩展与低资源标注

问题陈述

命名实体识别（NER）是一项基础的信息抽取任务，传统上依赖于需要大量人工标注数据的全监督模型（例如微调后的 BERT）。虽然大语言模型（LLMs）通过无需参数更新的上下文学习（In-Context Learning, ICL）提供了一种极具前景的替代方案，但先前的研究表明，在标准的少样本（few-shot）设置下，LLMs 的表现往往逊于监督学习基准模型。此外，现有的针对 NER 的 ICL 研究主要集中在少样本场景（通常少于 100 个示例），而将规模扩展到数百个演示（即“多样本 ICL/many-shot ICL”）的潜力尚未得到充分探索。此外，使用 LLMs 进行实时推理通常计算成本高昂且速度缓慢，限制了其在资源受限环境中的实际部署。

方法论

1. 用于 NER 的多样本上下文学习 (ICL)

作者将 NER 表述为一个条件生成问题，即模型生成一种 XML 风格的标注输出（例如 <entity type="Location">Canada</entity>）。这种格式明确标记了实体的边界和类型，提高了对边界的敏感性。

扩展实验： 研究评估了七种 LLMs（包括 Qwen-2.5、LLaMA-3.1、GPT-4o 和 DeepSeekV3）在四个领域（MIT-Restaurant、MIT-Movie、CoNLL2003、WNUT 2017）上的表现。
演示策略： 对比了两种选择上下文示例的策略：
- 随机采样 (Random Sampling)： 对所有测试输入重复使用固定的 $k$ 个示例。
- 基于检索 (Retrieval-Based)： 使用 BM25 为每个测试输入动态检索前 $k$ 个相似示例。
观察结果： 随着演示数量从 0 增加到 500，性能持续提升；其中，基于检索的方法较早达到平台期（约 100 个示例），而随机采样在 500 个示例时仍显示出稳步增长。

2. 上下文内标注 (ICA) 框架

为了解决 LLMs 的推理成本问题，作者提出不将多样本 ICL 作为直接的推理引擎，而是将其作为一种离线数据标注工具，用于训练高效的小型模型（如 BERT）。

工作流：
1. 种子数据 (Seed Data)： 使用少量人工标注的示例（例如 100 个）作为固定的上下文演示。
2. 标注 (Annotation)： 利用这些演示，由 LLM 标注大规模无标签语料库（例如 2,000 个句子）。
3. 精炼 (Refinement)： 为了提高质量，对低置信度的样本应用了三种策略：
  - 自一致性 (Self-Consistency)： 通过多种演示顺序进行多次预测，并通过多数投票进行聚合。
  - 自我修正 (Self-Correction)： 提示 LLM 审查并修改其自身的输出。
  - 错误感知精炼 (Error-Aware Refinement, EAR)：* 一种模块化方法，使用三个不同的提示按顺序纠正特定类型的错误：虚假实体、缺失实体和错误的实体类型。
4. 下游训练 (Downstream Training)： 使用精炼后的高质量标注数据来微调基于 BERT 的 NER 模型。

3. 实验设置

数据集： ICA 框架在 CrossNER 基准测试（涵盖 AI、文学、音乐、政治、科学）的低资源设置（100–200 个人工标注种子）下进行了评估。
基准模型 (Baselines)： 对比对象包括传统的数据增强方法（DAGA、NERDA）、基于 LLM 的增强方法（ProgGen）以及最先进的低资源/跨领域 NER 方法（如 DTrans-MPrompt、GLiNER）。

关键结果

多样本 ICL 性能

扩展效应： 增加上下文示例的数量会导致单调的性能提升。当拥有大约 100–500 个示例时，LLMs 取得的性能可以媲美甚至超过在数千个样本上训练的全监督 BERT 模型。
效率： 使用数百个示例的随机采样能产生具有竞争力的结果，其表现接近于更昂贵的基于检索的方法，同时所需的标注工作量更少。

ICA 框架性能

优于 SOTA： 在 CrossNER 基准测试中，ICA 框架（特别是结合 EAR 时）相比以往最先进的低资源方法，平均绝对 F1 值提升了约 10 个百分点。
与直接 ICL 的比较： 将 LLM 预测转化为 BERT 的训练数据，其表现比直接的多样本 ICL 推理 (ICL-MS) 高出 5 个以上的 F1 点，证明了将 LLM 知识蒸馏到高效模型中的价值。
精炼的影响： 错误感知精炼 (EAR) 策略通过显式处理常见的标注错误，始终优于其他变体，平均增加了 1.79 个 F1 点。
数据效率： 该方法仅需约 100 个人工标注的种子示例即可生成约 2,000 个标注样本，显著降低了人工标注成本。

需求分析

标注规模： 性能在标注约 1,500–2,500 个句子后趋于饱和；增加更多数据会带来收益递减。
种子大小： 大约 75–100 个人工标注的示例足以引导有效的 ICA；超过此数量带来的收益微乎其微。
模型选择： 较大的模型（如 GPT-4o、Qwen-72B）比较小的模型（如 Qwen-7B）能产生更高质量的标注，尽管规模化后的开源模型也具有竞争力。

意义与贡献

本文做出了四个主要贡献：

实证研究： 首次对 NER 的多样本 ICL 进行了系统性的调查，证明了在多个数据集和模型上，性能会随着演示数量的增加而持续提升。
框架提议： 提出了上下文内标注 (ICA) 框架，该框架利用适量的人工标签来生成用于高效下游模型的优质训练数据，从而实现了 LLM 推理成本与部署的解耦。
实验验证： 实验表明，ICA 显著优于现有的 SOTA 低资源 NER 方法（提升约 10 个 F1 点）以及传统的数据增强技术。
可扩展性分析： 研究为种子数据规模、标注量与模型选择之间的权衡提供了实用的见解，确立了多样本 ICL 是构建资源受限领域 NER 数据集的有效且具有成本效益的范式。

作者总结道，尽管在需要种子标签和标注阶段的计算开销方面存在局限性，但 ICA 框架为降低 NER 任务中的标注成本并提高数据效率提供了一个切实可行的解决方案。