💬 NLP

PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data

PIAST 提出了一种利用蒙特卡洛沙普利值估计来迭代优化少样本示例的自动提示构建算法，通过数据增强在有限的计算预算下实现了优于现有方法的性能，并证明了精心构造的示例比穷尽指令搜索更能提升大语言模型在数据稀缺场景下的表现。

原作者： Pawel Batorski, Paul Swoboda

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Pawel Batorski, Paul Swoboda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 PIAST 的新方法，它的核心目标是：让大语言模型（LLM）在“没怎么学过”的情况下，也能通过“聪明的提示词”变得非常聪明，而且速度快、省资源。

为了让你更容易理解，我们可以把大语言模型想象成一个才华横溢但有点“死脑筋”的超级厨师。

1. 核心问题：厨师需要“菜谱”和“样菜”

现状：这个厨师（大模型）虽然懂很多，但如果你只给他一句简单的指令（比如“做一道红烧肉”），他可能做出来的味道很一般，甚至翻车。
传统做法：为了让厨师做出顶级美味，人类大厨（研究人员）通常需要花费大量时间，精心挑选几道“样菜”（Few-shot examples）放在指令后面，告诉厨师：“看，像这样做的才好吃。”
- 痛点：人工挑选样菜太累了，而且很难挑出完美的。如果挑错了，厨师就会做出一锅黑暗料理。
现有自动方法：以前的自动化工具要么像“无头苍蝇”一样乱试（耗时极长），要么只能从现有的数据库里死板地找样菜（不够灵活）。

2. PIAST 的解决方案：一个“极速试菜员”

PIAST 就像是一个拥有超能力的“极速试菜员”。它不需要人类大厨亲自去挑菜，而是自己快速生成样菜，并不断尝试、淘汰、替换，直到找到最完美的组合。

它的工作流程可以用三个步骤来比喻：

第一步：疯狂“试菜” (Example Proposer)

试菜员先根据任务（比如“写个好评”或“解数学题”），快速生成一堆全新的、从未见过的样菜。

比喻：就像厨师刚进厨房，试菜员先随手切了 10 种不同风格的肉块，摆成一排。

第二步：残酷的“淘汰赛” (Prompt Evaluator & Shapley Values)

这是 PIAST 最聪明的地方。它不会盲目地保留所有样菜，而是用一种叫**“沙普利值” (Shapley Values)** 的数学工具来给每道菜打分。

比喻：想象你在吃一桌菜。试菜员会问：“如果去掉这道菜，整桌饭的味道会变差多少？”
- 如果去掉某道菜，味道没变，说明这道菜是多余的（Drop/丢弃）。
- 如果去掉某道菜，味道大减，说明这道菜是灵魂（Keep/保留）。
- 如果去掉某道菜，味道反而变好了（说明它拖后腿了），那就必须换掉（Replace/替换）。
创新点：以前的方法可能只是随机换菜，而 PIAST 像是一个精算师，精准地算出哪道菜贡献最大，哪道菜是“混子”。

第三步：快速“迭代” (The Loop)

试菜员把“混子”菜踢走，从新切好的菜里挑一道更好的补上去，然后再次评估。这个过程会重复很多次，但速度极快。

加速秘籍：为了不让这个过程太慢，PIAST 用了几个“作弊”技巧：
- 记忆缓存：就像厨师记住了前几道菜的切法，后面不用重新切，直接复用（KV-cache）。
- 回放缓冲：它会把之前测试过的“好菜”记在小本本上，防止新菜只适应当下的口味，而忘了之前的标准（Replay Buffer）。

3. 为什么 PIAST 很厉害？

快如闪电：以前的方法可能需要跑几天几夜（几十个小时），PIAST 在几分钟或几十分钟内就能搞定。
省资源：它不需要把整个训练数据库都搬过来用，只需要一小部分数据就能练出神功。
效果炸裂：
- 在数学题和文本简化任务上，它直接超越了所有现有的自动方法，拿到了第一名。
- 在分类和总结任务上，它也是名列前茅。
- 甚至在医疗问答这种高难度领域，它也表现优异。

4. 总结：从“死记硬背”到“举一反三”

这篇论文告诉我们一个重要的道理：
在让大模型变聪明的过程中，“怎么给例子”（优化 Few-shot examples）比“怎么改指令”（Rewrite instructions）重要得多。

以前的做法：像是在教学生死记硬背，拼命改题目的问法。
PIAST 的做法：像是给学生找最好的“解题思路”和“典型例题”。只要例题选得对，学生（大模型）就能瞬间开窍。

一句话总结：
PIAST 就是一个不知疲倦、眼光毒辣的“选菜大师”，它能在极短的时间内，从成千上万种可能的“样菜”中，通过精密的数学计算，挑出那几道能让大模型瞬间变身“米其林大厨”的完美组合。

PIAST 论文技术总结

论文标题: PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data
作者: Paweł Batorski, Paul Swoboda (Heinrich Heine Universität Düsseldorf)

1. 研究背景与问题 (Problem)

大型语言模型（LLMs）的性能高度依赖于提示（Prompt）的设计。然而，手动构建有效的提示（特别是包含 Few-shot 示例的提示）既困难又耗时。现有的自动提示工程（Automatic Prompt Engineering, APE）方法存在以下主要局限性：

计算成本高：许多方法需要数小时的计算时间来探索巨大的提示搜索空间。
数据依赖性强：为了可靠地评估候选提示，往往需要大量的训练数据。
优化范围狭窄：大多数现有方法仅优化指令字符串（Instruction String），通过重写或进化算法调整指令，而忽略了上下文学习（ICL）中影响最大的组件——Few-shot 示例。
现有示例生成方法的缺陷：虽然少数方法尝试生成示例（如 PRL），但其计算成本极高（数十小时）；另一些方法（如 APO）仅从训练集中选择示例，缺乏创新性。

核心问题：如何在有限的计算预算和较少的训练数据访问下，快速、自动地构建包含高质量 Few-shot 示例的提示，以超越现有方法？

2. 方法论 (Methodology)

作者提出了 PIAST (Rapid Prompting with In-context Augmentation)，一种快速自动提示构建算法。该方法的核心思想是通过迭代优化，动态地替换、丢弃或保留 Few-shot 示例，而非仅仅重写指令。

2.1 核心组件

PIAST 流程包含三个基于冻结 LLM 的组件：

示例提议者 (Example Proposer)：根据任务指令生成初始的 Few-shot 示例集合。生成的示例在主题和长度上具有多样性。
提示评估器 (Prompt Evaluator)：评估当前提示在数据子集上的表现。
示例改进者 (Example Improver)：负责迭代优化示例集合。

2.2 优化循环：基于 Shapley 值的示例选择

PIAST 采用迭代循环来优化示例集合，每一步识别并处理“最无用”的示例：

Shapley 值估计：使用蒙特卡洛（Monte Carlo）方法近似计算每个示例的 Shapley 值。Shapley 值衡量了该示例对整体性能（准确率）的边际贡献。
- 公式： $\phi_i = \frac{1}{n!} \sum_{\pi} (v(P_i^\pi \cup \{i\}) - v(P_i^\pi))$ ，其中 $v$ 是子集的性能函数。
- 由于全排列计算不可行，算法采样 $K$ 个随机排列进行近似。
决策机制 (Replace/Drop/Keep)：
1. 识别 Shapley 值最低的示例 $i^*$ （即最无用的示例）。
2. 示例改进者生成 $m$ 个新的候选示例。
3. 计算三种操作的得分：
  - Replace (替换): 用最佳新候选替换 $i^*$ 后的得分。
  - Drop (丢弃): 直接移除 $i^*$ 后的得分。
  - Keep (保留): 保持现状的得分。
4. 选择得分最高的操作（优先顺序：Replace > Drop > Keep）。

2.3 加速与稳定性技术

为了在有限预算下实现快速执行，PIAST 采用了以下工程优化：

Replay Buffer (回放缓冲区)：在每次迭代中，将部分训练数据存入缓冲区，并在后续迭代中与新的采样子集合并。这防止了新生成的示例过拟合当前的随机子集，起到正则化作用。
KV Cache 重用：利用共享的 ICL 前缀缓存 Key-Value 状态，避免重复计算。
PagedAttention：使用分页内存管理 KV 缓存，减少碎片化并提高显存效率。
连续 Token 级批处理：动态调度请求，最大化 GPU 利用率。

3. 关键贡献 (Key Contributions)

概念创新：提出了 PIAST，首个能够快速合成训练集中不存在的新 Few-shot 示例，并仅依赖少量训练数据进行优化的自动提示方法。
优化策略：证明了优化 Few-shot 示例比单纯重写指令是更有效的杠杆。利用 Shapley 值进行示例效用评估，实现了可解释且稳健的迭代优化。
工程实现：通过 KV Cache 重用、PagedAttention 和回放缓冲区等技术，实现了极快的推理和优化速度，支持“随时可用”（Anytime）的性能表现（即运行时间越长，效果越好，但即使时间短也表现优异）。
资源效率：在仅使用部分训练数据（Subsets）的情况下，即可达到或超越使用全量数据的其他 SOTA 方法。

4. 实验结果 (Results)

实验在文本分类、摘要、文本简化和数学推理（GSM8K, DeepMath, Math500）等多个任务上进行，基线包括 APE, APO, EvoPrompt, PRL, GRACE 等。

文本分类 (Classification)：
- 在中等预算下，PIAST 在 7 个数据集上平均表现第二，仅次于 PRL（但 PRL 耗时极长）。
- 在扩展预算下（PIAST-E），在 AG's News 和 SUBJ 等数据集上取得了新的 SOTA。
- 速度优势：PIAST 是所有方法中运行速度最快的（例如在分类任务上仅需约 8 分钟，而 PRL 需 48 小时，GRACE 需 1000+ 分钟）。
数学推理 (Mathematical Reasoning)：
- 在 GSM8K, DeepMath, Math500 上，PIAST 取得了所有自动提示方法中的最佳成绩。
- 证明了优化 Few-shot 示例对推理任务至关重要，仅重写指令的方法（如 APE, GA）提升有限。
文本简化 (Simplification)：
- 在 ASSET 数据集上，PIAST 取得了最高的 SARI 分数，且运行时间最短。
领域知识 (MedQA)：
- 在医疗问答任务上，PIAST 取得了第二高的准确率，且速度最快。
消融实验：
- 优化循环的重要性：即使不使用迭代优化（仅使用初始生成的示例），PIAST 也能获得有竞争力的结果；但加入优化循环后，特别是在困难任务（如 SUBJ）上，性能显著提升（提升约 16%）。
- Shapley 值 vs LOO：Shapley 值选择比简单的留一法（Leave-One-Out）更稳健，特别是在对初始化敏感的任务中。
- 跨模型鲁棒性：使用 Qwen2.5 训练提示，在 Mistral 上评估，PIAST 表现出最佳的跨模型迁移能力。

5. 意义与结论 (Significance)

范式转变：PIAST 表明，在自动提示工程中，优化 Few-shot 示例比穷举搜索指令重写更为关键。
数据效率：该方法证明了不需要完整的训练集即可构建高性能提示，仅需一小部分数据用于评估即可。这降低了对大规模标注数据的依赖。
实用性与可扩展性：PIAST 具有“随时可用”的特性，用户可以根据计算预算灵活调整运行时间。在有限预算下即可超越许多耗时极长的方法，极大地提升了自动提示工程的实用性。
未来方向：研究指出，如果 LLM 缺乏特定任务的先验知识，可能需要更复杂的示例合成机制。此外，结合指令重写和外部检索信号可能是未来的改进方向。

总结：PIAST 通过引入基于 Shapley 值的快速示例迭代优化机制，结合高效的工程实现，解决了现有自动提示方法计算成本高、数据依赖强、忽视示例优化的问题，在多个基准测试中实现了速度和质量的双重突破。