🤖 AI

Multi-Sample Prompting and Actor-Critic Prompt Optimization for Diverse Synthetic Data Generation

该论文提出了名为 Synthline 的合成数据生成框架，通过结合多采样提示与基于 Actor-Critic 的提示优化（PACE）技术，有效解决了大语言模型生成数据多样性不足的问题，并在需求工程分类任务中证明了其生成的合成数据在多样性及下游任务性能上可媲美甚至超越人类标注数据。

原作者： Abdelkarim El-Hajjami, Camille Salinesi

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abdelkarim El-Hajjami, Camille Salinesi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在解决一个**“如何请 AI 厨师做出既丰富多样、又好吃（有用）的菜肴”**的问题。

在人工智能的世界里，训练模型需要大量的“食材”（也就是标注好的数据）。但在医疗、软件工程等领域，真正的“食材”要么太贵，要么涉及隐私拿不到，要么数量太少。于是，人们开始用大语言模型（LLM）来“合成”数据，就像用 AI 厨师来炒菜。

但这里有个大麻烦：AI 厨师有个坏毛病，它太喜欢“照本宣科”了。 你让它炒一次菜，它可能每次都炒出味道、形状几乎一模一样的菜。如果只用这些重复的菜去训练另一个 AI（比如用来识别需求的分类器），那个 AI 就会变得很“偏食”，遇到稍微不一样的情况就傻眼了。

为了解决这个问题，作者提出了两个“独门秘籍”，并发明了一个叫 Synthline 的“智能厨房系统”。

两个核心秘籍

1. 秘籍一：“一次点单，多份上菜”（Multi-Sample Prompting）

传统做法：你问 AI 厨师：“请给我做一道‘安全需求’的菜。”AI 做完一道，你就得再问一次。这样 AI 很容易陷入惯性，每次做的都差不多。
新做法：你直接告诉 AI：“请一次给我做20 道‘安全需求’的菜，要各不相同！”
比喻：这就像你让画家画一幅画，他可能只画一种风格；但如果你让他“一次画 20 幅”，为了完成任务，他必须动脑筋，画出 20 种不同的构图、色彩和笔触。
效果：论文发现，这招非常管用！不仅菜（数据）的种类变多了（多样性提升），而且用这些菜训练出来的 AI 模型，成绩也突飞猛进（F1 分数提升了 6% 到 43.8% 不等）。这就像是用更丰富的食材，做出了更美味的料理。

2. 秘籍二："AI 厨师 + AI 美食评论家”（PACE 优化）

原理：这是一个自动化的“试错”过程。
- 演员（Actor）：AI 厨师先根据当前的指令（Prompt）做几道菜。
- 评论家（Critic）：另一个 AI 充当美食评论家，它不看味道好不好吃，而是专门挑刺：“这道菜太像上一道了，不够新鲜！”，然后给厨师提建议：“下次加点辣椒，换个摆盘”。
- 循环：厨师根据建议修改指令，再做，评论家再评。经过几轮“打磨”，最后选出最“新鲜”的指令，用来正式做那 20 道菜。
效果：这招确实能让菜（数据）的词汇变得更花哨、更多样（就像菜名起得更奇怪、更丰富）。
但是（有个大坑）：论文发现，“越花哨”不代表“越有用”。
- 在“功能需求”分类任务上，这招让模型成绩大涨（提升了 32.5%）。
- 但在“安全需求”或“缺陷识别”任务上，这招反而让模型变笨了（成绩下降了）。
- 比喻：评论家只在乎“这道菜看起来够不够新奇”，却忘了顾客（下游任务）真正需要的是“能填饱肚子”（分类准确）。有时候，为了追求新奇，把菜做得太花哨，反而不好吃了。

核心发现：AI 做的菜能打败人类厨师吗？

论文最后做了一个大比拼：用 AI 合成的数据训练模型，和用人类专家写的真实数据训练模型，谁更厉害？

当真实数据很少时：AI 合成的菜完胜！特别是在“缺陷识别”任务上，AI 合成的数据让模型成绩比用人类数据提升了 15.4%。
- 原因：人类数据往往“偏科”（比如某种缺陷很少见），而 AI 可以按需生成，把各种情况都补齐，让模型吃得“营养均衡”。
当真实数据很多时：人类厨师依然有优势。如果人类已经提供了足够多、足够好的真实案例，AI 合成的数据就很难超越它了。

总结与启示

这篇论文告诉我们两件事：

简单粗暴往往最有效：让 AI 一次多生成几个样本（多采样），既便宜（省 API 调用次数）又有效，能同时提升数据的多样性和实用性。
盲目追求“多样性”是危险的：如果你只盯着“让数据看起来不一样”去优化提示词（像 PACE 那样），可能会适得其反。好的优化必须兼顾“多样性”和“实际任务的需求”。

一句话总结：
在数据稀缺的领域，我们可以放心地用 AI 生成数据来“喂”给其他 AI，只要记得**“一次多要几个”，并且“别为了花样而牺牲了味道”**，AI 做出来的“合成数据”甚至能比人类写的还要好！

1. 研究背景与问题 (Problem)

核心痛点：高质量标注数据集对于机器学习模型的训练和评估至关重要，但在医疗、需求工程（RE）等领域，由于数据稀缺、隐私限制或专有数据保护，获取此类数据成本高昂且困难。
现有方案的局限：大语言模型（LLM）虽然为合成数据生成（SDG）提供了新途径，但生成的数据往往存在重复性高、多样性低的问题。这主要源于 LLM 在预训练对齐（Post-training alignment）过程中产生的“典型性偏差”（Typicality bias），导致模型倾向于生成刻板、单一的输出（模式坍塌），从而降低了合成数据在下游任务（如分类任务）中的有效性。
研究目标：如何在保持或提升合成数据对下游分类任务效用（Utility）的同时，显著改善其多样性（Diversity）？

2. 方法论 (Methodology)

作者提出并集成了一种名为 Synthline 的可配置合成数据生成器，该工具基于特征模型（Feature Model, FM），并引入了两种核心机制来解决多样性问题：

2.1 多样本提示 (Multi-Sample Prompting)

原理：改变传统的“一次提示生成一个样本”的模式，改为在单次提示中请求生成多个样本（例如 20 个）。
机制：利用 LLM 的“上下文感知”（Within-context awareness）能力。当 LLM 被要求在同一上下文中生成多个样本时，它会意识到需要避免重复，从而自然地增加输出的词汇和语义多样性。
优势：除了提升多样性，还能显著降低 API 调用次数（生成 $N$ 个样本只需 1 次调用，效率提升 $N$ 倍）。

2.2 基于 Actor-Critic 的提示优化 (PACE)

原理：引入自动提示优化技术，通过迭代过程寻找能最大化多样性的提示词。
流程：
1. Actor (生成器)：根据当前提示生成一批候选样本。
2. Scoring (评分)：使用配置好的评分函数（本文使用生成样本 Sentence-BERT 嵌入之间的平均成对余弦距离）来衡量多样性。
3. Critic (评论家)：根据评分结果提供自然语言反馈，指出弱点并建议修改。
4. 迭代：Actor 根据反馈修改提示，重复上述过程（本文配置为 3 次迭代），最终选择得分最高的提示用于大规模数据生成。
目标：完全自动化地搜索多样性最大化的提示，减少人工提示工程的工作量。

3. 实验设置 (Experimental Setup)

领域：需求工程（RE）分类任务。
数据集：四个真实的 RE 分类任务数据集：
1. 需求缺陷分类 (Defects)
2. 功能 vs 非功能需求分类 (Functional)
3. 质量 vs 非质量需求分类 (Quality)
4. 安全 vs 非安全需求分类 (Security)
对比变体：
- synthetic_1：单样本提示（基线）。
- synthetic_20：多样本提示（20 个/提示）。
- synthetic_20_pace：多样本提示 + PACE 优化。
评估指标：
- 多样性：
  - INGF (Inter-sample N-gram Frequency)：衡量词汇/短语重复率（越低越好）。
  - APS (Average Pairwise Similarity)：基于 Sentence-BERT 的语义相似度（越低越好）。
- 效用 (Utility)：使用合成数据训练 BERT 分类器，在真实测试集上的加权 F1 分数（Weighted F1-score）。

4. 关键结果 (Key Results)

RQ1: 多样本提示的影响

多样性与效用双提升：与单样本相比，多样本提示在所有任务中均显著提升了多样性（INGF 降低 25-28%，APS 降低 22-28%）。
性能飞跃：下游分类任务的 F1 分数提升了 6 到 43.8 个百分点。
- 例如：在“安全”分类任务中，F1 分数从 0.325 提升至 0.763（+43.8%）。
- 在“缺陷”分类任务中，F1 分数提升了 11.2 个百分点。
结论：多样本提示是解决 LLM 合成数据重复性问题的有效且高效的方法。

RQ2: PACE 优化的影响

多样性：PACE 在所有任务中均进一步提升了词汇多样性（INGF 降低 10-19%）。
效用（任务依赖性）：PACE 对下游任务性能的影响因任务而异，并非总是正向：
- 显著提升：功能需求分类（F1 +32.5%），质量分类（F1 +1.9%）。
- 显著下降：安全分类（F1 -4.5%），缺陷分类（F1 -7.8%）。
结论：仅以“多样性”为目标的提示优化（如 PACE 使用的余弦距离评分）可能导致下游效用下降。优化提示时必须平衡多样性与任务特定的效用信号。

RQ3: 合成数据 vs 人类数据

超越人类数据：在真实标注数据稀缺的任务中，合成数据可以匹配甚至超越人类标注数据。
- 缺陷分类：合成数据比人类数据 F1 分数高出 15.4 个百分点（相对提升 41.4%），主要得益于合成数据能生成平衡的类别分布（真实数据仅 131 条且不平衡）。
- 安全分类：合成数据 F1 分数高出 7.8 个百分点。
人类数据仍占优：在数据量较大的任务（如功能需求，956 条样本）中，人类数据仍优于合成数据（F1 高出 9.5%）。

5. 主要贡献 (Contributions)

实证评估：首次系统评估了多样本提示和 PACE 在 SDG 中的效果。发现多样本提示能同时提升多样性和效用，而 PACE 虽然提升多样性，但效用提升具有任务依赖性。
工具发布：开源了 Synthline，这是一个基于特征模型的可配置合成数据生成器，集成了上述机制，支持细粒度的生成属性控制。
领域洞察：证明了在数据稀缺场景下，合成数据不仅能作为补充，甚至能超越人类数据成为更优的训练源（特别是通过平衡类别分布）。

6. 意义与启示 (Significance)

对 SDG 的启示：
- 多样本提示是提升 LLM 生成数据质量的最简单、低成本且高效的策略，无需额外基础设施。
- 盲目追求多样性（如仅优化提示词以增加余弦距离）可能损害模型性能。未来的提示优化必须引入**效用感知（Utility-aware）**的评分函数。
实际应用价值：
- 为医疗、法律、RE 等数据受限领域提供了可行的解决方案。通过合成数据解决类别不平衡和小样本问题，可以显著提升模型性能。
- 多样本提示带来的 API 调用成本降低（ $1/N$ ），使得大规模合成数据生成在经济上更加可行。
局限性：
- 目前实验主要集中在英语和特定分类任务。
- PACE 的评分函数（仅基于多样性）可能不足以捕捉对下游任务至关重要的多样性维度。

总结：该论文通过引入多样本提示和 Actor-Critic 优化机制，有效解决了 LLM 生成合成数据重复性高的问题。研究结果表明，简单的多样本策略即可带来巨大的性能提升，而自动化的提示优化需要更加谨慎地平衡多样性与任务效用，以避免“为了多样性而牺牲准确性”的陷阱。