💬 NLP

Generative Prompt Internalization

本文提出了一种名为生成式提示内化（GenPI）的轻量级联合训练方法，通过自主合成数据将冗长的固定提示及其推理逻辑内化至模型中，从而在无需显式输入提示的情况下实现高效推理并保持高性能。

原作者： Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 GenPI（生成式提示词内化） 的新方法，旨在解决大型语言模型（LLM）在实际应用中面临的一个大麻烦：提示词（Prompt）太长、太死板，导致计算成本高昂且效率低下。

为了让你更容易理解，我们可以把整个故事想象成**“从死记硬背到融会贯通”**的进化过程。

1. 痛点：为什么现在的 AI 这么“累”？

想象一下，你雇佣了一位非常聪明的AI 助手（比如 ChatGPT）。

现状：每次你给助手派任务时，你都必须把一份长达几千字的“操作手册”（这就是 Prompt）从头到尾念一遍。这份手册里写着：“你要像个 Linux 专家一样思考，先想后做，输出格式必须是……"
问题：
1. 太慢太贵：每次对话都要把这几千字读一遍，就像每次去餐厅吃饭，服务员都要把整本菜单背给你听一遍才肯点菜。这不仅慢，还浪费了大量的计算资源（钱）。
2. 多轮对话更累：如果你们聊了 5 轮，这份“操作手册”可能就要重复 5 次，或者作为背景信息一直占着内存，导致反应越来越慢。

2. 现有的笨办法：压缩和微调

为了解决这个问题，以前有两种主要方法，但都有缺陷：

压缩法（Prompt Compression）：就像把一本厚厚的书压缩成一张缩微胶卷。虽然字变少了，但信息还是得读，而且如果压缩得太狠，关键信息（比如格式要求）就丢了，AI 就开始胡言乱语。
传统微调（Distillation/Fine-tuning）：就像让 AI 助手死记硬背答案。你给它看很多“问题 + 正确答案”的例子，让它学会怎么做。
- 缺陷：AI 只记住了“怎么做”，却忘了“为什么这么做”。它不知道背后的“操作手册”长什么样。一旦遇到稍微复杂一点的新情况，或者需要严格遵循特定格式时，它就容易翻车。

3. GenPI 的绝招：让 AI“自己写手册”

GenPI 提出了一种全新的思路：不要只让 AI 学答案，要让它学会“生成”那份操作手册，并理解为什么要这么改。

我们可以用**“厨师学做菜”**来打比方：

传统方法：你给厨师（AI）看一道菜（输出），让他照着做。他学会了味道，但不知道食谱（Prompt）里写了什么。
GenPI 方法：
1. 双重任务：你给厨师一个任务（比如“做宫保鸡丁”）。
2. 生成食谱：你要求厨师不仅要把菜做出来，还要一边做，一边口述出这份食谱（生成 Prompt 内容）。
3. 解释原因：更重要的是，你要他解释**“为什么这道菜要放这么多辣椒？”**（生成 Reason）。比如：“因为 Prompt 里要求这道菜必须‘麻辣鲜香’，而普通做法不够辣。”

核心魔法：
通过这种训练，AI 把那份几千字的“操作手册”彻底内化到了自己的脑子里。

以前：每次做菜都要翻书（输入 Prompt）。
现在：厨师脑子里已经有了完整的食谱和烹饪逻辑。你只需要说“做宫保鸡丁”，他就能直接做出符合所有复杂要求的菜，完全不需要你再念一遍手册。

4. 数据哪里来？“自导自演”的戏法

你可能会问：“如果只有手册，没有‘问题 + 答案’的练习册，怎么训练 AI 呢？”

GenPI 发明了一个叫**“自导自演对话”（Self Role-Playing Conversation）**的绝招：

场景：假设你只有一个“操作手册”，没有真实的用户数据。
做法：让同一个 AI 模型分裂成两个人：
- 角色 A（用户/环境）：根据手册里的规则，假装成用户提问，或者假装成操作系统返回结果。
- 角色 B（助手）：根据手册，假装成助手回答问题。
效果：AI 自己和自己聊天，自己生成了一套完美的“练习题库”。这就像演员自己写剧本、自己演对手戏，从而练成了演技，完全不需要真实的观众。

5. 成果如何？

实验证明，GenPI 非常厉害：

性能不掉线：在复杂的任务（如操作电脑系统、浏览网页购物）中，即使完全不给提示词，它的表现依然能达到甚至超过那些“每次都念手册”的模型。
效率大爆发：因为它不需要再输入那几千字的提示词，计算量减少了约 39%，反应速度更快，成本更低。
理解更深刻：因为它学会了“解释原因”，所以它比那些死记硬背的模型更懂规矩，不容易出错。

总结

GenPI 就是把 AI 从一个“需要时刻拿着说明书的实习生”，培养成了一个“脑子里自带说明书、懂原理、能举一反三的资深专家”。

它不再依赖冗长的外部指令，而是将复杂的规则内化为自己的本能。这不仅让 AI 跑得更快、更省钱，也让它在处理复杂任务时更加聪明和可靠。

论文技术总结：生成式提示内部化 (Generative Prompt Internalization, GenPI)

1. 研究背景与问题定义 (Problem)

在大语言模型（LLM）的实际应用（如 Agent 智能体、Chatbot）中，为了获得最佳性能，通常需要使用固定且冗长的提示词（Prompts）。这些提示词往往包含复杂的任务描述、行动空间定义以及少样本示例（Few-shot examples）。

核心挑战：

计算开销巨大： 每次推理时都需要将长提示词作为输入，导致显著的 Token 消耗和计算延迟，特别是在多轮对话场景中，这成为实际部署的瓶颈。
现有方法的局限性：
- 提示压缩（Prompt Compression）： 将提示词压缩为嵌入向量或短文本。虽然减少了 Token 数，但往往丢失了关键的任务格式和细节信息，导致性能大幅下降。
- 传统提示内部化（Prompt Internalization）： 通过蒸馏（Distillation）或微调（Fine-tuning）让模型学会提示词的意图。然而，现有方法通常无法直接学习提示词的内容，仅能间接模仿教师模型在提示词存在时的输出行为。这导致模型在面对信息丰富或格式要求严格的任务（如 Agent 行动规范）时，性能严重退化。

目标： 提出一种方法，能够在推理阶段完全移除提示词输入的情况下，使模型依然保持与“提示词 + 输入”同等的高性能，同时大幅降低计算成本。

2. 方法论 (Methodology)

作者提出了生成式提示内部化 (Generative Prompt Internalization, GenPI)，这是一种轻量级的联合训练方法。其核心思想是：模型不仅要模仿教师模型的行为，还要主动生成提示词的内容以及解释为何输出需要改变。

2.1 核心训练机制

GenPI 采用联合损失函数（Joint Loss）进行训练，包含两个部分：

SFT Loss (监督微调损失)：
- 目标：让学生模型 $S$ 模仿教师模型 $T$ 在给定提示词 $p$ 和输入 $x$ 下的输出 $y^T$ 。
- 公式： $L_{SFT} = -\sum \log P(y^T | x, y^T_{<i})$
- 作用：确保模型掌握正确的任务行为。
Prompt Generation Loss (PG Loss, 提示生成损失)：
- 这是 GenPI 的创新点。模型被训练为生成两部分内容：
  - 提示词内容 ( $p$ )： 显式地重建提示词。
  - 理由 ( $r$ )： 解释为什么学生的初始输出（"AS-IS"，无提示词时的输出）需要被修改为教师的期望输出（"TO-BE"）。
- 逻辑：通过让学生模型理解“提示词内容”与“输出行为改变”之间的因果关系，从而将提示词的知识内化到模型参数中。
- 公式： $L_{PG} = -\log P(p, r | y^S, y^T, x)$
- 联合损失： $L = (1-\lambda)L_{PG} + \lambda L_{SFT}$

2.2 数据合成技术 (Data Synthesis)

针对“仅有预设提示词，无对应训练数据集”的现实场景，作者提出了一种自我角色扮演对话 (Self Role-Playing Conversation) 技术来自动生成训练数据：

伪用户输入生成： 利用大模型根据提示词生成可能的用户查询。
伪对话输出生成： 将模型的角色在“智能体（Agent）”和“环境（Environment）”之间互换。模型利用给定的提示词，模拟环境对智能体行为的反馈，从而构建多轮对话数据。
理由生成： 利用大模型对比“无提示词输出”和“有提示词输出”，生成解释两者差异的理由文本。

2.3 实现细节

模型架构： 使用 QLoRA 进行微调，仅训练提示特定的适配器（Adapter），参数增加量极小（约 0.5%）。
训练数据量： 每个提示词仅需约 1,000 个合成样本。

3. 关键贡献 (Key Contributions)

提出 GenPI 框架： 首次提出通过“生成提示词内容 + 解释行为改变理由”的方式来实现提示词内部化，解决了传统蒸馏方法无法直接学习提示词内容的缺陷。
无需交互的数据合成方法： 设计了“自我角色扮演”机制，能够在没有真实环境交互的情况下，自主构建高质量的多轮对话训练数据集，解决了 Agent 场景下数据获取难的问题。
高效且高性能的推理： 实现了在推理阶段完全移除长提示词，同时保持甚至超越原有性能，显著降低了计算开销。

4. 实验结果 (Results)

作者在 AgentBench 基准测试的三个任务上进行了评估：OS 交互（474 tokens）、Web 浏览（1,424 tokens）和 Web 购物（1,285 tokens）。

性能表现：
- OS 交互任务： GenPI 达到了 100% 的上限性能（即与带提示词的原模型性能一致）。
- Web 浏览与购物任务： 尽管提示词超过 1,000 tokens，GenPI 仍保持了 82% 以上 的性能。
- 对比基线： 显著优于提示压缩（LLMLingua-2, ICAE）和传统蒸馏/微调方法。例如，在 Web 购物任务中，GenPI 比仅使用 SFT 损失的方法提升了约 25%。
效率提升：
- 在多轮对话场景中，GenPI 相比带提示词的基线，MACs（乘加运算）和 FLOPs 降低了 39%，延迟降低了 17%。
- 即使考虑了 KV Cache 优化，GenPI 依然因为无需处理长提示词而具有显著的计算优势。
消融实验：
- 移除 PG Loss 会导致性能大幅下降，证明生成提示词和理由对内部化至关重要。
- 在 PG Loss 中，提示词内容 ( $p$ ) 比理由 ( $r$ ) 对性能的影响更大，但两者结合效果最佳。

5. 意义与影响 (Significance)

解决部署瓶颈： 为 LLM 在资源受限环境或高并发场景下的部署提供了新的解决方案，消除了长提示词带来的推理成本。
提升 Agent 能力： 证明了通过内部化，模型可以完美掌握复杂的行动规范和格式要求，这对于构建自主智能体（Autonomous Agents）至关重要。
低成本适配： 该方法仅需极少量的参数（0.5%）和少量数据（1,000 样本）即可针对特定提示词进行适配，具有极高的可扩展性和灵活性。
未来方向： 为后续研究上下文内部化（Context Internalization）、长对话历史处理以及多模态提示词内部化奠定了基础。

总结： GenPI 通过让模型“学会生成提示词并理解其作用”，成功地将外部提示词转化为内部知识，在保持高性能的同时实现了推理效率的质的飞跃。