💻 computer science

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

该论文提出了 LDEPrompt 方法，通过引入层重要性引导机制实现自适应层选择及提示池的动态冻结与扩展，有效解决了现有提示类增量学习方法中提示池固定、依赖人工选择及过度依赖预训练骨干网络等局限，并在多个基准测试中取得了最先进的性能。

原作者： Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 LDEPrompt 的新方法，旨在解决人工智能（AI）在学习新知识时容易“忘记”旧知识的问题。

为了让你轻松理解，我们可以把训练 AI 模型想象成培养一个超级学霸，而“类增量学习”就是让这个学霸一边上学，一边不断接触新科目（比如先学数学，再学物理，接着学化学），而且不能把以前学过的书扔掉，也不能把旧知识忘掉。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心难题：学霸的“记忆危机”

传统问题：以前的 AI 就像是一个死记硬背的学生。如果让他学新科目（新任务），他为了腾出脑子记新东西，往往会把旧科目的知识覆盖掉，导致“学了新的，忘了旧的”。这被称为灾难性遗忘。
现有的“提示词”方法（Prompt-based）：最近流行一种方法，就像给学霸发“小抄”（Prompt）。
- 做法：把学霸的大脑（预训练模型）锁住，不让他乱改，只给他发一些可学习的“小抄”（提示向量）。
- 缺点：
  1. 小抄本太死板：以前的小抄本大小是固定的，学多了科目，小抄本塞不下，或者新小抄把旧小抄挤掉了。
  2. 选小抄太盲目：以前是随便翻翻小抄本，看哪个像就用哪个，有时候选错了，效果不好。
  3. 太依赖大脑：选小抄全靠大脑原本的状态，缺乏对新科目的针对性。

2. LDEPrompt 的解决方案：智能“双库”与“精准定位”

为了解决上述问题，作者提出了 LDEPrompt。我们可以把它想象成给学霸配备了一套智能升级系统：

A. “层重要性评估” = 精准定位“哪里需要小抄”

比喻：学霸的大脑有很多层（就像学校的不同年级或不同教室）。以前，大家不管三七二十一，在所有教室都发小抄，既浪费又混乱。
LDEPrompt 的做法：在学新科目之前，先让学霸快速“预习”一遍。系统会分析：“这个新科目，到底是在‘数学逻辑层’（中间层）最需要帮助，还是在‘基础概念层’（底层）最需要？”
结果：系统只会在最需要的那几层插入小抄。这就好比只给最薄弱的环节发“重点笔记”，既省资源，效果又好。

B. “双扩展提示池” = 图书馆 + 临时自习室

这是论文最核心的创新，它设计了两个“小抄库”：

全球提示池（Global Pool）= 永久图书馆
- 作用：这里存放着学霸过去学过的所有科目的“经典小抄”。
- 特点：只读不写（冻结）。一旦放进去，就锁死，防止被新的小抄覆盖或修改。这保证了学霸永远不会忘记过去的知识。
训练提示池（Training Pool）= 临时自习室
- 作用：这是专门给当前正在学的新科目用的。
- 特点：大小固定，但可以动态扩容。
- 工作流程：
  - 当新科目来了，系统先去“图书馆”里找几本和这个新科目最像的“经典小抄”（通过相似度匹配），把它们借到“自习室”里。
  - 如果“经典小抄”不够用，就在“自习室”里临时写几本新的小抄。
  - 学完这个科目后，这些新写的小抄会被归档进“图书馆”，变成永久知识。
- 好处：既利用了旧知识（借书），又保留了新知识（写新书），而且旧书不会被弄脏或弄丢。

3. 实验结果：学霸真的变强了

作者在几个著名的考试（数据集，如 CIFAR100, CUB, VTAB）上测试了这个方法：

成绩：LDEPrompt 在大多数测试中都拿到了第一名（State-of-the-art）。
对比：它比第二名的方法平均提高了 0.5% 到 2.9% 的准确率。在 AI 领域，这已经是巨大的进步了。
结论：这套“精准定位 + 双库管理”的策略，让 AI 在不断学习新东西的同时，完美地保留了旧记忆，而且越学越灵活。

总结

简单来说，LDEPrompt 就是给 AI 装了一个智能的“知识管理系统”：

知道哪里该补强（不再盲目全层插入）。
建立了“永久档案”和“临时草稿”两个系统（防止新知识覆盖旧知识）。
档案库可以无限扩容（适应无限多的新任务）。

这就好比一个聪明的学生，既懂得在关键知识点上做笔记，又懂得把旧笔记妥善收藏，同时随时准备为新知识腾出空间，从而实现了真正的“终身学习”。

1. 研究背景与问题 (Problem)

背景：
基于预训练模型（PTM）的类增量学习（Class-Incremental Learning, CIL）旨在让模型在不遗忘旧任务知识的前提下，持续学习新类别。近年来，基于提示（Prompt-based）的方法因其参数高效性（冻结主干网络，仅训练少量提示向量）而备受关注。

现有方法的局限性：
尽管现有的提示学习方法（如 L2P, DualPrompt 等）取得了不错的效果，但仍存在以下关键问题：

提示池固定（Fixed Prompt Pool）： 现有的提示池容量通常是固定的，难以适应不断新增的任务，限制了模型的扩展能力。
提示覆盖与遗忘（Overwriting）： 不同任务间重复选用的提示容易被覆盖，加剧了灾难性遗忘。
对主干网络的强依赖（Strong Backbone Dependence）： 提示的选择完全依赖于冻结的预训练模型生成的嵌入（Embeddings），缺乏针对特定任务的细粒度信息，导致提示选择不够精准。
缺乏自适应层选择： 大多数方法在所有层或固定层插入提示，未考虑不同层对特定任务的信息增益差异。

2. 核心方法论 (Methodology)

作者提出了 LDEPrompt（Layer-importance Guided Dual Expandable Prompt Pool），其核心思想是通过自适应层选择和动态扩展的双提示池架构来解决上述问题。

2.1 基于信息增益的层重要性评估 (Layer Importance Evaluation)

在训练每个新任务之前，模型会先在预训练主干上进行前向传播，评估每一层的信息增益（Information Gain, IG）。

定义： 某一层 $l$ 的信息增益定义为该层输入与输出之间的互信息差值： $IG(l) = I(x; h_l) - I(x; h_{l-1})$ 。
选择机制： 计算所有层的归一化重要性分数（Softmax），选择重要性高于平均值的层来插入提示池。
优势： 避免了在所有层盲目插入提示带来的参数冗余，使提示分配与任务特性更匹配。

2.2 双扩展提示池架构 (Dual Expandable Prompt Pools)

为了解决提示覆盖和容量限制问题，设计了两个提示池：

全局提示池 (Global Prompt Pool, $P_g$ )：
- 存储所有历史任务学习到的提示。
- 状态： 始终冻结（Frozen），以保留旧知识，防止被覆盖。
- 作用： 作为知识库，供新任务检索和复用。
当前任务训练提示池 (Training Prompt Pool, $P_c$ )：
- 容量固定（大小为 $S$ ），仅包含当前任务特有的提示。
- 状态： 可训练（Trainable）。
- 构建过程：
  - 对于新任务，首先利用当前样本的中间特征（如 CLS token）与全局池中的键（Key）进行相似度匹配（余弦相似度）。
  - 从全局池中检索最相似的 $s$ 个提示并冻结（作为先验知识）。
  - 随机初始化剩余的 $S-s$ 个提示作为可训练部分。
- 更新机制： 训练结束后，新学到的提示会被合并回全局池，从而实现提示池的动态扩展。

2.3 优化目标

使用标准的交叉熵损失函数（Cross-Entropy Loss）联合优化训练池中的提示向量和分类器。

3. 主要贡献 (Key Contributions)

自适应层选择机制： 提出了一种基于信息增益的层重要性评估方法，能够动态选择最适合插入提示的层，提高了提示的针对性和效率。
双池动态扩展架构： 设计了“全局冻结池 + 任务训练池”的双层结构。通过冻结全局池防止遗忘，通过动态扩展训练池适应新任务，有效平衡了稳定性（Stability）与可塑性（Plasticity）。
跨任务提示共享与复用： 利用特征相似度从全局池中检索提示，实现了跨任务的知识迁移，同时避免了旧提示被新任务覆盖。
SOTA 性能表现： 在多个主流基准数据集上取得了最先进的性能，证明了该方法的有效性和可扩展性。

4. 实验结果 (Results)

作者在 CIFAR100、CUB 和 VTAB 三个广泛使用的类增量学习基准上进行了实验，对比了包括 L2P、DualPrompt、CODA-Prompt 等在内的多种 SOTA 方法。

性能提升：
- CIFAR100 (B0-Inc10)： 平均准确率（Avg）达到 91.60%，比第二名（Evoprompt, 91.20%）高出 0.40%；最终准确率（Last）达到 88.13%，高出 0.50%。
- CUB (B0-Inc20)： 平均准确率达到 92.31%，比第二名高出 2.11%；最终准确率达到 88.12%，高出 2.91%。
- VTAB (B0-Inc10)： 平均准确率达到 94.44%，比第二名高出 3.23%；最终准确率达到 88.92%，高出 1.37%。
消融实验 (Ablation Study)：
- 验证了“双池设计”和“动态扩展”的必要性（移除任一组件性能均下降）。
- 证明了“层重要性选择”优于“全层插入”（全层插入导致参数冗余且性能未达最优）。

5. 意义与总结 (Significance)

LDEPrompt 为基于预训练模型的类增量学习提供了一个新的范式：

解决遗忘与扩展的矛盾： 通过“冻结全局池”和“动态扩展”机制，巧妙地解决了增量学习中知识保留与容量限制的矛盾。
提升资源效率： 通过自适应层选择，减少了不必要的参数训练，提高了计算效率。
通用性强： 实验表明该方法在不同规模和数据分布的数据集上均具有鲁棒性，为未来的提示学习（Prompt Learning）和持续学习（Continual Learning）研究提供了重要的方向，即细粒度的层感知提示分配与可扩展的提示架构。

该工作不仅提升了现有基准的性能，还揭示了提示池管理策略在持续学习中的关键作用。代码已开源。