Skill Neologisms: Towards Skill-based Continual Learning
本文提出“技能新词”，即嵌入大语言模型词汇表中的优化软标记，作为一种可扩展的持续学习解决方案，使模型能够在不更新权重或发生灾难性遗忘的情况下获取并组合新技能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位博学多才、见多识广的图书管理员（即大型语言模型），他精通多种技能：整理书籍、计算数字、创作诗歌以及翻译语言。但如果你希望教会这位图书管理员一项全新的技巧，例如“按颜色整理书籍”，同时又不让他忘记按作者分类或计算数字的能力，该怎么办呢？
这正是本文所探讨的问题。通常，教授一项新技巧需要重新训练图书管理员的整个“大脑”，这可能导致他遗忘旧技能（即“灾难性遗忘”问题）或陷入混乱。
作者提出了一种巧妙的解决方案，称为“技能新词”（Skill Neologisms）。
其工作原理可拆解为以下简单概念：
1. 问题：“全有或全无”的陷阱
- 旧方法（微调）： 想象试图通过重写图书管理员的整本百科全书来教会他一项新技能。这种方法虽然有效，但你可能会不小心擦除关于“按作者分类”的那一页。
- “提示”方法： 想象在图书管理员开始工作前向他耳语指令（例如“请按颜色分类”）。这种方法适用于单一特定任务，但指令与该特定任务绑定。你无法仅通过同时耳语两条不同指令，就轻松地将“按颜色分类”与“计算数字”结合起来。
2. 解决方案：“技能新词”（新的魔法词汇）
作者建议赋予图书管理员一个新的词汇（即“新词”），它像一个魔法开关。
- 核心概念： 不是重写图书管理员的“大脑”，而是在他的词典中添加一个新的、不可见的“软标记”（一种特殊的数字词汇）。
- 学习方式： 你向图书管理员展示数千个示例，其中这个新词与你希望他学习的任务同时出现（例如"ColorSort"）。你仅训练这个新词以理解该任务，而图书管理员原有的“大脑”则完全保持冻结，不受任何影响。
- 结果： 当你在提示中使用"ColorSort"这个词时，图书管理员能立即知道如何执行该特定任务，而无需重新学习其他任何内容。
3. 超能力：混合与匹配（组合性）
真正的魔力在于组合这些新词。
- 类比： 想象图书管理员拥有一套乐高积木。有些积木是旧的（他已掌握的技能）。作者为新的技能创建了新的、定制的乐高积木（即这些新词）。
- 主张： 本文表明，如果你分别教会图书管理员两项新技能（例如"ColorSort"和"SizeSort"），随后你可以给他一个包含两个词的提示（"ColorSort" + "SizeSort"），图书管理员便能同时完成这两项任务，即使他从未接受过这种特定组合的训练。
- 意义： 这意味着你可以建立一个技能库。你可以今天学习一项新技能，明天学习另一项，随后将它们组合起来，而无需重新训练整个系统。
4. 实际验证
研究人员在一个受控的、类似数学的环境（尚未涉及真实的人类对话）中测试了这一想法。他们创建了一个数字图书管理员，并教会它新的数字操作方法。
- 他们发现：
- 无遗忘： 图书管理员在学习新技能时并未遗忘旧技能。
- 混合有效： 图书管理员能够将新学到的技能与旧技能结合，即使从未见过这种组合。
- 零样本混合： 他们可以分别教授技能 A 和技能 B，随后立即将它们组合，无需额外训练。
- “甜蜜点”： 他们发现，新的“魔法词汇”不应过长或过于复杂。如果词汇过大，图书管理员会感到困惑，并忘记如何将其与其他技能混合。小而专注的词汇效果最佳。
5. 局限（注意事项）
本文诚实地指出了该方法目前尚未实现的内容：
- 仍处于原型阶段： 他们仅在小型的合成数学任务上进行了测试，尚未应用于撰写小说或诊断疾病等现实场景。
- 需要合适的数据： 要教授一项新技能，你需要一个数据集，其中每一个示例都必须要求该特定技能。如果数据杂乱无章，新的“魔法词汇”将无法正确学习。
- 并非免费： 虽然与重写整个“大脑”相比，这种方法节省了内存，但训练这些新词仍需消耗大量的计算资源。
总结
将技能新词想象成给电视机添加新的专用“遥控器按钮”。你无需为了增加一个新频道而重建电视机，只需添加一个按钮，按下它即可激活电视机已有的特定电路。最棒的是？你可以同时按下两个按钮，电视机便能自行处理两个频道同时播放的情况。本文表明，这种“按钮”方法适用于人工智能，使其能够持续学习新技能而不忘却旧技能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。