Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models
本研究表明，潜在知识——即存储在模型权重中但最初无法获取的生物医学事实——是预测大型语言模型在微调过程中获取新事实的速度以及其对未见本体映射进行泛化能力的强力预测因子，同时也揭示了在训练期间未得到强化时，先前正确的映射更容易发生退化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个大型语言模型（就像这项研究中使用的那样）就像是一个由阅读了数百万本书籍而建成的巨大且混乱的图书馆。在研究人员开始实验之前，这个图书馆已经充满了事实，但这些事实的存储方式非常凌乱。有些事实是用鲜艳、粗体的字写在封面上的（容易找到），而另一些则用隐形墨水写在落满灰尘的书籍背面（难以找到，但依然存在）。
研究人员想要知道：如果我们给这个图书馆一份特定的“学习指南”（微调），它学习新事实的速度会有多快？以及是什么决定了它学得快还是会遗忘旧知识？
以下是他们研究结果的故事，通过简单的概念进行了拆解：
1. “隐形墨水”的发现（潜在知识）
研究人员发现这个图书馆有一个秘密。有些事实是用“隐形墨水”书写的。如果你用正常的方式询问图书馆，它会说：“我不知道。”但如果你用一种稍微不同、更随机的方式（一种被称为“随机解码”的技术）来提问，图书馆会突然说：“噢！其实我知道那个！”
他们称之为潜在知识（Latent Knowledge）。这就像一个学生知道某个数学公式，但在考试时因为太紧张而写不出来。知识就在那里，只是被隐藏起来了。
重大发现：
- 带有“隐形墨水”的事实学习速度极快。 当研究人员开始“学习指南”（微调）时，模型几乎立即学会了这些事实。这就像学生只需要一点点小小的推动，就能想起他们原本就知道的东西。
- 没有“隐形墨水”的事实是慢速学习者。 如果图书馆从未见过某个事实（或者该事实非常罕见），模型必须从零开始学习。这需要更长的时间，且进度较慢。
2. 三种学习结果
研究人员观察了这个图书馆 20 个“学习阶段”（epoch），并追踪了三件具体的事情：
- 记忆（学习你所看到的）： 模型学习了它被明确教导的事实。
- 结果： 它学会了被教导事实中的 72%。但同样，那些它“半懂不懂”（潜在知识）的事实首先被学会，且速度最快。
- 泛化（推测未见之物）： 研究人员给了模型一个它从未见过的列表，并询问它是否能通过学习相似的事实来推断出它们。
- 结果： 这种情况非常罕见（仅约 6% 的时间）。然而，模型只有在已经拥有那种“隐形墨水”（潜在知识）的情况下，才能成功推测出这些新事实。如果它对这些事实完全没有先前的接触，它就无法进行推测。
- 退化（遗忘你所知道的）： 这是令人担忧的部分。有时，当模型正在学习新事物时，它会忘记在开始时掌握得很好的事实。
- 结果： 模型更有可能忘记那些在学习阶段没有被教导的事实。那些它正在学习的事实受到了保护，就像有一层护盾。这就像你在为历史考试而努力学习，却因为过于专注于新材料，而不小心忘记了自己的电话号码。
3. “流行度”因素
研究人员还检查了事实在现实世界中的“流行程度”（在医学书籍中出现的频率）是否重要。
- 令人惊讶的是： 特定“单词”出现的频率并不重要。
- 真正的赢家： “标识符”（特定事实的代码）出现的频率非常重要。
- 冠军： “隐形墨水”（潜在知识）是单一最强的预测因子。它比流行度或频率更重要。
总结性的比喻
把模型想象成一个园丁，把事实想象成种子。
- 潜在知识就像是一颗已经在地下长出了一点点根须的种子。当你浇水时（微调），它会瞬间长成一株植物。
- 没有潜在知识则是一颗完全休眠的种子。你必须浇水很长时间，它才会开始生长。
- 泛化是尝试从一颗从未见过的种子中培育出一株植物。你只有在土壤（模型的脑部）已经具备了支持它的正确养分（潜在知识）时，才能做到这一点。
- 退化就像园丁专注于种植新花朵时，不小心踩坏了旧的花朵。你正在浇水的那些花（训练集）是安全的，但那些被你忽略的花（未见集）会被踩扁。
总结
论文的结论是：你不能仅仅强迫一个模型瞬间学会任何东西。
- 如果模型已经有了知识的“提示”（潜在知识），它学得很快，甚至可以推测出类似的、新的事物。
- 如果模型完全没有任何提示，学习过程会很慢，而且它将无法推测出新的事物。
- 为了防止模型遗忘旧知识，你必须在训练过程中持续练习这些特定的事实。
这有助于科学家了解何时进行训练以及应该预期什么，而不是仅仅希望它能神奇地学会一切。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。