💬 NLP

TELLME: Test-Enhanced Learning for Language Model Enrichment

本文介绍了 TELLME，一种将测试增强学习（Test-Enhanced Learning）与持续预训练相结合的新颖方法，旨在高效获取特定领域知识并提高大语言模型的长期记忆保持能力，同时克服传统方法在数据和计算方面的挑战。

原作者： Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minjun Kim, Inho Won, Hyeonseok Lim, MinKyu Kim, Junghun Yuk, Wooyoung Go, Jongyoul Park, Jungyeul Park, KyungTae Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人成为某个特定领域（如金融或医学）的专家。你不能只是给它一堆教科书并指望它死记硬背；那样太慢也太昂贵了。这就是**大语言模型（LLM）的世界——它们是许多现代聊天机器人背后的 AI 大脑。通常，为了让这些机器人变得更精通某个新话题，科学家们会使用一种叫做持续预训练（Continual Pre-training, CPT）**的方法。你可以把 CPT 想象成向机器人喂食关于该主题的海量、源源不断的文章和新闻报道。机器人阅读这些内容，学习其中的模式，从而变得更加出色。

然而，这里有一个陷于：仅仅阅读一本书并不总是意味着你真正理解了它，或者能在下周还记得它。在人类心理学中，有一个著名的概念叫做测试增强学习（Test-Enhanced Learning, TEL）。这是一个反直觉的发现：在学习过程中进行测验，实际上比仅仅重读材料更能帮助大脑锁定信息。这就像是仅仅观看烹饪节目与在厨师询问你“如果过早加盐会发生什么？”时亲自动手尝试做菜之间的区别。我们今天探讨的这篇论文提出了一个简单但强大的问题：如果我们像教人类一样教 AI 呢？ 如果我们在它学习的过程中，不只是喂给它更多的文本，而是让它参加测验呢？

论文介绍：TELLME —— 教 AI 参加测验

研究人员（来自韩国的一个团队）构建了一种他们称之为 TELLME（用于语言模型增强的测试增强学习）的新方法。他们的目标是解决传统的“只管多读”方法的缺陷。他们想看看，在训练过程中加入“测验”是否能帮助 AI 学得更快、记得更牢，并且真正理解学科的深层概念，而不仅仅是死记硬背单词。

“只管阅读”的问题所在

传统上，当科学家想要教 AI 关于金融的知识时，他们会喂给它数以千计的新闻文章。这就是持续预训练（CPT）方法。有时，他们会紧接着进行一个单独的阶段，称为指令微调（Instruction Tuning, IT），通过展示问题和答案来教 AI 如何聊天。

作者认为这个两步走的流程非常笨拙。这就像是通过阅读三小时教科书来准备历史考试，然后直到你读完之后，才被递给你一份练习题。当你开始做测试时，你可能已经忘记了刚才读到的细节。其他研究人员曾尝试将这两个步骤混合在一起，在喂给 AI 文本的同时也喂给它简单的问答。但作者注意到其中存在一个缺陷：这些问题通常太简单了，比如“这段话里提到的银行叫什么名字？”AI 可以直接从文本中复制答案，而不需要真正思考。这只是一种“阅读理解”的小技巧，而不是真正的学习。

TELLME 的解决方案：“深度挖掘”式测验

TELLME 通过引入一种基于 TEL 心理学原理的特定类型测验，改变了游戏规则。其运作方式如下：

设置： 给定 AI 一段文本（例如一篇关于银行的新闻文章）。
转折点： AI 不再是被问“这家银行做了什么？”，而是被要求生成或回答需要外部知识的问题。例如，如果文本提到了“高频交易”，测验可能会问：“高频交易如何影响市场波动性？”答案并没有写在文章里。AI 必须利用它已有的世界知识来建立联系。
训练循环： AI 阅读文本，然后立即尝试回答这些深层的、开放式的问题。至关重要的一点是，系统仅根据它所读的文本和它给出的答案进行“评分”，而不针对问题本身。这迫使 AI 专注于理解材料并调用其内部知识来解开谜题。

为了实现这一点，团队使用了一个强大的 AI（GPT-4o-mini）为两个困难领域——金融和医学——创建了 100,000 对这样的特殊测验对。他们确保了问题的多样性和推理需求，而非简单的复制。

研究发现：学习更快，记忆更久

团队使用几种不同的 AI 模型（包括 Llama 和 SmolLM）将 TELLME 与传统方法进行了对比测试。结果非常令人振奋：

更聪明，更高效： 在金融领域，与标准方法相比，TELLME 将 AI 的性能提升了高达 23.6%。它学习材料的效率更高。
更好的长期记忆： 这是最令人兴奋的部分。研究人员测试了当他们开始教授医学知识时，AI 是否会“忘记”它学到的金融知识。
- 传统方法（CPT）在学习医学后，金融领域的表现下降了 5.72%。
- TELLME 方法的下降幅度仅为 0.94%。
- 这表明，通过在训练期间进行“自我测试”，AI 构建了更强大、更持久的记忆，这些记忆不会在新的信息到来时被冲刷掉。
成本效率： 由于 TELLME 学习得更快，它能在更少的步骤内达到相同的性能水平。作者指出，它的训练速度比标准方法快约 1.4 倍，节省了时间和计算能力。

为什么这很重要

论文指出，我们训练 AI 的方式一直过于被动。通过借鉴人类教育中的技巧——在学习的同时进行自我测试——我们可以构建出能够深度理解概念并记忆更久的 AI。

研究人员还检查了这是否适用于其他语言。他们在韩语上也进行了尝试，结果同样有效，提高了 AI 理解韩语句子的能力，即使它之前并未接受过韩语文本的训练。这暗示着“测验”方法可能是让 AI 变得更聪明的通用钥匙，无论使用何种语言。

然而，作者谨慎地指出，这是一种针对持续学习（在 AI 构建完成后教授其新事物）的特定改进。他们还指出，他们在测试中使用了最高达 700 亿参数的模型，但为了节省成本使用了一些简化手段，因此在规模巨大的全量模型上，结果可能会略有不同。

简而言之，TELLME 表明，如果你想要一个真正的专家级 AI，不要只是让它读更多。让它参加一场考试。

技术摘要：TELLME（用于增强语言模型能力的测试增强学习）

问题陈述

持续预训练（Continual Pre-training, CPT）是将大语言模型（LLM）适配到特定领域的标准方法。然而，CPT 面临两个显著挑战：获取大规模领域特定数据集的难度以及相关的计算成本。虽然最近的方法尝试将指令微调（Instruction Tuning, IT）数据直接整合到 CPT 过程中（例如 INSTPT），但这些方法通常依赖于阅读理解式的问答（QA），即答案直接从提供的文本中提取。作者认为，这类格式无法有效地利用**测试增强学习（Test-Enhanced Learning, TEL）**原则。教育心理学研究表明，当测试涉及开放式、描述性的回答，要求学习者回忆并综合内部知识，而非受限于上下文的简单召回或选择题时，TEL 对长期记忆保留的提升效果最为显著。

方法论

作者提出了 TELLME 框架，该框架将 TEL 原则整合进 CPT 中，以增强知识获取的效率和所学表征的持久性。

1. 数据集构建

TELLME 利用一个高性价比的流水线，使用 GPT-4o-mini 生成了 10 万条领域特定样本（涵盖金融和医学领域）。

提示词设计： 生成提示词指示合成器基于一段纯文本片段的通用领域知识创建问答对，但明确禁止创建仅能通过从文本中提取信息即可回答的问题。
目标： 这迫使模型在文本与更广泛的领域知识之间建立“概念映射”，要求模型调用其内部知识进行回答。
质量控制： 生成的数据集达到了平均 4.03/5 的人工评估得分。过滤掉了需要上下文（例如包含“在此上下文中”）才能回答的样本，以确保问答对可以独立于文本被解决。

2. 训练框架

TELLME 修改了持续预训练阶段的标准因果语言模型（CLM）目标。

数据结构： 每个训练样本 $X$ 由一个序列组成：纯文本 ( $t$ )，随后是问题 ( $q$ ) 和答案 ( $a$ )。
损失函数修改： 为了模拟“测试”效应，损失函数的配置会**排除问题标记（tokens）**的计算。
- 指示函数设置为 $1(x_i \in t \cup a) = 1$ 且 $1(x_i \in q) = 0$ 。
- 模型被训练去预测纯文本和答案，而问题作为一个“测试”存在，模型必须利用其内部知识来回答，而不是将其作为预测目标。
对比： 这不同于像 INSTPT 这样的方法，后者通常会对所有标记（包括问题）计算损失，或者将纯文本和问答视为两个独立的顺序步骤（先 CPT 后 IT）。TELLME 在单次传递中处理混合样本。

核心贡献

TELLME 框架： 引入了一种利用描述性、开放式问答来激发内在知识召回的 CPT 框架，使 LLM 训练与测试增强学习的心理学原则保持一致。
高效的数据流水线： 一种高性价比的方法（约 12 美元生成 10 万条样本），用于生成需要超越所提供文本进行推理的多元化领域特定问答数据。
实证验证： 在金融和医学领域通过多种模型规模（Llama-3.2-1B/3B/8B, SmolLM2-1.7B）进行了全面的评估，证明了其相对于标准 CPT 和 CPT+IT 基准线的显著改进。

实验结果

领域适配性能

TELLME 在金融基准（FOMC, NIFTY, MMLU-F）和医学基准（HeadQA, MedMCQA, MMLU-C）上进行了评估。

金融领域： TELLME 的表现优于 CPT 基准线 高达 23.6%，并在金融和医学领域平均超过 INSTPT 方法 5.1%。
医学领域： TELLME 表现出持续的改进，平均优于基准模型 2.58 个点。
效率： TELLME 以 1.4 倍更快的 训练步数达到了与标准 CPT 相同的困惑度（PPL），表明具有更高的学习效率。

长期保留能力

为了测试记忆保留情况，在金融数据训练后的模型随后接受了医学数据的训练（覆盖训练）。

保留指标： 在经过医学训练后对原始金融领域进行评估时，基于 TELLME 的模型显示性能下降仅为 0.94%，而标准 CPT 模型则出现了 5.72% 的下降。
困惑度： 与 CPT 模型相比，TELLME 模型在金融语料库上保持了较低的困惑度，这表明其对先前领域知识的保留能力更强。

消融实验

顺序： 将 QA 置于文本之前（Inv-TEL）导致性能下降，证实了 TELLME 中特定顺序（文本 $\to$ QA）的重要性。
损失掩码： 在损失计算中包含问题（TEL-Q/L）会降低性能，验证了排除问题对于实现测试效应至关重要。
合成器鲁棒性： 即使使用较弱的合成器（Mistral-7B）或自生成数据，TELLME 依然有效，尽管 GPT-4o-mini 产生的结果最好。
多语言泛化： 该框架成功适配到韩语（TELLME-KO），使此前缺乏韩语能力的模型在 KoBEST 基准测试中的 0-shot 设置下提升了 4.5%，在 5-shot 设置下提升了 8.4%。

重要性与主张

论文声称，通过解决数据稀缺和计算成本的限制，TELLME 为传统的 CPT 和顺序 CPT+IT 方法提供了更优的选择。通过整合 TEL 原则，该方法不仅加速了领域适配，还显著增强了长期记忆保留，防止了模型在接触新领域时发生灾难性遗忘。作者将 TELLME 定位为开发能够随时间保留知识的专业化 LLM 的一种实用且可扩展的解决方案。

研究承认了局限性，指出在较大模型（70B 参数）上的实验使用了参数高效微调（LoRA）和量化，这可能会引入全量密集训练中不存在的变量。此外，目前的研究范围限于金融和医学，未来工作需要扩展到其他领域并建立标准化的基准。