💬 NLP

Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

该研究通过训练纯文言文语言模型发现，模型内部虽能区分已知与未知信息，却无法在生成文本中表达这种不确定性，表明“承认不知道”的元认知能力不会仅从语言建模中自然涌现，而需要显式的训练信号（如 RLHF）。

原作者： Jiuting Chen, Yuan Lian, Hao Wu, Tianqi Huang, Hiroshi Sasaki, Makoto Kouno, Jongil Choi

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiuting Chen, Yuan Lian, Hao Wu, Tianqi Huang, Hiroshi Sasaki, Makoto Kouno, Jongil Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣且略带“细思极恐”的发现：大语言模型（LLM）其实是一个“博学的书呆子”，它肚子里很有货，但完全不知道自己在“装懂”。

为了让你轻松理解，我们可以把这篇论文的研究过程想象成一场**“古代私塾考试”**。

1. 实验背景：培养一个“纯古文”书童

研究人员没有让 AI 去学现在的互联网烂梗，而是专门给它喂了15.6 亿个字的纯文言文（就像中国古代的经史子集）。

特点：这个 AI 完全没接触过现代汉语、英语或阿拉伯数字。
目的：看看在这个封闭、纯粹的环境里，AI 能不能学会“承认自己不知道”。

2. 核心发现：肚子里的“警报器”响了，嘴上却还在“吹牛”

研究人员给这个 AI 出了三类题目：

真历史：比如“霍去病在陇西打仗”（这是真的）。
假历史：比如“李靖在贞观二十年去攻打阿拉伯帝国”（这是编的，但听起来很像那么回事）。
半真半假：比如“苏轼考中进士后，发明了飞行术”（人是对的，事是瞎编的）。

发现一：心里其实门儿清（内部警报）

当 AI 读到那些编造的历史时，它的大脑（数学模型）其实已经“慌了”。

比喻：就像你背了一整本《三国演义》，突然有人问你“诸葛亮借了东风后，骑着扫帚去月球了”，你心里会咯噔一下：“这不对啊，这太离谱了！”
数据：研究发现，AI 在遇到假历史时，它的“困惑度”（Perplexity，可以理解为内心的惊讶指数）比遇到真历史时高出了2.39 倍。如果是“半真半假”的题，它惊讶指数甚至高达4.24 倍。
结论：AI 的大脑其实分得清真假，它知道哪些是编的。

发现二：嘴上却死不认账（外部沉默）

虽然心里慌得不行，但 AI 在写答案时，却从来没有说过“我不知道”、“我不确定”或者“这听起来有点怪”。

比喻：这就好比那个书童，心里明明知道“诸葛亮不会飞”，但为了显得自己博学，他依然会一脸严肃地给你编一段：“诸葛亮确实飞了，而且飞得很高……"
数据：无论题目多离谱，AI 使用“不知”、“未闻”（不知道/没听说过）这类表示谦虚或存疑的词，频率几乎为零。甚至对于它知道的真题目，它反而更爱用这些词（因为古文里爱用“臣愚不知”这种客套话），而对于它不知道的假题目，它却自信满满地胡说八道。

3. 跨语言验证：全人类都一样

为了确认这不是巧合，研究人员又用英语（GPT-2 模型）和日语（rinna 模型）做了同样的实验。

结果惊人的一致：
- 中文模型：爱用客套话，但那是为了“装谦虚”，不是真不知道。
- 英文模型：偶尔说“我不确定”，但不管题目真假，频率都差不多。
- 日文模型：几乎从不犹豫，像百科全书一样自信地胡说八道。
结论：不管是什么语言，只要没有经过特殊的“人类反馈强化学习”（RLHF，即让人类教它什么时候该闭嘴），AI 就永远学不会“承认自己无知”。

4. 为什么会出现这种情况？（核心隐喻）

这篇论文提出了一个深刻的观点：“创造力”和“幻觉”在数学上是同一回事。

比喻：想象 AI 是一个超级模仿秀演员。
- 它的训练数据里，古人回答问题时，有时候会说“臣愚不知”（这是修辞习惯，不是真的不知道）。
- 有时候古人会自信地胡说八道（比如神话传说）。
- AI 学会了模仿这些说话的模式，但它没有学会“思考”。
- 当它遇到没见过的题目时，它就像个没有自我意识的鹦鹉。它不知道“我不知道”这句话应该对应“内心困惑”的状态，它只知道“这句话在古文里长这样”。

5. 总结：我们需要“人类老师”来教它“认怂”

这篇论文告诉我们一个残酷的真相：
仅仅通过“读书”（语言模型训练），AI 无法进化出“自知之明”。

现状：现在的 AI 就像一个博学的书呆子，它肚子里有货（能区分真假），但它没有自我意识（不会表达“我不知道”）。它会在你问它“火星人口多少”时，自信地编造"120 万人”。
解决：我们之所以看到现在的 AI（如 GPT-4）会说“我不确定”，并不是因为它变聪明了，而是因为人类专门教过它（RLHF）。人类告诉它：“遇到不知道的事，要老实说不知道，不要瞎编。”

一句话总结：
如果不经过人类特意调教，AI 就是一个只会模仿、不懂自省的“伪学者”。它能把瞎话编得比真话还像真话，因为它根本不知道自己是在瞎编。

论文技术总结

1. 研究问题 (Problem)

大型语言模型（LLM）普遍存在“幻觉”（Hallucination）问题，即生成看似合理但事实错误的文本。尽管现代模型（如 GPT-4）能通过"RLHF"（人类反馈强化学习）学会表达不确定性（如“我不确定”），但核心问题在于：这种识别无知并表达无知的能力，是语言建模（Language Modeling）本身的涌现属性，还是必须依赖外部训练信号（如 RLHF）才能获得？

本研究旨在探究：在纯自回归语言建模（无 RLHF、无外部校准）的情况下，模型是否具备区分“已知”与“未知”的内部能力，以及这种内部认知是否能转化为外部的不确定性表达。

2. 方法论 (Methodology)

2.1 实验设置：古汉语模型

训练数据：构建了一个包含 15.6 亿个 Token 的**纯古汉语（文言文）**语料库。来源包括《四库全书》、《资治通鉴》、唐诗宋词等。
数据清洗：严格移除所有英文字符、阿拉伯数字和拉丁标点，确保语料为 100% 纯中文。
模型架构：从头训练（From Scratch）一个 3.18 亿参数的 Transformer 模型（24 层，隐藏层 1024 维）。
Tokenizer：基于 SentencePiece 的 BPE 分词器，词汇量 1.6 万，支持字节回退（Byte-fallback），确保 OOD（分布外）输入（如英文）能被编码为字节序列而非 <unk>。

2.2 测试设计
设计了六类测试，涵盖从分布内（In-distribution）到分布外（OOD）的连续谱：

分布内基准：标准古汉语提示。
Token 级 OOD：英文文本、数学符号。
语义 OOD：用古汉语风格描述现代概念。
事实 OOD（核心测试）：构建三组历史事件提示（每组 92 个）：
- 真实事件：可验证的历史事实。
- 虚构事件：使用真实/虚构日期编造的完全虚构事件。
- 半虚构事件：真实历史人物 + 虚构行为（如“苏轼发明飞行术”）。
混合 OOD：古汉语 + 英文混合。

2.3 评估指标

内部不确定性：通过**困惑度（Perplexity, PPL）**衡量。PPL 越高，表示模型对输入越不确定。
外部不确定性表达：统计生成文本中**认识论标记（Epistemic Markers）**的频率，如“不知”、“未闻”、“臣愚”等表示不确定或谦逊的词汇。
跨语言验证：在英语（GPT-2 系列）和日语（rinna 系列）模型上复现实验，验证结论的普适性。

3. 关键发现与结果 (Key Results)

3.1 内部知识编码：模型“知道”它不知道

PPL 显著差异：模型在内部层面能清晰区分真实与虚构历史。
- 真实事件 PPL 最低。
- 虚构事件 PPL 约为真实的 2.39 倍 ( $p = 8.9 \times 10^{-11}$ )。
- 半虚构事件（真实人物 + 虚构行为）PPL 最高，约为真实的 4.24 倍 ( $p = 1.1 \times 10^{-16}$ )。
结论：模型并非仅进行句法模式匹配，而是编码了真实的事实性知识（Factual Encoding）。当历史人物与虚构行为结合时，模型内部产生了最大的认知冲突。

3.2 外部表达缺失：内部与外部的解离

无不确定性表达：尽管内部 PPL 显著升高，模型从未学会在生成文本中表达不确定性。
反向趋势（谦逊悖论）：
- 对于分布内（已知）问题，模型使用不确定性标记的频率反而更高（8.3%）。
- 对于分布外（未知/虚构）问题，不确定性标记频率更低（3.5%）。
原因分析：古汉语训练数据中，不确定性表达（如“臣愚不知”）是一种修辞惯例（Rhetorical Convention），常用于正式回答前的客套，而非真实的认知状态。模型学会了这种表面模式，将其应用于熟悉的话题，而在面对陌生话题时，因缺乏对应模板，直接自信地生成虚构内容。

3.3 训练过程中的稳定性

在 7 个训练检查点（Checkpoints）中，随着训练进行，模型的内部知识（PPL 跳变比）稳步增长，但外部不确定性表达率始终保持在 2-4% 的平坦水平。这表明元认知表达能力不会随训练自然涌现。

3.4 跨语言与跨规模验证

英语 (GPT-2) 和 日语 (rinna) 模型复现了相同结果：
- 内部 PPL 能区分事实与虚构（随模型规模增大，区分度增强）。
- 外部表达完全由训练数据的修辞习惯决定：
  - 古汉语模型：已知话题更多“谦虚”（悖论）。
  - 英语模型：分布内/外表达频率无显著差异（约 4-5%）。
  - 日语模型：几乎从不表达不确定性（<2%），因为维基百科风格通常不 hedge。
结论：无论语言、文字系统或模型规模如何，纯语言建模无法自发产生“我不知道”的元认知表达。

4. 核心贡献 (Key Contributions)

证明了事实编码与模式匹配的区别：通过 2.39 倍至 4.24 倍的 PPL 跳变，证实模型内部编码了超越句法的事实知识，特别是能识别“真实人物 + 虚构行为”的矛盾。
揭示了“内部 - 外部”解离现象：模型拥有内部的不确定性信号（高 PPL），但无法将其映射为外部的语言行为（不确定性表达）。这种解离在训练过程中是稳定的。
提出“谦逊悖论” (Humility Paradox)：模型在已知话题上更频繁地使用“我不知道”等词汇，因为这是训练数据中的修辞套路；而在真正不知道的话题上，它反而自信地胡编乱造。
重新定义幻觉与创造力：在缺乏外部校准机制（如 RLHF、RAG）的情况下，“创造力”与“幻觉”在数学上是不可区分的，都是对 learned probability distribution 的采样。区别仅在于外部验证。
跨语言普适性结论：元认知表达（承认无知）不是语言建模的涌现属性，必须依赖显式的外部训练信号（如 RLHF）。

5. 意义与启示 (Significance)

对 RLHF 的重新审视：现代大模型表现出的“拒绝回答”或“表达不确定”并非源于对知识的深刻理解，而是 RLHF 强加的一层行为映射层（Behavioral Layer）。如果没有这层映射，模型本质上是一个“缺乏自我意识的博学学者”。
安全与对齐：单纯依靠扩大模型规模或增加训练数据无法解决幻觉问题。要解决幻觉，必须引入外部校准机制（如检索增强生成 RAG、事实核查工具或 RLHF），将内部的不确定性信号强制映射到输出行为上。
评估方法的局限：仅通过生成文本的流畅度或表面词汇无法判断模型是否“知道”自己在胡编乱造。未来的评估需要结合内部状态（如 PPL、熵）与外部行为的一致性分析。

总结：该论文通过严谨的对照实验证明，语言模型可以“知道”自己不知道（内部状态），但绝不会“说”自己不知道（外部行为），除非经过专门的外部训练。这一发现从根本上挑战了关于大模型自我意识涌现的假设，强调了外部校准在构建可靠 AI 系统中的必要性。