💬 NLP

Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale

本文表明，尽管大语言模型拥有能够跨多种规模准确区分已知实体与虚构实体的内部激活信号，但这种“意识”并未转化为行为上的可靠性，因为模型经常对已知实体产生幻觉，且几乎从不拒绝回答，从而揭示了实体熟悉度与事实正确性之间存在根本性的脱节。

原作者： Grzegorz Brzezinka

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Grzegorz Brzezinka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Bielik 是否知道自己不知道？》（Does Bielik Know What It Doesn't Know?）的简单语言及类比解释。

核心问题

想象你正在问一个非常聪明、博学多才的机器人（AI）一个问题。你想知道：当机器人在谈论它真正了解的内容与它在胡编乱造时，它的内心“感觉”是否会有所不同？

研究人员想要观察，是否可以在机器人还没说完句子之前，通过窥探它的“大脑”（其内部计算机信号），来判断它是在自信地回答，还是准备开始“幻觉”（撒谎）。

实验过程：“波兰机器人”

团队测试了一个名为 Bielik 的波兰 AI 模型家族。他们让这些机器人回答关于四类事物的问题：

运动员（包括像莱万多夫斯基这样著名的、默默无闻的，以及虚构的运动员）。
城市（如华沙、小村庄、虚构的名字）。
作家和 音乐家。

他们为每种类型设计了三类问题：

已知（Known）： 机器人肯定知道的著名事物。
模糊（Obscure）： 机器人可能从未听说过的真实事物。
虚构（Fake）： 听起来很真实的编造名字（例如“Roman Lewandowicz”）。

发现：“大脑光芒”

研究人员观察了机器人在读完问题之后、开始打字回答之前的内部电信号活动（称为“激活值”）。他们使用了两种简单的数学工具来测量这种大脑活动的“分散程度”或“聚焦程度”。

类比：图书馆 vs. 混乱的人群

当机器人知道答案时： 想象一位图书管理员径直走向特定的书架，拿起一本特定的书，然后把它拿到柜台前。这种活动是聚焦且集中的。
当机器人不知道（或在胡编乱造）时： 想象一群混乱的人群在图书馆里乱跑，触摸随机的书架，并向四面八方大喊大叫。这种活动是分散且混乱的。

结果：
这些数学工具可以以 95% 到 100% 的准确率区分出“专注的图书管理员”和“混乱的人群”。

这对各种规模的机器人（从 15 亿参数的小模型到 110 亿参数的大模型）都有效。
这对所有类型的主题（运动员、城市等）都有效。
它是即时的，只需看一眼大脑活动，无需额外的测试。

代价：
机器人的大脑知道它不知道答案，但它并没有说出来。它只是继续在那儿滔滔不绝。

两种不同的“增长曲线”

这是论文中最令人惊讶的部分。研究人员发现，随着机器人的规模变大，两件事发生的速率不同：

感知“我不知道”（大脑信号）：
- 即使是最小的机器人（1.5B）也拥有完美的“我不知道”的大脑信号。当被问及一个虚构人物时，它能立刻察觉。
- 增大机器人的规模并没有改变这一点；它已经达到了顶尖水平。
给出正确答案（行为表现）：
- 最小的机器人在给出正确事实方面表现很差。它会瞎猜，并且猜错。
- 随着机器人变得更大，它们给出正确事实的能力就越强。最大的机器人（11B）要准确得多。

类比：
想象一个学生正在参加考试。

小个子学生： 知道自己在瞎猜（大脑很紧张），但还是写下了一个错误的答案。
大个子学生： 知道自己在瞎猜（大脑很紧张），同时也已经学到了足够的知识，从而能写出正确的答案。
差距： 小学生的脑子知道自己在瞎猜，但他的嘴巴仍在胡言乱语。大个子的脑子知道，而他的嘴巴终于说出了事实。

“拒绝回答”的问题

研究人员检查了机器人是否会说“我不知道”并停止回答。

在 2,520 个回答中，机器人仅有两次拒绝回答。
尽管它们的大脑在尖叫着“这是假的！”（确定度达 99%），但它们的嘴巴仍在编造故事。
只有最大的机器人偶尔会拒绝回答，即便如此，这种情况也非常罕见。

这意味着什么（用简单的话说）

我们可以检测谎言： 我们可以为 AI 构建一个简单的“测谎仪”，通过检查它说话前的脑部活动。如果大脑活动看起来很“分散”，那么 AI 很可能在胡编乱造。
这与规模无关： 意识到自己在瞎猜的能力在小型模型中就已经存在了。而真正掌握事实的能力则需要更大的规模和更多的训练。
AI 是固执的： AI 知道自己在瞎猜，但它不会停下来。这就像一个人在玩扑克时明明知道自己在虚张声势，但因为程序设定要求必须给出答案，所以依然继续玩下去。

总结

论文证明了 AI 模型拥有一种清晰的内部信号，提示：“我从未见过这个东西。” 这个信号是完美的，且能即时生效。然而，模型非常不擅长听从这个信号并停止胡编乱造。它们知道自己不知道，但它们依然会继续说话。

技术摘要：激活离散度区分实体熟悉度与事实可靠性

问题陈述

大型语言模型（LLMs）在被查询其预训练期间未遇到的实体时，经常会出现幻觉。虽然机制研究表明，知识检索涉及局部化的激活模式，而幻觉涉及去局部化的激活模式，但目前尚未测试无监督、单次前向传播的离散统计量能否在生成任何答案标记之前，检测出实体的熟悉度。此外，尚不清楚这种内部“熟悉度信号”是否与模型的行为事实可靠性（即模型是否能对已知实体做出正确回答）相关联。

本研究通过 Bielik 系列波兰指令微调模型（1.5B 至 11B 参数）来解决这些差距。研究探讨了激活离散度是否能区分已知实体、真实但模糊的实体以及虚构实体，以及该信号是否追踪模型的正确回答能力。

研究方法

数据集与实验设计

作者构建了一个涵盖四个实体领域的数据集：运动员、城市、作家和音乐家。每个领域包含 126 个实体，分为三种情况（每种 42 个）：

已知（Known）： 著名的实体（例如 Robert Lewandowski）。
未知-真实（Unknown-Real）： 真实但模糊的实体（例如低级别联赛的运动员），模型可能无法对其进行描述。
虚构（Fabricated）： 形态上看似合理但虚构的名字（例如 "Roman Lewandowicz"）。

提示词为单句问题（“谁是 {entity}？”或“什么是 {entity}？”）。运动员领域作为行为分析的主要测试平台，而其他三个领域则用于测试泛化性。

信号提取与指标

对于每个提示词，执行单次前向传播。研究重点关注提示点（prompt point）处的后 SwiGLU MLP 激活值（即在处理完实体后的最后一个 token 处）。

离散度指标（无监督）：
- 逆参与率（Inverse Participation Ratio, IPR）： 衡量激活的集中程度（高 IPR = 局部化）。
- 谱熵（Spectral Entropy）： 衡量归一化激活分布的熵（低熵 = 局部化）。
- 预处理： 激活值在第 99 分位数处进行缩尾处理（winsorized），以防止巨大的离群值主导统计数据。
有监督上限： 使用基于隐藏状态的 $\ell_2$ 正则化逻辑回归探针，以确定最大线性可解码信号。
基线：
- Token 计数（Token Count）： 基于实体长度的词汇基线。
- 语义熵（Semantic Entropy）： 一种多样本基线（5 个样本 + LLM 聚类），衡量答案的一致性。
- 首个 Token 熵（First-Token Entropy）： 输出侧熵基线。

评估框架

选择感知空假设（Selection-Aware Nulls）： 为了防止对层选择的过拟合，作者使用了置换检验（10,000 次置换），其中标签被随机打乱，并为每次置换重新选择最佳层/指标。这些空假设最大值的第 95 百分位作为性能底线。
留出验证（Held-Out Validation）： 在一半数据上选择层，并在另一半数据上进行评估。
行为审计： 对于运动员领域，使用 LLM 评判员（Claude Opus 4.8）根据严格和宽松的准则对答案的事实正确性进行评分。另一个审计（Claude Haiku 4.5）统计了拒绝回答和回避回答（hedged answers）的数量。

核心贡献

无监督熟悉度检测： 研究表明，在单次前向传播中计算出的简单闭式离散统计量（IPR 和谱熵）可以区分已知实体和虚构实体，在所有模型规模（1.5B–11B）下 AUROC 达到 0.94–1.00。该信号超过了选择感知的置换底线（~0.70–0.74），并在留出层选择中保持有效。
跨领域泛化： 检测器在运动员、城市、作家和音乐家之间具有泛化能力。跨领域探针转移的平均非对角线 AUROC 为 0.92–0.99。在转移到“城市”领域时观察到的性能下降被证明是由提示模板差异（“什么是”与“谁是”）而非实体类型引起的，通过匹配模板的反事实实验得到了证实。
解离的缩放曲线： 论文识别了两种不同的缩放行为：
- 表征熟悉度（Representational Familiarity）： 区分已知与未知实体的能力在最小规模（1.5B）时就已经达到饱和（AUROC > 0.94），并且不会随规模显著提高。
- 行为可靠性（Behavioral Reliability）： 对已知实体进行正确回答的能力随规模急剧增长。对于已知运动员，在严格准则下的完全正确回答数从 0/42 (1.5B) 增加到 19/42 (11B)。
关于事实可靠性的负面结果： 在已知实体集合内，离散度指标无法区分正确回答和幻觉（AUROC ~0.68–0.82，通常与基线无法区分）。该信号检测的是熟悉度，而非真实性。
与语义熵的互补性： 虽然单次前向传播的离散度在“已知 vs 虚构”对比中优于语义熵（0.94+ vs 0.71–0.83），但语义熵在“正确 vs 幻觉”对比中优于离散度（高达 0.87）。两者消耗的是不同的信息（提示侧的熟悉度 vs 生成侧的一致性）。
弃权差距（The Abstention Gap）： 尽管模型携带了近乎完美的内部不熟悉信号，但它们几乎从不拒绝回答。在 2,520 个抽样的运动员回答中，仅出现了 2 次拒绝和 1 次回避回答（99.88% 为直接断言）。即使在 11B 模型中，这种差距依然存在，尽管此时内部信号是清晰可辨的。

结果

可分性： 最佳无监督离散度指标在已知 vs 虚构运动员的对比中实现了 0.936 (1.5B) 到 0.984 (4.5B) 的 AUROC。有监督探针达到了 0.99–1.00，表明信息存在于激活值中。
控制对比：
- 已知 vs 未知-真实： 离散度达到了 0.97–1.00，证明该信号追踪的是熟悉度，而非仅仅是虚构字符串的“怪异性”。
- 未知-真实 vs 虚构： 离散度达到了 0.70–0.82，表明虚构字符串中存在残余的词汇或合理性成分，但这远低于主要信号。
深度结构： 熟悉度信号存在于早期-中期层（相对深度 ~0.2），并贯穿整个网络。谱熵在所有模型中在相对深度 [0.48, 0.77] 处显示出一致的“知识带”。
注意力弥散性： 该信号并非由一小组固定的注意力头携带。逐头分析显示，熟悉度信号是弥散的，在所有四个领域的顶层 20 个头中，只有 1–2 个头是共享的。
行为缩放： 对已知实体的正确性随规模单调提高（在严格标准下，正确数从 0 → 2 → 10 → 19）。
拒绝行为： 模型很少弃权。11B 模型仅拒绝了两次；1.5B 和 4.5B 模型从未拒绝，尽管它们拥有相同的内部熟悉度信号。

意义与主张

论文声称，实体熟悉度和事实可靠性是两种不同的现象，其缩放曲线也不同。

熟悉度是一种低容量属性： 小模型（1.5B）已经拥有清晰的关于其所知与所不知的内部表示。这是对机制研究中发现的实体识别电路的一种“粗粒度、体积式的影子”。
可靠性是一种高容量属性： 在不产生幻觉的情况下检索事实需要更多的参数和数据重复。
对齐差距： 最显著的发现是近乎零拒绝的机制。模型拥有指示其不知道某个实体的“完美”内部信号，但它们几乎从不表现出这种行为。作者认为这是一个对齐/微调差距，而非能力差距，因为较大的模型（以及像 Gemma-4 这样的不同家族）可以在类似条件下被诱导进行拒绝。

论文得出结论，虽然激活离散度提供了一个廉价、无需标签的门控，用于检测不熟悉的实体（适用于路由到检索或弃权），但它不能用于检测关于熟悉实体的幻觉。内部状态告诉模型“我不知道这个实体”，但它并不会告诉模型“我正准备对这个已知实体撒谎”。