💬 NLP

Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery

该论文提出了向量量化潜在概念（VQLC），这是一个可扩展的框架，通过从冻结的 LLM 隐藏状态中学习可解释的离散潜在概念，在提供与 K-Means 相当的计算效率的同时，实现了层次聚类的语义连贯性。

原作者： Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、极其聪明的图书馆（即大型语言模型，或称 LLM），它能够写故事、回答问题并解决问题。但有一个限制：书里的内容是用一种秘密代码编写的。你可以看到页面上的文字，但你不知道图书管理员为什么选择这些特定的词来回答你的问题。

长期以来，科学家们一直试图通过观察单个词（token）来理解图书管理员的逻辑。这就像是通过观察电影的单帧画面来试图理解一部电影。你看到了演员，却错过了剧情。

其他科学家尝试将这些词组合成“概念”（例如将所有关于“体育”或“政治”的词归为一类）。但他们遇到了障碍：

“超级组织者”法（层次聚类）：这种方法擅长寻找完美的组别，但它速度极慢且极其耗费内存，只能处理微型图书馆。如果你尝试在庞大的图书馆上使用它，它就会崩溃。
“快速排序”法（K-Means）：这种方法速度很快，可以处理巨大的图书馆，但它生成的组别往往很混乱，在语义上并不太符合逻辑。

迎来 VQLC：“数字文件柜”

论文作者提出了一种名为 VQLC（向量量化潜概念）的新方法。你可以把它想象成为这个图书馆的秘密代码构建一个超高效的数字文件柜。

它是如何工作的，让我们用一个简单的类比来说明：

1. 文件柜（码本/Codebook）

想象你有一个拥有 400 个抽屉的文件柜（这就是“码本”）。每个抽屉代表一个特定的“概念”或想法，比如“棒球”、“石油价格”或“有害评论”。

2. 分拣邮件（向量量化）

当图书馆处理一个句子时，它会将每个词转化为一个复杂的数据点。与其尝试将每一个词与其它所有词进行比较（这非常慢），VQLC 会针对每个词进行询问：“这个词最适合放入我的 400 个抽屉中的哪一个？”

这就像一个邮件分拣员，根据邮政编码瞬间将信件投入正确的箱子中。无论你有多少封信（词），这个过程都极其迅速，且不需要大量的内存。

3. 学习标签（训练）

起初，抽屉是空的，标签也是错误的。系统会阅读数百万个句子，并学习如何调整标签。

如果它看到了“谢菲尔德”、“拉米雷斯”和“杰特”，它会意识到这些词都属于**“棒球运动员”**这个抽屉。
如果它看到了“GDP”、“石油”和“收益”，它会将它们放入**“市场指标”**这个抽屉。

系统使用一种“重构”技巧：它尝试仅根据抽屉标签来重建原始句子。如果它能很好地重建句子，就说明它把词放进了正确的抽屉。

4. 结果：清晰的解释

一旦系统训练完成，你可以问它：“为什么模型预测这条新闻是关于商业的？”
VQLC 不会向你展示一堆混乱的词汇列表，而是指向它所使用的特定抽屉：“啊，因为它看到了关于石油价格和 GDP 的词，所以它使用了‘市场指标’这个抽屉。”

为什么这很重要？

论文在 12 种不同的场景下（使用不同的模型和数据集）将这种新的“文件柜”方法与旧方法进行了对比测试。以下是他们的发现：

速度与规模：与“超级组织者”法不同，VCL 即使在图书馆变得巨大时也不会崩溃。它使用的内存非常少，几乎与“快速排序”法一样少。
质量：与“快速排序”法那些混乱的组别不同，VCLC 的抽屉非常清晰且符合逻辑。
平衡点：VCLC 找到了完美的平衡。它既拥有廉价方法的速度，又具备昂贵方法的智能。
解码器模型：作者指出，这种方法在“仅解码器”（decoder-only）模型（即我们今天使用的类似聊天机器人的模型）上表现得尤其出色，因为在这些模型中，它找到了最清晰的概念。

核心结论

该论文声称，VCLC 是打开 AI “黑盒”的一种可扩展且高效的方法。它将模型内部令人困惑的高维数学运算转化为一组整齐且可理解的概念，使我们能够在无需超级计算机进行计算的情况下，看清 AI 究竟是利用哪些想法来做出决策的。

注：本文严格侧重于解释这些模型是如何工作的（例如解释为什么新闻分类器选择了“商业”）。它并不声称该方法目前被用于临床诊断、法律决策或其他超出理解模型内部逻辑之外的特定现实世界应用。

技术摘要：矢量量化潜在概念 (VQLC)

问题陈述

大语言模型 (LLMs) 在其隐藏状态中编码了丰富的语义信息，然而解释这些内部表示仍然具有挑战性。虽然基于标记（token-level）的归因方法（如 Integrated Gradients, SHAP）可以识别显著的输入标记，但它们对模型所编码的高层语义结构提供的洞察有限。潜在概念发现旨在通过将上下文表示分组为离散且可解释的概念来解决这一问题。然而，现有方法面临着可扩展性与概念质量之间的根本权衡：

层次聚类 (例如 LACOAT)： 能产生连贯的概念，但存在二次方内存成本 ( $O(N^2)$ )，限制了其在小规模数据集上的应用。
K-Means 聚类： 扩展效率高，但在语义连贯性方面表现较差，且在可扩展性与忠实度之间的权衡能力较弱。

本文认为，需要一种既能保持基于质心方法的可扩展性，又能实现层次聚类语义连贯性的方法，特别是针对大规模 LLM。

方法论：矢量量化潜在概念 (VQLC)

作者提出了 VQLC，这是一个离散概念学习框架，它通过适配矢量量化 (Vector Quantization, VQ) 将连续的隐藏状态映射到一组有限的学习到的离散代码。该框架作用于从特定层提取的冻结隐藏状态。

架构组件：

编码器 (Encoder)： 一个轻量级的残差多层感知器 (MLP)，将上下文标记表示 ( $h^{(\ell)}_{w_i}$ ) 映射到代码空间。它结合了一个直接线性投影和一个非线性修正分支，以在实现稳定离散分配的同时保留原始模型空间。
矢量量化器 (Vector Quantizer)： 该模块维护一个可学习的代码本 $E = \{e_1, \dots, e_K\}$ $E = {e_{1}, \dots, e_{K}}$ 。每个编码后的表示根据平方欧几里得距离被分配给最近的代码本向量。
- 初始化： 代码本使用在去重后的训练表示上进行“最远优先”遍历进行初始化，以确保对表示空间的广泛覆盖。
- 学习： 代码本通过分配到的编码器输出的指数移动平均 (EMA) 进行更新，而非直接使用梯度步，以确保稳定性。一种“死代码恢复”机制利用具有最大分配误差的编码器输出来重新初始化未使用的代码。
解码器 (Decoder)： 残差解码器从量化向量重建原始隐藏状态。训练目标是最小化重建损失 ( $L_{rec}$ ) 和承诺损失 ( $L_{commit}$ )，以使编码器输出尽可能接近其分配的代码本向量。

概念构建：
训练完成后，模型被冻结。概念构建过程通过聚合所有被分配到同一代码索引 $k$ 的编码标记表示，从而形成一个概念向量 $v_k$ 。一个潜在概念 $c_k$ 被定义为对 $(v_k, \text{分配的标记})$ 。在推理阶段，新的标记表示被分配到学习到的代码本中，相应的概念解释了这些表示中所编码的语义信息。

核心贡献

可扩展的离散学习： VQLC 引入了一种用于潜在概念发现的矢量量化框架，避免了层次聚类的二次方内存依赖。
优化的权衡： 该方法实现了忠实度（概念质量）与可扩展性之间的良好平衡，随着数据集规模的增加，保持了近乎恒定的内存使用量。
全面的评估： 本文在 12 个数据集-模型设置下进行了多维度评估，包括：
- 可扩展性： 运行时和内存分析。
- 忠实度： 通过通过正交投影消融概念方向后，测量模型置信度和预测标签的变化来衡量。
- LLM-as-a-Judge： 使用多个 LLM（Claude, Gemini, DeepSeek）进行评估，对概念与模型预测的对齐程度进行排名。
- 定性分析： 概念词云可视化及案例研究。
- 与 SAEs 的比较： 与稀疏自编码器 (SAEs) 进行对比，以突出特征级解释与概念级解释之间的差异。

结果

可扩展性： 在使用 Qwen 模型的 ERASER 数据集上，VQLC 随标记数量线性扩展。当 K-Means 的内存从 1.8GB 增长到 17.5GB 且 LACOAT 在 200k 个标记时失效（需要约 229GB）时，VQLC 保持几乎恒定，在 500k 个标记时仅从 1.94GB 增加到 2.54GB。
忠实度： VQLC 在 6/12 个数据集-模型设置中实现了最高的平均置信度变化。它在仅解码器模型（Llama-2, Qwen）上表现出最明显的增益，在 6 个解码器设置中的 5 个中优于基准模型，同时在基于编码器的模型（RoBERTa）上与 K-Means 和 LACOAT 保持竞争优势。
LLM 评估： 在 LLM-as-a-judge 排名中，VQLC 在 8/12 个设置中获得了最佳平均排名，这表明其概念比 K-Means 或 LACOAT 更符合任务对齐。
与 SAEs 的比较： 不同于产生大量低激活率稀疏特征的 SAEs，VQLC 生成了一组较小的概念（例如约 400 个），这些概念在显著更大比例的测试样本上是活跃的。研究发现，在 Qwen 模型设置中，VQLC 的概念编码了更多与预测相关的任务信息。
定性发现： 可视化显示 VQLC 概念具有语义连贯性（例如，在体育领域区分了“棒球运动员”与“足球”；或在科学/技术领域区分了“临床药物”与“网络基础设施”）。在案例研究中，与 K-Means 或 LACOAT 较宽泛的聚类相比，VQLC 提供了更精确的模型预测解释。

意义与主张

本文声称 VQLC 为 LLM 的基于聚类的概念发现提供了一种实用且可扩展的替代方案。它成功解决了层次聚类的内存瓶颈，且没有牺牲所发现概念的语义连贯性。作者强调，VQLC 对于仅解码器模型特别有效，因为它能比现有基准方法更有效地识别任务相关的概念方向。

这项工作将 VQLC 定位为并非要取代像 SAEs 这样的机械解释性工具，而是一种补充性的方法，旨在将表示组织为任务级潜在概念，而非单语义特征。作者指出了一些局限性，包括该框架对超参数（代码本大小、承诺权重）的敏感性，以及目前主要关注分类任务，这表明将此方法扩展到生成式的逐标记推理是未来的研究方向。