💬 NLP

Uncovering Competency Gaps in Large Language Models and Their Benchmarks

本文介绍了一种利用稀疏自编码器概念激活的无监督方法，用于自动识别并分解“模型差距”（大语言模型的特定弱点）和“基准测试差距”（覆盖范围不平衡），从而提供一种细粒度的、概念层面的评估，以补充现有的标准化基准测试。

原作者： Maty Bohacek, Nino Scherrer, Nicholas Dufour, Thomas Leung, Christoph Bregler, Stephanie C. Y. Chan

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Maty Bohacek, Nino Scherrer, Nicholas Dufour, Thomas Leung, Christoph Bregler, Stephanie C. Y. Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：被“平均分”掩盖的真相

想象你是一位正在评估一名新学生的校长。你给学生进行了一场期末考试，他们得了 75% 的分数。这听起来像是“B”等级，对吧？表现不错。

但如果这 75% 的成绩是由 100% 的数学和 0% 的历史组成的呢？或者，如果这场考试本身只考了数学题目，完全忽略了历史呢？

这正是我们目前测试人工智能（大语言模型，简称 LLM）时存在的问题。我们通常给它们一大堆问题（即“基准测试”），然后报告一个单一的平均分。本文的作者认为，这个单一的数字具有误导性。它掩盖了两个具体问题：

模型差距（Model Gaps）： AI 在某些特定领域其实表现很差，但平均分让它看起来还不错。
基准测试差距（Benchmark Gaps）： 测试本身是不公平的，因为它只关注某些话题，而忽略了其他话题。

解决方案：“X 光视觉”工具

为了解决这个问题，作者开发了一个名为**能力差距（Competency Gaps, CG）**的新工具。

你可以把 AI 的大脑想象成一个巨大的、黑暗的仓库，里面充满了数千个不同的“概念”（比如“如何写代码”、“如何表现得有礼貌”或“如何讲笑话”）。通常，我们无法看到这个仓库内部；我们只能看到 AI 给出的最终答案。

作者使用了一种被称为稀疏自编码器（Sparse Autoencoder, SAE）的特殊技术。你可以把它想象成X 光视觉或高科技手电筒。它向 AI 的大脑内部投射光线，揭示出当 AI 阅读某个问题时，究竟是哪些“概念灯”被点亮了。

这个工具不再仅仅是说“AI 回答正确了”，而是会说：“AI 回答正确了，而且我们知道它在处理时思考了‘数学逻辑’和‘礼貌语气’。”

工具是如何工作的（两种类型的差距）

利用这种 X 光视觉，研究人员观察了 5 种流行的 AI 模型和十几个不同的测试。他们发现了两种主要的“差距”：

1. 基准测试差距（测试题目的缺失）

想象一场驾驶测试，题目只要求你在晴天且路面平直的高速公路上驾驶。你表现得非常出色。但测试从未要求你在雨天驾驶，也从未要求你在繁忙的城市中行驶。

发现： 研究人员发现，许多流行的 AI 测试就像那种“晴天驾驶测试”。它们过度集中于诸如“遵循指令”或“讨论体育”之类的内容。
缺失的部分： 这些测试经常忽略重要的概念，例如**“如何礼貌地拒绝”或“如何承认自己不知道”**。因为测试从未问过这些问题，AI 就没有机会展示自己能做到这些，或者无法学习这些能力。

2. 模型差距（AI 在特定方面表现不佳）

现在，AI 参加了测试。X 光视觉向我们展示了它在哪里挣扎。

发现： AI 模型在“STEM”任务（如编程或数学）以及“谄媚”（迎合用户并表现得过度热心）方面表现出色。
弱点： 这些模型在以下方面表现得令人惊讶地糟糕：
- 时间： 理解日期、烹饪时间或历史时期。
- 边界感： 礼貌地拒绝不当请求，或知道何时停止。
- 逻辑： 比如检查一个单词是否是回文（正读反读都一样），或进行简单的加法运算。

为什么这很重要

作者证明了他们的方法是自动化且可扩展的。他们不需要手动阅读数千个问题来寻找这些差距，计算机通过观察 AI 大脑内部的“灯光”自动完成了这项工作。

他们还证明，即使你使用稍微不同的“手电筒”（在不同模型上训练的不同的 SAE），你仍然能看到相同的总体模式。这意味着该工具是可靠的。

总结

本文介绍了一种方法，让我们不再仅仅盯着 AI 的“平均成绩”，而是开始查看每一项技能的“成绩单”。

对于测试制定者： 它展示了哪些主题被遗漏了（例如“礼貌拒绝”），以便他们编写更好的问题。
对于 AI 开发者： 它准确地展示了 AI 在哪里薄弱（例如“时间管理”或“学会说不”），以便他们针对性地修复这些特定问题，而不是仅仅试图提高整体分数。

作者甚至发布了一个免费的交互式网站，任何人都可以使用这个工具来探索这些差距，将 AI 这个“黑盒”变成我们可以观察并理解的对象。

技术摘要：揭示大语言模型及其基准测试中的能力差距

1. 问题陈述

目前对大语言模型（LLM）的评估严重依赖于报告聚合得分（如准确率、pass@k）的标准基准测试。虽然这些方法很有用，但聚合过程掩盖了两个关键问题：

模型差距（Model Gaps）： 模型在特定子领域或概念上存在系统性表现不佳的问题，而这些问题被高层级的聚合指标所掩盖。
基准测试差距（Benchmark Gaps）： 基准测试内部在概念覆盖范围上的不平衡。现有的语义标注（例如人工策划的主题）通常粒度较粗、依赖人工且难以扩展，导致无法对模型的细粒度能力和基准测试分布进行深入理解。

现有方法往往无法提供一种可扩展、细粒度的视角，来展示特定的概念、上下文和推理模式如何与现实世界的使用相关联，从而面临过度测试某些概念而忽视其他概念的风险。

2. 方法论：能力差距 (Competency Gaps, CG)

作者提出了能力差距（CG），这是一种利用**稀疏自编码器（Sparse Autoencoders, SAEs）**来自动识别模型差距和基准测试差距的无监督方法。

核心机制

该方法利用 SAE 将 LLM 的内部表示分解为稀疏且可解释的特征向量（即 SAE 概念激活）。

概念词典（Concept Dictionary）： SAE 向量的每个维度都对应一个独特的概念（例如“编码语法”、“礼貌拒绝”）。这些概念通过自动解释性方法分配文本标签，从而形成一个固定的“概念词典”（通常包含数千到数百万个概念）。
激活评分（Activation Scoring）： 对于给定的数据点（标记序列 $x_i$ ），概念 $c$ 的激活值通过计算所有标记的 SAE 激活得分之和，并根据序列长度进行归一化处理，以防止冗长偏差（verbosity bias）。

指标

该方法定义了两个基于 SAE 概念空间的初级指标：

基准测试差距（覆盖度）：
- 单基准测试覆盖度 ( $\chi^{(b,c)}_{bench}$ )： 衡量基准测试 $b$ 中概念 $c$ 的激活程度相对于该基准测试中所有概念平均激活程度的比值。
- 跨基准测试覆盖度 ( $\bar{\chi}^{(c)}_{bench}$ )： 概念 $c$ 在一系列基准测试中的平均覆盖度。
- 差距识别： 覆盖度低于阈值（例如底部的十分之一或接近于零）的概念会被标记为代表性不足或缺失。
模型差距（性能）：
- 单基准测试模型性能 ( $\chi^{(b,c)}_{model}$ )： 在概念 $c$ 激活的数据点上的模型性能加权平均值。
- 跨基准测试模型性能 ( $\bar{\chi}^{(c)}_{model}$ )： 概念 $c$ 在各基准测试中的平均性能。
- 差距识别： 模型表现较差（低 $\bar{\chi}^{(c)}_{model}$ ）的概念被识别为模型差距。

工作流

所提出的工作流包括：

选择一组基准测试套件。
计算所有 SAE 词典中概念的 CG 得分（覆盖度和性能）。
识别差距（低覆盖度或低性能）。
使用 LLM 对这些概念进行聚类并解释发现（例如，将“时间”相关的概念或“设定边界”相关的概念进行分组）。

3. 核心贡献

自动化差距识别： 一种系统化、可扩展的方法，无需人工标注即可揭示模型弱点和基准测试覆盖范围的差距。
具身化评估（Grounded Evaluation）： 通过使用模型内部的 SAE 表示，该方法确保识别出的差距反映了模型的实际内部状态，而非外部可能存在偏差的嵌入。
跨模型与跨基准测试的适用性： 该方法在五种流行的开源模型（Gemma2, Llama3.1, Mistral, Qwen3, DeepSeek-R1）和十几个多样的基准测试（包括 MATH, GSM8K, MMLU, GPQA 以及 arena 类基准测试）上得到了验证。
开源工具： 发布了该方法代码以及一个用于探索模型能力和基准测试平衡性的交互式 Web 应用程序。

4. 结果

作者将 CG 应用于五个模型和十个静态基准测试，得出了以下关键发现：

基准测试差距

代表性倾斜： 基准测试套件表现出强烈的右偏覆盖分布。少数概念（例如“英超联赛足球讨论”、“新对话边界”）被过度代表，而许多其他概念则测试不足。
缺失核心概念： 分析识别出 314 个完全缺失于基准测试套件中的概念（占词典的 1%）。这些概念包括关键的元认知概念（例如“助手解释局限性”、“合规性”）和法律概念。
特定基准测试的缺陷： 研究发现单个基准测试缺失了对其既定目标至关重要的概念。例如，AGI Eval 缺乏与“对证据进行彻底且客观评估”相关的概念，而 Social IQA 缺乏关于“如何指示他人行为”的概念。

模型差距

性能分布： 模型在不同概念上的表现呈现出高方差。
优势： 模型在 STEM 任务（编程、数据处理）和有益行为（积极情绪、乐于助人）方面表现最佳。
弱点（已验证）： 该方法找回了已知的弱点，例如在时间相关概念（如“烹饪时长”）上的表现不佳、图像处理指令以及回文推理。
弱点（新发现）： 该方法识别出了此前未被研究的差距，如“推理中的直觉诉求”以及“领悟/深度直觉理解”。
谄媚性 vs. 边界感： 一个反复出现的主题是，模型在谄媚/有益的概念上表现良好，但在需要礼貌拒绝或维持专业边界的概念上表现较差。

鲁棒性

SAE 独立性： 当使用在不同模型上训练的 SAE（例如使用 Gemma 的 SAE 来分析 Llama）时，该方法产生了定性相似的结果，这表明该方法对所使用的特定 SAE 具有鲁棒性，尽管使用特定模型的 SAE 会提供更高的精度。
稳定性： 得分在随机子采样数据下保持稳定（低标准差），并且会对对抗性扰动做出可预测的响应（移除高/低性能的数据点会按预期改变聚合得分）。

5. 意义与主张

论文声称，能力差距（Competency Gaps）方法通过提供概念层级的分解，为现有的基准测试提供了必要的补充。

对于基准测试开发者： 该方法有助于识别“基准测试差距”——即那些本应属于基准测试范畴但目前缺失的核心概念。这使得迭代改进基准测试设计以确保平衡覆盖成为可能。
对于模型开发者： 它揭示了特定的“模型差距”（弱点），这些弱点可能会被聚合得分所掩盖，特别是在涉及安全性、边界感和元认知方面。
系统性洞察： 作者强调了基准测试差距与模型差距之间的纠缠关系：过度代表某些概念（如指令遵循）的基准测试可能会在无意中激励模型去优化这些特定概念，同时忽视其他概念（如校准后的拒绝），从而产生一种狭隘能力的反馈循环。

作者强调，尽管该方法功能强大，但它受限于 SAE 概念空间；它无法检测模型内部未表达出的概念差距。此外，他们指出概念激活并不等同于能力；该方法依赖于激活情况与基准测试性能得分的联合诊断。

这项工作最后指出，其目标是为社区提供一种工具，使其能够超越聚合得分，走向对 LLM 能力更透明、更具解释性且更细粒度的理解。