🤖 AI

CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

该论文介绍了 CRAFT，一种将基于评分标准的评估转换为层级化能力树的方法，旨在诊断模型的特定弱点并生成针对性的微调数据，从而在金融和法律领域实现较现有聚类和随机生成基准线更显著的性能提升。

原作者： Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个非常聪明但有点笨拙的机器人做一项新工作。你给它进行了一次测试，结果它失败了。一份标准的报告可能只会说：“机器人在数学部分失败了，”或者“机器人不擅长编写法律合同。”这虽然有用，但有点过于笼统。这就像医生告诉你：“你肚子疼，”却没告诉你是因为吃了不干净的东西、压力太大，还是需要吃药。为了让机器人下次做得更好，你需要确切知道哪里出了问题，这样你才能针对性地练习那个特定的点。

这就是大语言模型（LLM）的世界——那些能写故事、解难题、回答问题的超级聪明的人工智能大脑。科学家们多年来一直在构建更好的测试 AI 的方法，但大多数测试只给出一个最终得分。它们告诉我们 AI 在哪里薄弱，但没有告诉我们为什么。研究人员提出的核心问题是：我们如何将简单的“你失败了”转化为具体的“这里正是你需要练习的内容”？如果我们能回答这个问题，我们就能构建更好的训练数据，帮助 AI 学得更快、更聪明，而不是靠猜测下一步该教什么。

“评分标准”侦探：CRAFT

认识一下 CRAFT（用于可操作微调的聚类评分标准）。把 CRAFT 看作是一个超级强大的侦探，它不仅看学生考试的最终成绩，还会查看评分标准（即完美答案的检查清单）上的每一个细项，以查明学生究竟漏掉了哪项微小的技能。

以下是故事的展开方式：

1. “只有分数”的问题
想象你在批改一份数学家庭作业。一个标准的测试可能只会说：“你得了 60 分。”这对解决问题并没有太大帮助。是学生忘记了公式？是出现了简单的加法错误？还是忘记写单位（比如“米”或“美元”）？
在 AI 世界中，研究人员使用评分标准（rubrics）。评分标准就像是一份详细的检查清单。对于一道数学题，评分标准可能会说：“1. 识别正确的数字。2. 建立方程。3. 解出数学题。4. 添加正确的单位。”
大多数 AI 测试止步于最终得分。但 CRAFT 说：“等等！让我们看看这份清单。”它将清单上的每一项都视为对特定技能的一次微型“探测”或小型测试。

2. 魔法树
CRAFT 从不同的问题中提取数千个此类清单项，并要求一个聪明的 AI 来描述每一项正在测试什么技能。然后，它做了一件神奇的事情：它构建了一棵技能家族树。

在树的顶端，你会有像“金融”或“法律”这样的宽泛类别。
随着你向下延伸分支，技能会变得更加具体。“金融”分裂成“公司金融”，进而分裂成“融资成本”，再分裂成“计算利率”。
在最底层的叶片上，是具体的清单项，例如“答案是否提到了利率？”

这棵树很特别，因为它不仅仅是一个列表；它是一张地图。它展示了技能之间是如何关联的。

3. 寻找薄弱环节
现在，CRAFT 测试 AI 模型在所有这些问题上的表现。它不仅仅统计总分；它还会检查 AI 在树的每一个分支上的表现。

或许这个 AI 擅长“公司金融”（通过率为 84%），但在“计算利率”方面表现糟糕（通过率为 48%）。
又或者另一个 AI 在“利率”方面还可以，但在“理解政策变化”方面却失败了。

CRAFT 非常聪明，它知道你不应该只盯着最底层的叶片（太具体）或最顶层的分支（太笼统）。它会动态地搜索这棵树，以找到弱点最明显的“甜点区（sweet spot）”。这就像一位教练意识到：“你不需要练习整个足球运动；你只需要专门练习左脚角球。”

4. 有针对性的练习
一旦 CRAFT 找到了这些薄弱环节，它并不会止步于此。它利用这些环节来生成有针对性的练习数据。
想象你是一名老师。与其给学生 1000 道随机的数学题，CRAFT 会说：“这里有 40 道专门关于‘计算利率’的题目，因为这是你经常出错的地方。”
研究人员使用这种方法为四个不同的 AI 模型（Qwen3-4B, Qwen3-8B, Gemma-3-4B, 和 Llama-3.1-8B-Instruct）在两个困难领域（金融和法律）中创建了合成（计算机生成）的练习示例。

5. 结果：奏效了吗？
团队将 CRAFT 与另外两种方法进行了对比：

随机法（Random）： 从同一主题中随机抽取练习题。
EvalTree： 一种类似的方法，它将整个问题组合在一起，而不是将其分解为清单项。

结果非常明确：

在金融领域： CRAFT 在所有四种 AI 模型中都胜出了。它为它们带来了最大的性能提升，尤其是在较小的模型上。
在法律领域： CRAFT 在四种中的三种模型中表现最好。对于第四种模型，它的表现与最好的竞争对手不相上下，但并未更差。

研究表明，将事物拆解为微小、具体的技能（评分标准准则）比仅仅观察整个问题要好得多。这其中的区别在于，你是告诉学生“你数学不好”，还是告诉他“你需要练习长除法”。

CRAFT 不是什么
需要注意的是，这篇论文并没有声称 CRAFT 能解决所有问题，或者它在每一个基准测试中都能完美运作。事实上，结果会根据具体的 AI 模型和具体的测试而有所不同。有时，一种方法在某个特定问题上可能略好，但从整体领域的平均表现来看，CRAFT 始终是赢家。论文还强调，这是一种生成更好训练数据的方法，而不是一个能瞬间让 AI 变得完美的魔杖。

核心启示
CRAFT 表明，如果我们想要让 AI 变得更聪明，我们需要停止只看宏观图景，转而开始关注微观细节。通过使用详细的检查清单（评分标准）来找出 AI 究竟为什么失败，我们可以构建有针对性的练习环节，从而真正解决问题。它将模糊的“你失败了”转化为清晰的进步路线图，证明了最好的学习方式是明确知道你需要练习什么。

技术摘要：CRAFT —— 通过聚类评分标准来诊断 LLM 的弱点能力

1. 问题陈述

当前的语言大模型（LLM）评估流程主要用于衡量性能，但往往无法诊断模型为何失败。标准的基准测试通常在任务或类别层面总结结果（例如，“数学能力弱”），这掩盖了不同的底层失败原因。例如，数学题得分低可能是因为选择了错误的方程、出现了算术错误，或是遗漏了单位——这些失败模式需要不同的干预措施。

虽然基于评分标准（rubric）的评估将响应分解为显式准则，但现有工作主要将这些准则视为独立的评分工具或奖励信号。目前在利用评分标准数据集生成结构化的、针对特定模型的弱能力诊断方面存在空白，而这种诊断可以直接指导有针对性的后训练数据收集。

2. 方法论：CRAFT

作者提出了 CRAFT（Clustering Rubrics for Actionable Fine-Tuning，即通过聚类评分标准实现可操作微调），该方法将带有评分标准注释的评估数据转化为层级化的、针对特定模型的弱能力诊断。该流程包含四个主要阶段：

2.1 能力提取

CRAFT 将每个“提示词-评分标准对”视为一个“能力探测器”。对于数据集中的每一个准则，语言模型都会提取出一个去上下文化的、简短的自然语言描述，用以说明满足该准则所需的特定能力。这一过程将数据集从一组评分规则转变为一个能力描述池。

2.2 层级聚类

提取出的能力描述通过一种借鉴自 Clio 的自底向上、逐层进行的程序，被组织成一个层级树：

固定顶层： 如果数据集提供了元数据（如领域或子类别），这些元数据将定义树的最顶层，以保留预期的分类体系。
基础层聚类： 在每个组内，能力描述被嵌入并使用 $k$ -means 进行划分，形成基础簇。LLM 为每个簇命名，以生成语义描述。
高层构建： 树的构建是动态进行的。内部节点通过汇总子簇、合并候选对象、将子节点路由至父节点以及优化父节点描述来创建。树的深度不是固定的，而是由数据规模决定，允许较大的数据集产生更深的层级结构。

2.3 评分与动态选择

目标模型根据评分标准进行评估，使用 LLM-as-a-judge 生成通过/失败标签。这些叶片得分会向上聚合，以计算每个节点的通过率。

动态选择： CRAFT 不采用固定的树深度，而是通过自顶向下的跨层搜索来识别表现不佳的节点。只有当一个节点具有足够的支撑（例如 >30 个准则）并达到通过率阈值时，才会被选中。
粒度： 一旦选中某个节点，其祖先节点和后代节点将被排除，以确保弱能力区域是不相交的。这使得该方法能够在弱点表达最清晰的特定粒度上进行选择（例如，对于宽泛的弱点选择一个父节点，或者对于特定的失败选择一个细分的子节点）。

2.4 有针对性的数据生成

被选中的弱能力节点将作为生成监督微调（SFT）数据的目标。对于每个弱节点，系统会生成 40 个合成提示词，这些提示词以该节点的描述、示例和树上下文为条件进行生成。这些提示词旨在针对特定的诊断出的弱点，同时避免与相邻能力发生重叠。

3. 实验设置

作者在两个专业领域（金融和法律）中，针对四种开源模型（Qwen3-4B, Qwen3-8B, Gemma-3-4B, Llama-3.1-8B-Instruct）评估了 CRAFT 对比两个基线模型的效果。

基线模型：
- EvalTree： 一种提示词层级的聚类方法，它组织的是整个提示词而非评分准则。
- Random（随机采样）： 一种非针对性的方法，它从领域池中均匀采样提示词，而不构建层级结构或进行诊断。
控制变量： 所有方法使用了完全相同的下游设置：相同的教师模型进行生成、固定的 1,000 个样本训练预算、相同的 SFT 超参数以及相同的评估协议。
基准测试： 性能通过 13 个与诊断数据无关的留出基准测试（7 个法律，6 个金融）进行衡量。结果是对重复的温度解码运行进行平均处理，以消除方差影响。

4. 关键结果

金融领域： 对于所有四种模型，CRAFT 均取得了最强的平均领域性能。改进在 Qwen3-4B 和 Llama-3.1-8B 上尤为显著，CRAFT 在领域平均分上超过基线 5 分以上。
法律领域： CRAFT 在四种模型中的三种上取得了最强的平均性能。对于第四种模型（Qwen3-8B），CRAFT 的得分处于最佳基线（EvalTree）的解码方差范围内，表明其性能相当。
消融研究： 作者对比了 CRAFT 的动态选择与固定层级选择（L4 和 L5）。动态选择始终优于固定层级，证明了弱点会根据模型和领域的不同而在不同深度显现。固定层级要么会将宽泛的弱点碎片化，要么会将细微的弱点合并，而动态选择则能根据证据进行适配。

5. 意义与主张

本文主张 CRAFT 展示了从任务级或提示词级诊断转向评分准则级诊断的价值。

诊断粒度： 通过将评分准则视为能力探测器，CRAFT 识别了模型为什么失败（例如，特定的推理步骤或格式要求），而不仅仅是模型在哪里失败。
可操作输出： 该方法将测得的失败直接转化为有针对性的微调数据。结果表明，当评估能够解释失败模式并将其转化为具体的训练目标时，评估对于后训练阶段最为有用。
优于提示词级聚类： 与 EvalTree 的比较表明，通过评分准则组织数据比通过整个提示词组织数据能提供更具信息量的诊断单元。
结构化的价值： 与 Random 基线的比较证实，仅仅增加更多领域内的数据，其效果不如围绕评分后的能力层级进行结构化并针对特定弱节点进行训练。

总之，作者认为 CRAFT 提供了一个更清晰的模型局限性图景，并通过解决通过评分标准聚类识别出的失败根本原因，从而产出可衡量提升的更优模型。