🤖 machine learning

FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses

本文介绍了 FailureScope，这是一种行为诊断方法，它通过跨模型的失败模式对评估探针进行聚类，从而在单轮、多轮及对抗性场景下生成稳定且具有解释性的语言模型弱点分类法，证明了其卓越的预测准确性，并揭示了 LLM 评判（LLM-judge）评估与实际执行之间存在的显著差距。

原作者： Nicholas Saban

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicholas Saban

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正打算买一辆新车。销售员递给你一个单一的数字：“这辆车的综合评分是95%。”这听起来很棒，但它并没有告诉你这辆车的刹车是否糟糕、引擎是否无力，或者收音机是否只能在一个城市里使用。你需要具体知道这辆车在哪些地方出了问题，以便进行修理或避开它。

这正是 FailureScope 这篇论文试图为人工智能（AI）模型解决的问题。

问题所在：“平均分”陷阱

目前，我们使用标准考试（如数学测试或编程挑战）来测试 AI 模型。我们会得到一个平均分，比如“正确率85%”。作者认为这对从业者来说毫无意义。这就像说一个医生“8k 85% 健康”——它无法告诉你医生是否能进行手术或诊断骨折。

此外，AI 世界被分为三个互不沟通的独立领域：

单轮测试（Single-turn tests）： 一个问题，一个答案（就像做测验）。
多轮对话（Multi-turn dialogue）： 长时间的交谈（就像和朋友聊天）。
对抗性攻击（Adversarial attacks）： 试图诱导 AI 做坏事（就像黑客测试锁具）。

通常，研究人员使用不同的工具分别研究这些领域。作者说：“让我们停止这样做。”

解决方案：“故障侦探”（FailureScope）

作者创建了一种名为 FailureScope 的新方法。他们不再问“这个 AI 有多聪明？”，而是问：“这个 AI 在哪些特定任务上失败了，还有谁也在同样的任务上失败了？”

以下是它的工作原理，使用一个简单的类比：

1. 失败的“合影”

想象你有 18 个不同的 AI 模型和 2,600 个不同的问题。你在每个问题上运行每个模型，并标记“通过”或“X”（失败）。

现在，观察“X”的模式。

模型 A 在所有数学问题上失败。
模型 B 在所有历史问题上失败。
模型 C 在一些奇怪的数学和历史混合问题上失败，但仅限于问题较长的时候。

作者使用一种计算机算法，根据谁失败了将这些问题分组在一起。如果一群问题都被同一组模型搞砸了，它们就会被归入同一个“失败簇”（Failure Cluster）。

2. “留一法”测试（LOMO）

为了验证其方法的有效性，他们玩了一个名为“留一模型法”的游戏。

他们使用 17 个模型构建了“失败图谱”。
然后，他们隐藏了第 18 个模型。
他们问：“我们的图谱能否预测这个隐藏模型的弱点？”

结果： 效果非常好。如果他们只使用 50 个精心挑选的问题（基于他们的失败图谱进行选择），他们预测隐藏模型弱点的准确率达到了 81%。如果他们只是随机抽取 50 个问题，准确率只有 34%。这就像是医生使用针对性的血液检查，而不是靠猜测哪个器官出了问题。

他们测试的三个“领域”

作者证明了这种方法在三个不同的世界中都有效：

1. 测验世界（单轮对话）

发现： 他们发现了 25 种不同类型的失败。有些簇将数学和编程混合在一起，因为模型在两者上失败的原因相同（例如，“逻辑崩溃”）。
启示： 问题的类型不如哪些模型失败了重要。失败的模式才是真正的信号。

2. 对话世界（多轮对话）

发现： 当模型进行长对话时，他们发现了 6 种在短测验中看不到的新型失败。
“深度上下文崩溃”（Deep Context Collapse）： 他们发现了一个巨大的簇，即一旦对话变得太深（大约往返 6 轮后），所有模型都会失败。这就像人类在讲完故事结尾时，已经忘记了开头的内容。
“选择性幸存者”（Selective Survivor）： 他们发现了一种特定的复杂任务，其中一个模型（Claude Sonnet）幸存了下来，但其他模型（GPT 和 DeepSeek）都失败了。这是该特定模型独特的“指纹”。

3. 黑客世界（对抗性攻击）

发现： 这是最令人惊讶的发现。他们测试了尝试执行代码以窃取数据的 AI 智能体。
“断裂的尺子”发现： 他们发现 AI 内部的“评判者”所说的情况与现实世界发生的情况之间存在巨大鸿沟。
- 评判者说： “AI 成功黑入了系统！”（成功率 100%）。
- 现实是： AI 根本没有发送命令。它只是在谈论发送命令。
- 教训： 并不是 AI 出问题了，而是测试工具（评判者）坏了。AI 实际上是安全的，但测试撒了谎。FailureScope 通过观察差距的模式而非仅仅看分数，抓住了这种“元失败”（meta-failure）。

大局观

作者将他们的方法称为一种“可移植的诊断原语”（portable diagnosis primitive）。把它想象成一个通用的听诊器。

你可以用它来测试数学测验。
你可以用它来测试长对话。
你可以用它来测试安全性测试。

在所有这些情况下，它们都是根据行为（模型如何行动）而非主题（问题关于什么）来对问题进行分组。

总结

旧方法： “这个 AI 有 85% 的聪明程度。”（对于修复问题毫无用处）。
新方法 (FailureScope)： “这个 AI 在‘长上下文逻辑’和‘复杂代码组合’方面表现不佳，但在‘短数学’方面表现出色。”（具有可操作性和精确性）。
魔力所在： 通过观察哪些模型一起失败，他们可以构建出一张弱点地图，从而预测一个全新的、未见的模型的行为，从而节省了测试的时间和成本。

他们已经发布了所有的数据、代码和“失败图谱”，供任何人使用，这样我们就可以停止猜测，开始修复 AI 的弱点。

技术摘要：FailureScope —— 语言模型弱点的跨范式行为诊断

1. 问题陈述

标准的语言大模型（LLM）基准测试通常报告聚合准确率得分（例如 MMLU、GSM8K），这掩盖了模型所缺乏的具体能力。随着模型被部署到复杂的、多轮的以及智能体（agentic）场景中，单一聚合数值与从业者具体的诊断需求之间的差距正在扩大。此外，研究界已分裂为单轮对话、多轮对话和对抗性智能体评估等不同的子领域，每个领域都有独特的指标和诊断框架，且无法在不同范式间迁移。

本文认为，诊断的基本单元不应是任务本身，而应该是跨模型的行为模式：具体而言，即哪些模型在给定的探测项（probe）上失败。现有方法通常侧重于压缩基准测试以降低评估成本并保留标量排名，但这往往会丢弃从业者所需的关于“失败类型”的细粒度信息。

2. 方法论：FAILURESCOPE

作者引入了 FAILURESCOPE，这是一种行为诊断方法论，通过基于跨模型通过/失败特征（pass/fail signatures）对评估探测项进行聚类，从而构建失败分类法（failure taxonomies）。该方法旨在可在不同的评估范式中移植。

核心流水线

该方法遵循一个五步算法，该算法在单轮、多轮和对抗性范式中保持一致：

矩阵构建： 构建“探测项-模型”通过/失败矩阵。
插值（Imputation）： 使用列均值对缺失条目进行插值（当模型未在所有基准测试上进行评估时很常见）。作者指出，使用哨兵值（如 -1）会向距离计算中注入错误的负面信号。
嵌入与归一化：
- 任务由组合向量表示： $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$ 。
- $\hat{z}_{sem}$ 是语义嵌入（Voyage-3-Large）。
- $\hat{z}_{beh}$ 是一个 18 维的行为向量，编码了跨模型的通过/失败状态。
- 作者发现 $\alpha=0.1$ （行为主导型）是最优的，因为较小的语义成分有助于分离边界模糊的簇，同时不会淹没行为信号。
- 向量进行 L2 归一化。
聚类： 通过 UMAP（或 PCA 作为后备方案）进行降维至 30 维，然后使用 HDBSCAN 进行聚类。
标注： 通过 LLM 提示的示例（使用最近的 5 个邻居）对簇进行标注。

验证协议：留一模型法（LOMO）

为了在不产生循环论证的情况下验证分类法，作者使用了 LOMO 协议：

留出一个模型 ( $m^*$ )。
使用剩余的 $N-1$ 个模型重建分类法。
然后使用两个指标评估留出模型的弱点剖面相对于该新分类法的表现：
1. 诊断效率： 与随机采样或分层采样相比，基于分类法条件的采样（选择覆盖所有簇的任务）在恢复留出模型的弱点排名方面表现如何？（通过 Kendall's $\tau$ 测量）。
2. 跨模型预测： 基于留出模型与其训练模型之间的相似性，能否预测其失败剖面？（通过 AUC 测量）。

3. 核心贡献与结果

本文在三个不同的范式中验证了 FAILURESCOPE，证明了相同的原语可以在每个范式中产生稳定且可解释的簇。

A. 单轮基准测试

数据集： 来自 6 个基准测试（GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval）的 2,664 个任务，涵盖 18 个模型。
聚类： 行为主导设置（ $\alpha=0.1$ ）产生了 25 个稳定的簇，轮廓系数（silhouette score）为 0.12。至关重要的是，86.7% 的簇跨越了多个基准测试，表明失败特征超越了特定数据集的边界。
诊断效率： 在 LOMO 协议下，基于分类法条件的采样在 50 个任务时达到了 0.81 的 Kendall's $\tau$ 。这显著优于随机选择（ $\tau=0.34$ ）和基准测试分层采样（ $\tau=0.64$ ）。
预测： 使用最近模型法，跨模型失败预测的 AUC 达到 0.88。

B. 多轮对话

数据集： 5 个前沿模型的 363 个高难度对话，涵盖 11 个技能轴和 7 个对话深度。
聚类： 该方法恢复了 6 个簇，具有高达 0.92 的轮廓系数。
关键发现：
- 深层上下文崩溃（Deep-Context Collapse）： 一个大型簇（162 个任务，多为深度-6）显示所有模型都普遍失败，这种模式在单轮分析中是不可见的。
- 模型选择性韧性： 一个簇（n=11）显示 Claude Sonnet 4.6 的失败率约为 70%，而其他模型失败率为 85–100%。
- DeepSeek 免疫候选者： 一个小型簇（n=10）显示 DeepSeek 成功而 GPT 和 Claude 系列失败。作者将此视为一个需要更大规模复制来验证的假设生成信号。

C. 对抗性智能体攻击

数据集： 针对代码执行沙箱的 630 个多轮智能体追踪，涉及三种攻击家族和三个前沿模型。
聚类： 该方法识别出 3 种不同的行为剖面：
1. 评估的元失败（Meta-Failure of Evaluation）： 在认知负荷攻击中，LLM 评判器（Judge）的攻击成功率（ASR）与真实网络执行 ASR 之间存在 73–100 个百分点的差距。该簇揭示了是评估工具（评判器）不可靠，而非模型本身。
2. 选择性组合拒绝（Selective Compositional Refusal）： Claude Sonnet 4.6 表现出独特的剖面，尽管它通过了第一步，但在第二步仍会拒绝恶意载荷（21/30 例），而 GPT-5.4 在 92% 的情况下会执行攻击。
3. 组合合规（Compositional Compliance）： GPT-5.4 和 GPT-5.4-mini 显示出高执行率，形成了一个“真正被攻破”的簇，与工具失败簇和拒绝簇截然不同。

4. 重要性与主张

本文声称行为聚类是一种可移植的诊断原语，可以推广到任何单一基准测试之外。

可移植性： 相同的五步算法在单轮、多轮和对抗性范式中都能产生稳定、可解释的分类法。作者强调，虽然由于簇的数量和维度不同，各范式的轮廓系数有所差异（0.12, 0.92, 0.71），但其定性连贯性和下游效用（高 $\tau$ 和 AUC）保持一致。
效率： 该方法实现了高效的结构化诊断。从业者可以通过大约 50 个基于分类法条件的任务来评估一个新模型，从而高保真地恢复其弱点剖面（ $\tau=0.81$ ），或者通过跨模型预测在无需评估的情况下预测其剖面（AUC 0.88）。
发现隐藏模式： 该方法揭示了单基准测试分析无法看到的失败模式，例如多轮对话中随深度增加的普遍崩溃，以及在特定对抗环境下 LLM 评判器的不可靠性。

5. 局限性与范围

作者对其主张保持了审慎的态度：

外推性： LOMO 验证在相同能力范围内的模型中成立。他们并不声称基于 7B–70B 模型构建的分类法在不重建的情况下能迁移到显著更强的系统（如 GPT-5 类模型）。
数据稀疏性： 该方法依赖于对缺失基准数据的插值；更丰富的评估数据可能会提高聚类质量。
标注的主观性： 簇标签是由 LLM 生成的。虽然结构是鲁棒的，但特定的失败模式标签（如推理缺陷 vs 知识缺口）可能存在歧义。
范围： 单轮语料库未涵盖多模态推理或长上下文任务，尽管多轮案例研究通过较小的模型池解决了其中部分问题。

论文最后宣布发布该流水线、三个带注释的语料库、跨范式分类法以及 1,203 个生成的对抗性任务，以促进关于结构化模型诊断的进一步研究。