🤖 machine learning

Evidential Rule Learning for Interpretable Classification with Abstention

本文介绍了快速证据规则学习（Fast Evidential Rule Learning, FERL），该方法能够生成可解释的模糊规则模型，使其能够在单次确定性传递中提供证据输出、光滑的 Lipschitz 稳定性以及可靠的弃权机制，同时在多种基准测试中实现了最先进的准确率和鲁棒的分布外检测性能。

原作者： Javier Fumanal-Idocin, Javier Andreu-Perez

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Javier Fumanal-Idocin, Javier Andreu-Perez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

了解“不知”的艺术

想象你正走在茂密的森林中，偶然看到一个路标。一个标准的路标会极其自信地指向一个方向：“向左走”。但如果路径雾气弥漫，或者路标已经破损了呢？一个真正睿智的向导不会仅仅靠猜测；他会说：“我不确定，也许该向左，也许该向右，或者我也许应该停下来告诉你说我无法决定。”这就是计算机科学领域一个不断发展的学科——**可解释机器学习（interpretable machine learning）*的核心。多年来，计算机一直擅长做出预测，但它们往往表现得像“黑盒”——给出答案却不解释为什么*，而且很少承认自己感到困惑。

为了解决这个问题，科学家们正在构建透明的模型，就像一个透明的玻璃盒，你可以看到内部齿轮的转动。这里的一个关键概念是证据（evidence）。不要把证据仅仅看作是一张选票，而要把它看作是一组线索的集合。如果你拥有一堆指向“左”的线索，你就是自信的；如果线索混杂不清，你就是不确定的。另一个至关重要的概念是弃权（abstention）：即模型能够说出“我不知道”，而不是错误地进行猜测。这在现实生活场景中至关重要，比如医疗诊断或自动驾驶汽车，因为在这些场景下，一个自信的错误远比一次谨慎的停顿要糟糕得多。这篇论文探讨的问题既简单又困难：我们能否构建一个既易于理解、又能做出准确预测，并且清楚知道何时该举手表示“我需要更多信息”的计算机模型？

“快速证据规则学习器”（FERL）

由此，FERL（Fast Evidential Rule Learning，快速证据规则学习）应运而生，这是由 Javier Fumanal-Idocin 和 Javier Andreu-Perez 提出的一种新方法。想象一位正在试图破解谜团的侦探。传统的侦探（如标准的决策树）可能会看到一个线索就立即大喊：“是管家干的！”即便证据还很站不住脚。而其他现代侦探则使用复杂的、不可见的神经网络，它们虽然擅长猜测，却很难解释是如何得出结论的。

FERL 就像一位随身带着整洁笔记本的侦探。它使用模糊规则（fuzzy rules），这些规则就像是灵活的“如果-那么”语句。它不会生硬地说“如果温度高于 30°C”，而是会说“如果温度有点热”。当侦探沿着笔记本中的路径（规则树）前进时，他们会收集线索。这里的魔力在于：FERL 不仅仅是收集线索来做出猜测，它还在收集线索来衡量知识的程度。

在这个系统中，每一条线索都有一个“触发强度（firing strength）”。如果一条线索很强，它会为特定的嫌疑人（类别标签）增加很多权重。如果线索微弱或缺失，它会为“无知（ignorance）”增加权重——即我们目前还没有足够的信息。当侦探结合所有线索时，他们得到的不仅仅是一个单一答案。他们得到的是一个信念（belief，即确定程度）、一个似然度（plausibility，即可能性）以及一个可能的集合。如果线索过于混乱，那么“无知”的权重就会变得如此之重，以至于侦探决定弃权并说：“我无法决定。”

论文反对一种常见的做法——“事后校准（post-hoc calibration）”。这就像是在一个已经完成且充满信心的预测之后，试图强行贴上一个“置信度分数”。作者指出，这种做法通常是不可靠的，尤其是当计算机遇到新事物时（例如在只见过狗的世界里遇到了一只猫）。相反，FERL 在学习过程中，直接将置信度和弃权能力构建在规则之中。这就像造车时将刹车系统作为发动机的一部分进行设计，而不是在造好车后再试图添加刹车。

FERL 的发现

研究人员在 30 个不同的数据集（包含数字和类别的集合，如医疗记录或体育统计数据）上测试了 FERL。他们发现 FERL 不仅易于阅读，而且极其准确。

准确率： FERL 的“深度”版本在这些 30 个数据集上的平均准确率达到了 83.23%。在统计学上，这优于他们测试的几乎所有其他基于规则的方法，包括经典的 CART 和 C4.5 工具。
规模： 尽管如此准确，FERL 的规模却出奇地小。其“紧凑”版本仅使用不到 6 条规则就达到了 77.77% 的准确率，而标准的决策树则需要超过 250 条规则才能获得类似的得分。
“我不知道”的超能力： 当数据令人困惑或处于模型未曾见过的分布之外（分布外数据，Out-of-Distribution）时，FERL 并不会盲目猜测。它能正确识别出这种困惑。在检测“新颖”数据的测试中，FERL 达到了 77.7 的 AUROC，这与那些专门为此任务构建的最复杂探测器的表现不相上下。
集合预测： FERL 通常不是给出一个答案，而是给出一个可能的“集合”（例如，“它要么是猫，要么是狗”）。当测量这些集合的实用性时，FERL 得分为 0.80（在标准折扣水平下），击败了那些要么过于自信，要么过于模糊的其他方法。

论文还通过图像数据测试了 FERL，但并非直接观察像素。相反，他们使用了一个系统，该系统首先用人类的概念（如“有翅膀”或“是红色的”）来描述图像，然后使用 FERL 进行最终决策。在这种设置下，FERL 不仅可以对图像进行分类，还可以指出哪些属性是异常或矛盾的。例如，如果一张鸟的照片有“翅膀”但“没有腿”，FERL 可以标记出这个特定的矛盾点。

核心结论

FERL 证明了你不需要一个巨大且令人困惑的黑盒来获得聪明、可靠的结果。通过使用模糊逻辑将每条规则转化为一段证据，该模型自然地学会了在有据可依时保持自信，并在证据薄弱时说出“我不知道”。它运行迅速、体积精简，并且对其不确定性保持诚实。作者认为，这种方法提供了一种构建 AI 的途径，使其不仅准确，而且值得信赖且透明，能够解释其决策并了解自身的局限性，而无需额外的、复杂的附加组件。

技术摘要：带有弃权机制的证据规则学习 (FERL)

1. 问题陈述

可解释分类模型（如决策树和规则列表）在需要决策依据的高风险领域至关重要。然而，标准的基于树的分类器（如 CART、C4.5）通常存在过度自信的问题，它们仅提供硬类别标签或局部分布，而无法可靠地说明支持决策的证据。此外，它们缺乏在证据不足时进行弃权（abstention）的机制。

现有的改进可靠性的方法面临显著局限性：

事后校准（Post-hoc Calibration）： 温度缩放（temperature scaling）或保序回归（isotometric regression）等方法可以调整概率，但无法量化潜在的证据或支持原则性的弃权。这些方法在分布偏移下往往表现下降。
不确定性估计： 基于采样的方法（如 MC-dropout）需要重复推理，而确定性不确定性方法（DUMs）通常依赖于需要进行谱微调（spectral fine-tuning）的神经架构，并且可能无法检测出与训练流形重叠的“近 OOD（near-OOD）”输入。此外，这些方法通常只输出标量不确定性得分，而无法为为何某个案例具有疑虑提供符号化的解释。
信度分类器（Credal Classifiers）： 虽然存在一些基于树的信度分类器，但它们通常依赖于不精确的叶节点频率估计，导致校准偏差，或者需要复杂的后期调整。

本文旨在解决一种同时具备可解释性（基于规则）、证据性（提供信任度、似然度和无知度）且具备弃权能力的模型需求，该模型应能在无需辅助头或留置校准集的情况下，通过单次确定性传递完成。

2. 方法论：快速证据规则学习 (FERL)

FERL 是一种模糊规则树学习器，它将 Dempster–Shafer (DS) 理论直接集成到规则学习过程中。

2.1 模糊树构建

FERL 构建一棵分类树，其内部节点分配一个特征和一个模糊集合。

模糊分裂（Fuzzy Splits）： 分裂参数通过自助法（bootstrapping）程序进行学习，以确保统计稳健性。对于深层树，算法在重采样中寻找 Gini 最优切分点，以确定由中值阈值 ( $\theta$ ) 和稳健扩散度量 ( $h$ ) 定义的模糊划分。
有界支撑（Bounded Support）： 为了防止对分布外（OOD）数据产生虚假置信度，模糊隶属度函数的支撑范围被软限制在观察到的特征范围内。落在该范围之外的点，其触发强度（firing strength）会衰减至零，从而增加模型的“无知度”。
几何感知（Geometry Awareness）： 为了检测（与训练流形重叠的）新类别的近 OOD 输入，FERL 在每个节点处使用由路径触发强度加权的对角高斯分布来模拟未分裂特征。这使得识别特定异常属性成为可能。

2.2 证据输出生成

在 FERL 中，每个激活的节点 $o$ 都会在辨别框架 $\Theta$ 上发射一个 DS 质量函数：

质量分配： 触发强度 $\phi_o(x)$ 起到可靠性折扣的作用。节点将质量 $\phi_o(x) p_o(c)$ 置于类别 $c$ 上，并将剩余质量 $1 - \phi_o(x)$ 置于整个框架 $\Theta$ 上（代表无知）。
组合： 激活的节点使用 Dempster 组合规则进行组合。
- 在**紧凑树（compact trees）**中，内部节点和叶节点会被组合。
- 在**深层树（deep trees）**中，仅组合叶节点，以避免“依赖问题”，即来自嵌套节点的关联证据会导致无知度人为地趋向于零。
预测：
- 点预测： 由组合质量的 pignistic 变换导出。
- 集合值预测： 通过区间优势（Interval Dominance, $Pl(c) \ge \max_{c'} Bel(c')$ ）导出。如果预测集覆盖了整个框架 $\Theta$ ，则模型执行弃权。
- 解析形式： 本文推导出了组合质量的闭式表达式，表明当证据非真空时，重复组合会单调地缩小无知度。

2.3 稳定性分析

作者证明了 FERL 是 Lipschitz 稳定的。非归一化的证据质量对于输入是 Lipschitz 连续的，其常数取决于树深度 ( $D$ )、组合节点数 ( $K$ ) 以及模糊隶属度的最大斜率 ( $\lambda$ )。这确保了输入的微小扰动会导致证据输出的平滑变化。

3. 核心贡献

原生证据规则学习器： FERL 是第一个作为可解释规则学习器、具备弃权能力的信度分类器以及 OOD 检测器运行的模型，且是在单次确定性传递中完成。它直接从模糊隶属度计算信任度、似然度和无知度，无需辅助头或重复推理。
闭式特征描述： 本文提供了树构建和证据预测的解析说明，包括受模糊带宽度控制的局部稳定性证书，并证明了嵌套节点组合会单调缩小无知度。
广泛的实证评估：
- 表格数据： 在 30 个多样化数据集上进行了基准测试。
- 图像数据： 集成到概念瓶颈模型（CBMs）中应用于 CUB 和 AwA2 数据集，在概念向量上运行，以提供人类可理解的属性级诊断。

4. 实验结果

4.1 表格分类

准确率 vs. 复杂度： 在 30 个表格数据集上，FERL-deep（200 条规则）实现了 83.2% 的平均准确率，在统计学上显著优于其他规则学习器（如 CART 为 79.8%，NeuRules 为 79.3%），并更接近非解释性集成模型（如随机森林 86.6% 和梯度提升 85.6%）的表现。
效率： FERL-deep 训练耗时 0.26s，推理耗时 1.5ms，显著快于其他证据或神经规则学习器（例如 FUCS 训练需 140s）。
集合值预测： FERL-deep 在信度分类器中取得了最佳的效用折扣准确率（ $u_{65}=0.80, u_{80}=0.83$ ），且与 Conformal 基准相比，具有较高的集合覆盖率（0.92）和较小的平均集合规模。
OOD 检测： 在留一类测试（leave-one-class-out）任务中，FERL-deep 匹配了专门的 OOD 检测器（77.7 AUROC vs. kNN 距离的 77.4），同时能独特地识别哪些属性是异常的。

4.2 概念瓶颈集成

准确率： 在 CBM 设置下，FERL-deep（配合每概念校准）在 CUB-20 上达到 86.28%，在 CUB-200 上达到 65.18%，优于 CART 和受限概念的逻辑回归。
开放世界中的 OOD： 在检测器类不相交（detector-class-disjoint）的设置中，FERL 保持了与专用检测器的竞争力。在 AwA2 上，它实现了 86.2 AUROC（与 kNN 差距在 2.0 点以内）以及最佳的 AUPR-Out (68.3) 和 未见类拒绝率 (57.2%)，同时能指出具体的异常属性。

5. 意义与主张

本文声称 FERL 成功弥合了高性能分类与严格可解释性之间的鸿沟。通过将证据推理直接嵌入模糊规则学习，FERL 避免了事后校准的缺陷和基于采样的不确定性带来的计算开销。

可靠性： 该模型提供了一种“原生”的弃权和不确定性量化机制，该机制对分布偏移具有鲁棒性，并能够检测几何层面和属性层面的异常。
可解释性： 不同于黑盒不确定性方法，FERL 的弃权和不确定性由特定的模糊规则和属性进行解释，这使得它适用于那些“理解为何模型存在疑虑”与“预测本身”同样重要的决策场景。
可扩展性： 该方法计算效率极高，为处理表格数据和基于概念的图像数据提供了一个可行的替代方案，优于复杂的神经不确定性模型。

作者得出结论，单个 FERL 头可以在无需辅助不确定性模型的情况下，提供可审计的规则、证据性弃权以及属性级的创新性诊断。