🤖 machine learning

Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

本文提出了一种数据无关且设计上具有可解释性的预测模型，该模型利用近邻树和预训练网络，通过层级化地选择代表性枢轴实例（包括对与集成），在保持高可解释性的同时，在多种不同数据模态上实现了具有竞争力的性能。

原作者： Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何识别猫。你可以尝试写一本巨大的规则手册：“如果它有尖耳朵、尾巴和胡须，它就是一只猫。”但如果机器人看到的是一只无毛猫，或者一只蜷缩成奇怪姿势睡觉的猫呢？规则就会失效。这就是许多现代“黑盒”人工智能系统的问题所在：它们在猜测方面极其聪明，但却无法解释自己为什么做出这样的猜测。它们只是以人类无法理解的方式进行着数字运算。

另一方面，人类是通过例子来学习的。我们不会为每种动物背诵一本规则手册；我们记住的是具体的实例。“那个有着长尾巴的毛茸茸的东西是一只猫，”或者“那个大大的、有条纹的动物是一只老虎。”我们将新事物与这些心理快照进行比较。这被称为“基于案例的推理”（case-based reasoning）。人工智能领域的一个重大问题是：我们能否制造出一种像我们一样思考的机器？我们能否创造出一种模型，它不仅能给出答案，还能指向几个具体的例子并说：“我认为这是一只猫，因为它看起来就像我以前见过的这张照片”？如果我们能做到这一点，我们就能得到不仅聪明而且透明且值得信赖的人工智能，让我们能够窥视其内部逻辑，了解其运作方式。

这正是开发“PivotTree”论文的研究人员试图做的事情。他们构建了一种新型的人工智能模型，它的作用类似于决策树，但它不是根据像“如果像素是红色的”这样抽象的规则来拆分数据，而是根据与真实案例的相似度来拆分数据。把它想象成一场“二十个问题”的游戏，其中的问题不是关于特征，而是关于比较。“这张新图片更像这只特定的狗，还是更像那只特定的猫？”

由 Alessio Cascione 及其同事领导的研究团队引入了一种名为 PivotTree 的方法。想象一棵树，其中的每一个分支点不是一条规则，而是一个“枢轴”（pivot）——即从训练数据中精心挑选的一个示例。当一个新的数据（如照片或句子）进入时，模型会询问：“它看起来最像哪个枢轴？”它将数据引导向下游，在每一步都将其与不同的示例进行比较，直到得出最终答案。酷的地方在于，该模型不仅仅选择一个示例；它可以选择一对示例并询问：“它是更接近枢轴 A 还是枢轴 B？”这创建了一个人类可以轻松理解的比较层级。

研究人员并没有止步于仅有一种类型的比较。他们创建了不同“风味”的 PivotTree。有些使用单个枢轴来划定界限（例如“如果它看起来比某个阈值更像这个，则向左走”）。另一些则使用两个枢轴来进行“更接近”的决策（例如“它是更接近狗还是更接近猫？”）。他们甚至将这些树组合成一个“森林”（随机枢轴森林，Random Pivot Forest），以使预测更加强大，类似于一群专家对决策进行投票。

为了测试他们的想法是否真的奏效，他们并没有仅仅停留在简单的电子表格上。他们将模型投入到一项巨大的挑战中：45 个不同的数据集。这些数据集包括标准的数字表格，但也包括棘手的资料，如图像（猫、狗和汽车的照片）、文本（评论和文章）以及时间序列数据（如心跳或手部动作）。他们将 PivotTree 与其他著名的 AI 模型进行了对比，包括那些“黑盒”重量级模型和其他可解释方法。

结果令人振奋。PivotTree 模型能够达到与现有的最强大、最复杂的 AI 模型相当的准确度，但它有一个巨大的优势：它们更容易理解。在许多情况下，特别是在图像和文本方面，PivotTree 模型的表现与顶尖竞争对手（如 Boosting 模型）旗鼓相当或略微落后，但它们通常在使用更少的示例（枢轴）来做出决策的同时，达到了标准随机森林的性能。例如，在一个口腔病变（口腔溃疡的医学图像）的数据集上，该模型可以通过将新图像与极少数具有代表性的示例进行比较来诊断问题，并通过展示它正在与哪些具体示例进行比较来解释其推理过程。

论文指出，这种方法是一种“数据无关”（data-agnostic）的超能力，这意味着只要你可以衡量两个事物之间的相似度，它几乎可以应用于任何类型的数据。虽然这些模型的训练时间有时比最简单的基于规则的系统要长，但它们提供了一个平衡点：高水平的性能且没有神秘感。作者总结道，通过让 AI 通过案例而非抽象规则进行推理，我们可以构建出既强大又足够友好、能让人们信任并理解的系统。这是迈向一种不仅知道答案，而且能向你展示证据的人工智能的一步。

技术摘要：利用邻近树与集成学习扩展数据无关的枢轴实例选择模型

问题陈述
机器学习模型已成为医疗保健和金融等领域复杂决策中不可或缺的工具，然而其“黑盒”性质往往阻碍了可解释性。虽然人类自然地通过将新案例与代表性示例进行比较来进行推理（基于案例的推理），但许多现有的可解释模型依赖于抽象的基于特征的规则，这与这种认知过程并不一致。此外，目前的基于实例的方法在处理特征缺乏明确语义含义的数据模态（如图像、文本、时间序列）时往往表现不佳，或者无法在预测性能与解释所需的代表性实例（枢轴/pivots）数量之间取得平衡。本文旨在解决建立一个统一的、数据无关的框架，以选择高质量的枢轴实例，从而构建能够通过相似性进行推理的可解释预测模型。

方法论
作者提出了 PivotTree，一种受决策树启发、具有层次结构且设计上具有可解释性的模型，其基础是基于与所选枢轴的相似性，而非特征阈值。该方法包含三个主要部分：

枢轴选择与树归纳 (Pivot Selection and Tree Induction)：
PivotTree 贪婪地构建一棵决策树，其中每个节点根据实例与特定“枢轴”（代表性训练实例）的相似性进行划分。算法在每一步都会识别两类枢轴：
- 判别性枢轴 (Discriminative Pivots)： 在基于相似性对数据进行划分时，能最大化不纯度增益的实例。
- 描述性枢轴 (Descriptive Pivots)： 在当前节点内，能最大化与其他同类实例相似度的实例。
  树的归纳过程将实例编码到相对于这些枢轴的相似性空间中，使模型既能作为枢轴选择器，又能作为独立的预测模型。
分裂策略 (Splitting Strategies)：
为了增强表达能力和适应性，PivotTree 实现了三种不同的分裂机制：
- 单变量分裂 (Univariate Split, pt)： 每个节点使用单个枢轴及一个阈值条件（ $s(x, p_i) \geq \beta$ ）。
- 斜向分裂 (Oblique Split, opt)： 使用两个枢轴相似度的线性组合（ $\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$ ），允许更复杂的决策边界。
- 邻近分裂 (Proximity Split, ppt)： 直接比较实例与两个枢轴的相似度（ $s(x, p_i) > s(x, p_j)$ ），根据实例更接近哪个枢轴来进行路由。这提供了一种相对的而非绝对的相似性解释。
集成学习 (Ensemble Learning - RandomPivotForest)：
作者将单树方法扩展到了集成框架 RandomPivotForest，通过多数投票法聚合多个 PivotTree 估计器的预测结果。为了管理复杂度，他们还探索了一种“分裂残株森林 (splitting stump forest)”方法，即从森林中提取紧凑的弱学习器（残株）集合，并将其用于直接投票或结合逻辑回归分类器。
数据无关性 (Data Agnosticism)：
该方法性的核心特征是解耦了相似性计算与对象表示。通过利用预训练网络（例如用于图像的 ResNet、用于文本的 Sentence Transformers）将数据映射到潜在向量空间 ( $\mathbb{R}^m$ )，PivotTree 可以统一应用于表格数据、时间序列、图像和文本。

核心贡献

统一框架： 引入了 PivotTree，这是一种同时执行枢轴选择和预测建模的模型，弥合了实例选择与可解释分类之间的鸿沟。
多功能分裂机制： 开发了单变量、斜向和基于邻近的分裂策略，使模型能够适应不同的数据结构和可解释性需求。
数据模态独立性： 通过利用预训练嵌入和统一的相似性度量（主要使用欧氏距离，同时也评估了余弦距离和曼哈顿距离），证明了该方法在多种模态（表格、时间序列、图像、文本）下的有效性。
集成集成： 提出了 RandomPivotForest 及其压缩变体，在集成方法的鲁棒性与基于案例推理的可解释性之间提供了权衡。

实验结果
作者在涵盖四种模态的 45 个数据集上对 PivotTree 及其变体进行了评估。主要发现包括：

预测性能： PivotTree 变体（特别是 $ptc_Z$ 和 $pts_Z$ ）取得了与最先进的可解释模型（如决策树、规则集）和标准分类器（kNN、随机森林）相竞争的结果。在许多情况下，它们表现优于竞争对手，尤其是在非关系型数据（如图像和文本）方面。
可解释性： 这些模型在保持高水平性能的同时，仅使用了极少量的枢轴（通常上限为 20 个），显著降低了与其他黑盒模型相比的模型复杂度。
集成性能： RandomPivotForest 变体在表格和时间序列数据上的表现通常与标准随机森林和提升方法（XGBoost、LightGBM）持平或接近。值得注意的是，基于邻近的变体（$rppt$）在图像数据集上表现出更优越的性能。
距离度量： 虽然欧氏距离是主要指标，但使用余弦距离和曼哈顿距离进行的实验显示出相当的整体性能，其中余弦距离在图像数据上表现尤为强劲。
效率： 训练时间随数据集规模和维度而异，单变量变体通常比斜向变体更快。使用 10% 的子采样进行集成训练显著缩短了训练时间，且对预测性能的影响极小。

意义与主张
本文声称 PivotTree 通过将机器学习决策过程与人类认知策略（基于案例的推理）相结合，在 可解释人工智能 (XAI) 领域迈出了重要一步。其主要意义在于能够提供可解释、透明的模型，且不会牺牲预测准确性，即使是在传统的基于特征的可解释模型难以应对的复杂领域中也是如此。

作者也谦虚地指出，虽然集成方法（RandomPivotForest）实现了高性能，但它引入了模型复杂度的方差。他们还承认，对于以绝对性能为唯一目标的任务，黑盒模型或结合 kNN 的 PivotTree 可能会优于独立的树结构，尽管后者提供了更优的结构可解释性。这项工作表明，模型的选择应取决于所需的特定权衡：即全局可解释性、局部推理与预测能力之间的平衡。确定的未来研究方向包括探索混合分裂策略以及验证该方法在现实世界的人机协同决策场景中的应用。

技术摘要：利用邻近树与集成学习扩展数据无关的枢轴实例选择模型

类似论文