Dynamic ensemble approach for multi-class classification based on neighborhood rough sets and sequential three-way decisions

技术摘要：基于邻域粗集与顺序三路决策的多分类动态集成方法 (EM-S3WD)

1. 问题陈述
本文针对 Xu 等人 [19] 提出的二元顺序三路决策 (S3WD) 分类器在扩展至多分类任务时存在的两个特定局限性进行了研究：

• 静态参考表示： 原模型依赖于经典粗集 (CRS) 来生成参考元组。由于 CRS 取决于严格的等价关系，这些参考元组在训练集确定后即变为固定不变。这种僵化性限制了分类器对连续值数据和变化数据分布的适应能力，因为参考表示无法根据验证性能进行调整。
• 多分类扩展中的置信度冲突： 将二元分类器自然扩展到多分类问题的常见策略是“一对其余”(One-Versus-All, OVA) 分解策略。然而，将 OVA 应用于 S3WD 分类器时，往往会导致“置信度冲突”，即多个二元分类器为同一个测试样本分配了相同的最大置信度分数。标准的平局决胜方法（如随机选择或固定权重）可能会降低决策稳定性或忽略样本特有的证据。

2. 方法论：EM-S3WD 框架
作者提出了 EM-S3WD，一个集成了邻域粗集 (NRS)、OVA 分解和条件动态集成策略的动态集成框架。该方法论主要分为三个阶段：

• 基于 NRS 的自适应参考元组构建：
  不同于使用 CRS，该框架采用邻域粗集 (NRS) 来构建参考元组。在 NRS 中，下近似取决于邻域半径 ($\delta$)，这使得参考元组能够适应连续值数据中的局部数据结构。

  • 验证引导的选择： 邻域半径 ($\delta$) 和相似度阈值 ($\sigma$) 并非手动固定。相反，通过在验证集上进行网格搜索，共同选择最优参数对 $(\delta^*, \sigma^*)$，以最大化验证准确率。随后基于该最优 $\delta^*$ 生成参考元组。

• 基于 OVA 的多分类扩展：
  该框架为 $m$ 类问题构建了 $m$ 个基于 NRS 的二元 S3WD 分类器。每个分类器将一个类别与其他所有类别进行区分。

  • 有限值置信度： 理论分析（命题 2）表明，这些分类器生成的置信度分数属于一个由匹配属性数量和决策水平决定的有限集合。这一结构特性解释了为什么不同的分类器经常产生相同的最大分数，从而导致置信度冲突。

• 用于冲突解决的条件动态集成：
  框架引入了一种条件策略来处理置信度冲突，而不必替换主要的决策机制：

  • 非冲突情况： 如果基于 OVA 的分类器产生了一个唯一的最大置信度分数，则保留原始决策。
  • 冲突情况： 如果两个或更多类别共享最大置信度分数，则调用辅助分类器（具体为 SVM 和朴素贝叶斯）。
  • 权重机制： 最终决策通过动态加权主要 S3WD 分类器和辅助分类器的输出得出。权重由以下因素决定：
    1. 辅助分类器的验证准确率。
    2. 主要 S3WD 输出与辅助输出在冲突类别上的 Kullback–Leibler (KL) 散度。
  • 这确保了辅助证据仅在必要时被调用，并根据其与主模型的相容性以及自身的可靠性进行加权。

3. 主要贡献
本文概述了四个主要贡献：

1. 自适应参考构建： 开发了一种基于 NRS 的机制，使参考元组取决于邻域粒度。引入了一种验证引导的过程，用于共同选择邻域半径和相似度阈值，增强了对数据分布的适应性。
2. 冲突的结构化分析： 通过理论分析证明，基于 OVA 的 S3WD 扩展中的置信度冲突是由置信度分数的有限值性质（由匹配属性计数和决策水平决定）自然产生的。
3. 条件动态集成： 一种新颖的策略，通过仅针对冲突样本激活辅助分类器来解决置信度冲突。集成过程根据 KL 散度和验证性能动态加权辅助输出，同时为非冲突样本保留原始 S3WD 决策。
4. 全面评估： 提供了关于有限步终止和决策保持的理论证明，并在九个基准数据集上进行了广泛实验，评估了参数敏感性、噪声鲁棒性和整体性能。

4. 实验结果
实验使用 MATLAB 在九个 UCI 基准数据集（如 Iris, Seeds, DryBean, PageBlocks）上进行。

• 参数敏感性： 研究确认了邻域半径 ($\delta$) 和相似度阈值 ($\sigma$) 都是高度敏感的参数。最优值在不同数据集之间差异显著，验证了验证引导选择过程的必要性。
• 冲突解决： 在专门针对存在置信度冲突的样本进行评估时，与随机平局决胜 (SM-S3WD) 和固定权重集成 (MM-S3WD) 相比，EM-S3WD 在九个数据集中的八个上实现了最高的平均准确率。
• 噪声鲁棒性： 与固定参考元组方法相比，自适应参考元组构建在多个数据集（特别是 Iris, Seeds, Dermatology 和 Abalone）上表现出更强的抗高斯噪声能力。
• 整体性能： 在与包括 Random Forest, AdaBoost, KNN 和 3WD-NRS 在内的六个代表性分类器的比较中，EM-S3WD 取得了具有竞争力的结果。它在 DryBean 数据集的各项指标上均优于所有竞争对手，并在 Balance-scale 和 Abalone 上在准确率 (Accuracy) 和 Kappa 指标上处于领先地位。
• 统计显著性： 虽然 EM-S3WD 表现强劲，但 Friedman 和经过 Holm 调整的 Wilcoxon 检验表明，它在统计上与最强的基准模型处于同一水平，并未在所有数据集和指标上都展现出相对于每一个单独竞争对手的统计显著优势。

5. 重要性与声明
本文将 EM-S3WD 定位为 Xu 等人二元 S3WD 分类器的一个针对性的模型级扩展。其核心意义在于：

• 适应性： 从基于静态 CRS 的参考元组转向基于 NRS 的自适应参考元组，通过验证引导的参数选择对数据分布做出响应。
• 显式冲突处理： 提供了一种结构化的、依赖于样本的机制，用于解决多分类 S3WD 场景中的置信度冲突，而不是依赖于任意的平局决胜。
• 可解释性： 在扩展至多分类问题时，保持了 S3WD 框架的可解释性。

作者谦虚地声称，该框架的贡献在于其自适应参考表示和显式的冲突感知决策机制。他们承认，虽然该方法具有竞争力，但并不能在所有场景下普遍优于现有的所有集成或基于粗集的分类器。由于邻域计算和参数搜索的存在，计算成本被视为一项局限性，这暗示未来的工作方向在于开发高效的搜索机制和替代的辅助模型选择方案。