🤖 machine learning

Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss

本文提出了一种适用于分类任务的改进版 LASSO-Clip-EN（LCEN）算法，该算法在保持特征选择稀疏性和可解释性的同时取得了优异性能，并验证了加权焦点可微 MCC 损失函数在提升模型准确率方面显著优于传统的加权交叉熵损失。

原作者： Pedro Seber, Richard D. Braatz

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Pedro Seber, Richard D. Braatz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要讲的是如何教电脑更聪明地做“分类”任务（比如判断邮件是垃圾邮件还是正常邮件，或者判断心脏病风险），同时让电脑变得更“懂行”、更“精简”。

作者做了两件大事：

升级了一个旧工具（LCEN 算法），让它不仅能做数学题（回归），还能做选择题（分类）。
发明了一种新的“评分标准”（diffMCC 损失函数），用来训练神经网络，让它在做选择题时更精准。

下面我用几个生活中的比喻来为你拆解这篇论文的核心内容：

1. 升级旧工具：LCEN 算法（从“做填空题”到“做选择题”）

背景故事：
以前，作者开发了一个叫 LCEN 的算法。你可以把它想象成一个超级挑剔的编辑。

在以前的工作中（回归任务），这个编辑擅长从一堆杂乱的数据中，找出哪些数字是真正重要的，把没用的数字全部删掉，最后写出一篇简洁明了的文章（模型）。
局限性： 这个编辑以前只会处理“填空题”（预测一个具体的数值，比如房价是多少），不会处理“选择题”（比如判断是“生”还是“死”，“红”还是“白”）。

这次做了什么：
作者给这位编辑升级了技能包，让他也能处理“选择题”（分类任务）。

核心能力不变： 升级后的编辑依然非常挑剔。他依然会大刀阔斧地删掉那些没用的特征（输入数据）。
实验结果： 作者用四个真实世界的数据集（比如心脏病预测、银行营销、红酒质量、玻璃分类）来测试。
- 删减能力： 平均来说，这位编辑能删掉 56% 的无用数据！就像你整理衣柜，把一半不穿的衣服都扔了，剩下的全是精华。
- 预测能力： 即使删掉了这么多数据，他的预测准确率依然非常高，甚至超过了大多数复杂的深度学习模型。
- 可解释性： 因为删掉了多余的数据，剩下的特征非常少，人类很容易看懂他是怎么得出结论的（比如：“因为年龄大 + 肌酐高，所以心脏病风险高”），而不是像黑盒子一样让人猜谜。

2. 发明新评分标准：diffMCC 损失函数（从“猜对就行”到“猜得漂亮”）

背景故事：
在训练神经网络（一种模仿人脑的复杂模型）时，通常使用一种叫“交叉熵”的评分标准。

比喻： 这就像老师批改试卷，只看学生有没有选对答案。如果学生蒙对了，老师就给他满分；如果学生虽然选对了，但对每个选项的把握程度（概率）没算准，老师也不管。
问题： 有时候，为了追求“选对”，模型可能会走捷径，虽然分数高，但实际分类效果（比如区分度）并不完美。这就好比一个学生为了及格，只背了答案，但不懂原理。

这次做了什么：
作者引入了一种新的评分标准，叫 diffMCC（加权焦点可微 MCC 损失函数）。

比喻： 这个新标准更像是一个严厉的考官。他不仅看你选没选对，还要看你选得有多自信、多准确。他特别关注那些容易混淆的类别，强迫模型去区分细节。
实验结果：
- 用这个新标准训练的模型，在测试中表现总是最好的。
- 平均来说，它的准确率（F1 分数）比传统方法高了 4.9%，综合评分（MCC）高了 8.5%。
- 这就好比用新标准训练出来的学生，不仅考试全对，而且对每个知识点的理解都更深刻，遇到新题也能举一反三。

3. 强强联合：当“挑剔编辑”遇上“严厉考官”

作者做了一个有趣的实验：

先用升级后的 LCEN 编辑 把数据精简一下（只留下最重要的特征）。
再用 diffMCC 考官 的标准去训练各种模型。

结果令人惊讶：

瘦身成功： 即使把数据砍掉了一半多，模型依然跑得飞快，而且更准了。
通用性强： 这种“精简数据 + 新评分标准”的组合，在心脏病、银行营销、红酒评级、玻璃分类等完全不同的领域都奏效了。
打败对手： 在很多情况下，这种组合甚至打败了那些拥有海量参数、像“巨无霸”一样的深度学习模型。

总结：这篇论文告诉我们什么？

少即是多（Less is More）： 并不是数据越多越好。像 LCEN 这样的工具，能帮你剔除噪音，只保留最核心的信息，反而能让模型更聪明、更透明。
选对标准很重要： 训练模型时，用什么“尺子”去衡量好坏，直接决定了模型的上限。diffMCC 这把新尺子，比传统的尺子更能量出模型的真正实力。
可解释性很珍贵： 在医疗、金融等关键领域，我们不仅需要模型“猜得对”，还需要知道它“为什么这么猜”。LCEN 算法做到了既准又透明，这是很多黑盒模型做不到的。

一句话概括：
作者给旧算法穿了新鞋（适应分类任务），又给新模型配了副好眼镜（diffMCC 损失函数），结果发现：把数据精简一下，再换个更聪明的训练方法，电脑就能像老练的专家一样，又快、又准、又透明地解决问题。

以下是基于论文《Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss》的详细技术总结：

1. 研究背景与问题 (Problem)

分类任务中的可解释性与稀疏性需求： 在科学、工程及关键应用领域，机器学习模型不仅需要高精度，还需要具备可解释性（人类可理解预测逻辑）和稀疏性（使用少量特征）。现有的后验解释方法（如 Shapley 值、LIME）存在不可靠的问题，且部分模型为了追求精度可能利用与问题无关的“捷径”，导致泛化能力下降。
现有算法的局限性： 之前提出的 LASSO-Clip-EN (LCEN) 算法虽然在回归任务中表现出色（兼具非线性、可解释性和特征选择能力），但仅限于回归任务，无法直接应用于分类问题。
损失函数与评估指标的错位： 在分类任务中，深度学习模型通常使用交叉熵 (Cross-Entropy, CE) 损失函数进行训练，但评估时却使用 F1 分数 或 Matthews 相关系数 (MCC)。由于 CE 损失与这些分类指标不一致，且分类指标通常不可微，导致优化目标与最终评估目标不匹配，可能无法获得最优的分类性能。

2. 方法论 (Methodology)

本文提出了两项核心改进：

A. 改进的 LCEN 算法 (Modified LCEN for Classification)

将原本用于回归的 LCEN 算法扩展至分类任务，主要修改包括：

LASSO 步骤： 将带 L1 范数惩罚的线性回归修改为带 L1 范数惩罚的逻辑回归 (Logistic Regression)。
Clip 步骤：
- 在二分类中保持不变。
- 在多分类中，为每个类别生成一组特征，需通过超参数 LCEN_clip_min_classes_selected 进行协调（即一个特征必须在至少 $k$ 个类别中被选中才保留）。
EN (Elastic Net) 步骤： 将带 L1-L2 混合范数惩罚的线性回归修改为带 L1-L2 混合范数惩罚的逻辑回归。

特性： 保持了原算法的稀疏性、可解释性和计算效率（在特征筛选后，其速度优于纯 EN 模型）。

B. 加权焦点可微 MCC 损失函数 (Weighted Focal Differentiable MCC Loss, diffMCC)

引入 Seber (2024) 提出的 diffMCC 损失函数。
该函数是 MCC 指标的可微变体，旨在直接优化分类任务的核心评估指标（MCC），从而解决传统交叉熵损失与分类指标不一致的问题。
实验中将使用 diffMCC 损失训练的多层感知机 (MLP-diffMCC) 与使用加权交叉熵 (MLP-CE) 训练的模型进行对比。

C. 实验设置

数据集： 使用了 4 个真实世界数据集（2 个二分类：心力衰竭、银行营销；2 个多分类：葡萄酒质量、玻璃识别）以及人工合成数据。
对比模型： 包括逻辑回归 (LR)、LASSO、Ridge、Elastic Net、随机森林 (RF)、梯度提升树 (GBDT)、支持向量机 (SVM)、AdaBoost 以及不同损失函数训练的 MLP。
验证方式： 5 折交叉验证，重复 3 次（不同随机种子），使用 Tukey's HSD 检验进行统计显著性分析。

3. 关键贡献 (Key Contributions)

LCEN 算法的泛化： 成功将 LCEN 扩展至分类领域，证明了其在分类任务中同样具备优异的特征选择能力和建模性能，同时保持了模型的可解释性和稀疏性。
diffMCC 损失函数的广泛验证： 在多个非生物领域的分类任务中验证了 diffMCC 损失函数的有效性，证明其优于传统的加权交叉熵损失。
特征选择的实证分析： 系统评估了 LCEN 作为特征选择器的效果。实验表明，使用 LCEN 筛选出的特征重新训练其他模型，往往能提升性能或保持性能不变，且大幅减少了特征数量。

4. 实验结果 (Results)

A. 模型性能对比

MLP-diffMCC 表现最佳： 在所有四个数据集中，使用 diffMCC 损失训练的 MLP 模型在测试集上的宏观 F1 分数和 MCC 指标均始终最高。
- 与使用加权交叉熵 (CE) 的 MLP 相比，平均宏观 F1 分数提高了 4.9%，MCC 提高了 8.5%。
LCEN 表现优异：
- 作为独立模型，LCEN 在大多数情况下表现优于传统机器学习模型（如 RF, GBDT, SVM），仅略低于（平均低 7.3% F1, 15.0% MCC）每个数据集上的最佳模型（通常是 MLP-diffMCC）。
- 在“银行营销”任务中，LCEN 甚至超越了使用 CE 损失的 MLP。

B. 特征选择效果

稀疏性： LCEN 平均消除了 56% 的输入特征。在 4 个数据集中的 3 个，消除比例超过 50%。
性能提升：
- 使用 LCEN 筛选后的特征重新训练所有模型，在 3/4 的数据集中显著提升了宏观 F1 和 MCC 指标，在剩余 1 个数据集中性能持平。
- 对比其他方法： LCEN 的特征选择效果优于基于统计检验（如 Mann-Whitney U）、基于领域知识的向前选择法以及特征相关性分析。
- 案例数据：
  - 心力衰竭： 使用 LCEN 特征（3 个）比使用文献中的特征（2 个）使线性模型的 F1 提升 3.3%，MCC 提升 10.0%。
  - 银行营销： 使用 LCEN 特征（20 个）比使用文献方法（18 个）使平均 F1 提升 1.2%，MCC 提升 7.5%。
  - 玻璃识别： 使用 LCEN 特征使平均 F1 提升 5.4%，MCC 提升 19.1%。
模型压缩： 使用 LCEN 筛选特征后训练的 MLP 模型体积平均减少了 78.1%（心力衰竭）到 88.4%（银行营销），且性能未下降甚至提升。

C. 超参数分析

针对多分类任务中的 LCEN_clip_min_classes_selected 超参数，实验表明将其设置为类别总数的 2/3 或更低（例如 1 或 2）能获得最佳性能。设置过高会导致性能显著下降。

5. 意义与结论 (Significance)

可解释性与高性能的统一： 该工作证明了在分类任务中，无需牺牲可解释性或稀疏性即可获得高性能。LCEN 提供了一种“白盒”式的解决方案，适用于对模型透明度要求高的关键领域（如医疗、航空）。
优化目标的改进： 研究证实，直接优化分类评估指标（如 MCC）的损失函数（diffMCC）比传统的交叉熵损失更能提升模型性能，特别是在处理不平衡数据或需要综合评估指标的场景下。
特征工程的价值： LCEN 不仅是一个建模算法，更是一个强大的特征选择工具。它能有效去除冗余和噪声特征，降低数据方差，从而提升各种机器学习模型的泛化能力。
未来方向： 建议将 LCEN 用于自动生成物理方程（混合模型架构），并进一步在图像和文本等非表格数据任务中评估 diffMCC 损失函数的适用性。

总结： 本文通过改进 LCEN 算法和引入 diffMCC 损失函数，显著提升了分类任务的性能和模型的可解释性。LCEN 能够高效筛选关键特征，而 diffMCC 则确保了模型训练方向与最终评估指标的一致性，两者结合为科学和工程领域的分类问题提供了强有力的解决方案。