A multi-objective evolutionary approach to neural architecture search for clinical tabular classification: balancing predictive performance and model compactness

想象一下，你正试图打造一个完美的机器人厨师，用来诊断心脏病或发现肿瘤。你希望这位厨师不仅极其聪明（高准确度），而且还要足够小巧，能装进兜里（低复杂度）。通常，当人们尝试构建这些 AI 厨师时，他们只是不断地添加更多的食材和工具，认为“越大越好”。但本文认为这是一个坏主意。它指出，把模型做得太大，就像是在背包里塞进太多的书，即使这些书很有趣，也会让背包变得太重。结果呢？一个笨拙的机器人，会因为被自己的脚步绊倒而无法正常工作。

作者 Ivan、Menhai 和 Safa 决定尝试一种不同的方法。他们没有仅仅通过猜测或扩大模型规模，而是创建了一个数字“进化游戏”——MOGA-NAS。你可以把它想象成一场针对计算机大脑的“适者生存”竞赛。

游戏规则：双重目标并行
在大多数游戏中，你只需要追求最高分。但在这一场游戏中，玩家必须同时兼顾两个目标：

1. 要聪明： 在医学测试中获得尽可能高的分数（通过被称为 F1 分数的指标来衡量）。
2. 要小巧： 使用尽可能少的“零件”（参数）。

本文认为，如果只针对一个目标进行优化（比如仅仅为了变聪明），会导致模型臃肿且低效。因此，他们使用了一个特殊的裁判系统，叫做 NSGA-II。这个裁判并不只是选出一个单一的获胜者，而是寻找一整个“帕累托前沿”（Pareto front）。想象一下一份菜单，你可以选择一个非常聪明但稍重一点的模型，或者一个稍微没那么聪明但能装进兜里的模型。其目标是为医生提供一份选择菜单，让他们可以根据自己具体的硬件设备进行挑选。

秘密武器
为了让这种进化过程奏效，团队发明了三个酷炫的技巧：

• “神经元到子网络”变异（The "Neuron-to-Subnetwork" Mutation）： 想象一下，你机器人中的一个乐高积木突然决定成长为一个带有自己齿轮的微型独立机器。这使得机器人可以仅在需要的地方增加复杂度，而不是让整个结构都变大。
• “重要性指南”（The "Importance Guide"）： 系统并不会随机选择要改变机器人的哪个部分，而是会检查哪些部分真正承担着重任。这就像一位教练在告诉球员：“别改你的鞋子，去改你的跑步姿势，”因为鞋子并不是问题所在。
• “8 位编码”（The "8-Bit Code"）： 他们使用了一种非常紧凑的方式来记录机器人的设计（就像使用短代码而不是长篇大论）。论文指出，这起到了“正则化器”（regularizer）的作用，这是一种高级说法，意味着它迫使机器人保持简单，防止它通过死记硬背测试答案而不是学习知识来应对。

结果：小而强大
团队在五个不同的医学数据集上测试了这种方法，范围涵盖了从心脏病记录到乳腺癌数据。他们运行了 1 15 次实验（使用三种不同的随机起点和五种不同的数据划分），以确保结果并非偶然。

以下是他们的发现：

• 性能： 在五个数据集中的四个上，他们进化的机器人获得了最高的平均分。在第五个数据集（威斯康星州乳腺癌数据集）上，他们与最传统的最佳方法（支持向量机）持平。论文指出，在这个特定的数据集上，两者的差异极小，在统计学上是无法区分的。
• 尺寸： 这是最大的胜利。他们找到的模型非常小巧——仅包含约 100 到 480 个参数。相比之下，其他方法通常使用数千个参数。论文指出，这比其他方法小了“一到两个数量级”。
• 可靠性： 当他们进行数学检查（使用名为配对威尔科克森符号秩检验的统计测试）时，发现他们在 65 次比较中有 61 次 表现得比其他方法在统计学上更好。

他们明确排除的情况
论文非常谨慎地说明了这种方法不是什么。

• 它不是解决一切问题的万灵药。作者明确表示，他们并没有声称实现了关于原始能力的“新最先进水平”（new state of the art）。在某些数据集上，提升只是“统计学上的平手”，而非巨大的胜利。
• 它不是免费的。论文认为，虽然最终的机器人很小且很快，但构建它的过程（搜索过程）需要时间。在标准计算机上，它需要“每折叠（fold）约数分钟”的时间，这比训练一个只需“不到一秒”的简单模型要慢得多。如果你赶时间且无法等待进化完成，一个简单的、经过预调优的模型可能仍然是更好的选择。
• 它尚未证明适用于超大规模数据集。论文明确将其范围限制在“中小规模”数据集（最大的约有 1,151 个实例）。他们承认目前还不清楚这是否适用于拥有数百万条记录的海量数据。

底线
论文表明，使用这种多目标进化搜索是一种“有利且可复现的权衡”。它提供了一种方法，让你在无需构建庞大、笨重模型的情况下，获得顶级的医学预测能力。这就像是找到一把瑞士军刀，它和全尺寸厨刀一样锋利，却能轻松装进口袋。

然而，作者也坦诚地指出了代价：你必须预先支付“搜索预算”（时间与计算能力）来找到那个完美的、紧凑的设计。如果你有时间运行进化过程，你就能得到一个微小、高效的模型。如果你需要立即得到答案，传统方法可能仍是你的最佳选择。这项研究表明，这种方法对于那些设备较小或电力受限的临床环境特别有价值，但这仍然是基于这些特定测试的建议，而非适用于所有医疗 AI 的普遍法则。