Convex losses and their applications to SVM, SVR, and Shallow Neural Networks

技术摘要：凸损失函数及其在 SVM、SVR 和浅层神经网络中的应用

问题陈述
本文探讨了二分类任务中机器学习算法的泛化性能。核心问题在于开发并评估能够通过相似度矩阵 $F$ 引入模式相关性的新型凸损失函数。由于标准的损失函数（如二元交叉熵）将误差视为相互独立，本文提出的方法旨在通过考虑训练样本之间的关系来推广这些损失函数。研究中发现的一个显著挑战是，虽然这些新损失函数可以在支持向量机（SVM）和支持向量回归（SVR）的对偶形式中进行理论构建，但生成的对偶优化问题依赖于原变量（$\xi$），这使得它们在理论上是完备的，但在数值求解上难以使用标准的对偶求解器。

方法论
作者提出了一系列新的凸损失函数（$L_1$ 至 $L_6$），这些函数通过引入涉及 $\sqrt{\xi}$ 和模式相关矩阵 $F$ 的项来推广标准损失。矩阵 $F$ 使用各种径向基函数（RBF）和距离度量（欧氏距离、曼哈顿距离）并通过超参数 $\gamma_F$ 进行构建。

• SVM 和 SVR 公式化： 作者利用 KKT 条件推导了 SVM 和 SVR 的对偶目标函数。然而，他们指出对偶问题仍然依赖于原变量松弛变量 $\xi$，从而无法直接通过标准的二次规划进行求解。
• 优化策略： 为了克服修改后的对偶 SVM 公式在数值上的不可行性，作者采用粒子群优化算法（PSO）来求解原问题形式的 SVM。PSO 算法以标准 SVM 对偶求解器的解作为初始化，并使用新的损失函数对变量 $\vec{\alpha}$ 和 $b$ 进行优化。
• 神经网络： 对于浅层神经网络（最多 4 层），损失函数通过 PyTorch 实现。$F$ 矩阵针对训练集进行预计算。模型采用带有 Dropout 和批归一化（Batch Normalization）的标准架构，并使用 Adam 优化器进行优化。
• 评估协议： 性能评估采用嵌套交叉验证（NCV），包含 5 个外层循环和 3 个内层循环。对于神经网络，NCV 重复进行 10 次，以减轻随机初始化效应的影响。研究使用了七个小型 UCI 二分类数据集（Sonar, Haberman, Heart, Iono, WDBC, Breast, German）。

主要贡献

1. 新型损失函数： 引入了多种凸损失函数（$L_1$–$L_6$），这些函数将模式相关性整合到误差项中，在理论上实现了对标准损失的推广。
2. 基于 PSO 的原问题 SVM 解法： 一种利用粒子群优化算法求解修改后的原问题 SVM 的实用方法，绕过了依赖于对偶公式的求解难题。
3. 实证验证： 通过综合实验研究，在多个数据集和超参数设置下，将这些新损失函数与标准基准（标准 SVM、Adaboost 和使用标准 BCE 损失的神经网络）进行了对比。

结果
针对小型数据集的实验结果得出以下观察结论：

• 泛化性能： 结果表明，在测试的数据集上，使用新损失函数的泛化度量（平均准确率）与标准基准相当。虽然作者在摘要中结论称无论是否使用新损失函数，度量结果都“相同”，但具体数据揭示了细微的变化：在 Sonar 数据集上，表现最好的新损失模型（NN L5 L y）准确率为 0.826，而基准为 0.800；在 WDBC 上，新损失模型（如 NN L6 L n）达到了 ~0.977 的准确率，而基准为 0.975。相反，在 Iono 数据集上，标准 BCE 损失取得了最佳结果。因此，虽然总体趋势表明并未出现普遍且具有统计学意义的性能飞跃，但特定的配置在某些数据集上确实展示了相对于基准的边际改进。
• 算法比较： 在七个数据集中的三个数据集中，标准 SVM 通常比神经网络获得更好的泛化性能，且耗时更短。Adaboost 在 Breast 数据集上的表现优于其他方法，且训练时间相对于神经网络几乎可以忽略不计。
• 计算成本： 新损失函数（尤其是对于神经网络）会产生更高的计算成本，其判别准则的复杂度为 $O(b^2 d)$（其中 $b$ 是批大小，$d$ 是特征数），并且需要计算 $F$ 矩阵。新损失模型的训练时间明显长于基准模型。
• 特定发现： 尽管在 Sonso 和 WDBC 等数据集上观察到了边际数值增益，但作者强调，在所有测试数据集中，泛化度量在很大程度上与标准情况基本一致，除了 Iono 数据集（基准模型占优）之外。

意义与主张
本文谦虚地声称所提出的损失函数是标准损失的一种推广，在理论上有能力达到或优于标准损失。研究表明，在损失函数内部引入模式相关性理论上可以增强某些数据集上的泛化能力，这从 Sonar 和 WDBC 上的特定准确率提升中得到了证实。

然而，作者得出结论认为，在所测试的小型数据集上，实证结果显示泛化度量在很大程度上是与使用或不使用新损失函数相当的，而非普遍优于标准方法。这项工作的意义在于其理论框架以及初步证据表明，在特定场景下可能存在潜在收益。作者建议未来的工作应研究更高效的深度网络 $F$ 矩阵，利用二阶优化器（如 Muon），并探索各向异性核以精炼相似度矩阵。