🤖 machine learning

Approximation-Free Differentiable Oblique Decision Trees

本文介绍了 DTSemNet，这是一个新颖的框架，它将硬倾斜决策树表示为可逆神经网络，从而能够通过标准梯度下降实现精确、无近似的端到端训练，在分类和回归任务中均优于现有的可微方法。

原作者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何做决策，就像医生诊断病人或自动驾驶汽车在街道上行驶一样。你希望机器人足够聪明，同时也希望你能理解它为何做出某个特定选择。

决策树就像是机器人的流程图。它们通过提出一系列“是/否”问题（例如：“温度高吗？”“速度快吗？”）来得出最终答案。它们之所以出色，是因为人类可以轻松阅读流程图并理解其逻辑。然而，教机器人构建完美的流程图却极其困难。这就像在没有地图的情况下，试图在巨大而曲折的迷宫中找到唯一最佳路径。

问题：“近似”陷阱

过去，研究人员尝试使用标准的人工智能训练方法（称为“梯度下降”）来构建这些树。问题在于，决策树做出的是硬性、二进制的选择（是或否），而标准的人工智能训练需要平滑、连续的尺度才能有效学习。

为了绕过这一障碍，以往的方法采用了近似手段：

“软”方法：它们让机器人猜测“也许是”或“也许不是”（就像一张模糊的照片），而不是清晰的“是/否”。随后，它们试图让图像变清晰，但画面往往已经受损。
“直通估计器”（STE）：这就像魔术师的戏法。在学习阶段，机器人假装决策是平滑的，以便进行学习。但当它实际做出决策时，又瞬间切换回硬性的“是/否”。问题在于，“学习”和“执行”是两回事。这就像试图通过假装方向盘是橡皮筋来学习开车；你或许能学到一些东西，但当你尝试驾驶真正的汽车时，就会发生车祸。

这种不匹配会导致机器人陷入不良习惯，尤其是在尝试预测数值（回归）而非仅仅分类（分类）时。

解决方案：DTSemNet

本文作者提出了一种名为DTSemNet的新架构。你可以将其想象成用乐高积木搭建决策树，这些积木与机器人的学习大脑完美兼容。

不再使用戏法：DTSemNet 的设计确保了机器人做出决策的方式与它从错误中学习的方式完全一致。“学习模式”与“执行模式”之间不存在任何差距。
“硬性”真相：它使用一种特定的数学构建模块（ReLU），使机器人能够做出清晰、硬性的决策（是/否），同时仍能利用标准且强大的训练工具。这就像建造一座桥梁，你驾驶的道路与建造它时使用的道路完全相同。

回归挑战："Top-k"策略

虽然这种方法在简单类别（如“猫”与“狗”）上表现完美，但在预测数值（如“降雨量有多少？”）时仍然棘手。

在这些情况下，机器人必须选择听从哪位“专家”（树的叶子节点）。

旧方法（STE）：机器人会挑选一位专家，但训练信号嘈杂且混乱，往往导致机器人忽略大多数专家，仅依赖一两位。这就像一位经理只听取声音最大的员工意见，而忽略了其他人。
新方法（退火 Top-k）：作者引入了一种巧妙的训练策略。
1. 从宽泛开始：在训练初期，机器人被要求听取前4位专家（k=4）的意见并综合他们的建议。这为机器人提供了丰富、清晰的信号以供学习。
2. 逐渐收窄：随着机器人变得更聪明，作者逐步减少它听取的专家数量（从 4 到 3，再到 2）。
3. 最终目标：最终，机器人学会只听从一位专家（k=1），这正是它需要做出的最终硬性决策。

这就像一名学生起初与四位导师一起学习以获得广泛的理解，随着掌握材料，逐渐减少依赖的导师数量，直到能够独立工作。这种方法防止了机器人陷入困惑或停滞。

结果：更快、更智能

团队在多种任务上测试了这一新方法：

分类（类别）：它超越了所有其他方法，在更短的时间内构建了更准确的决策树。
回归（数值）：它显著优于以往的方法，特别是在旧有的“戏法”方法失效的复杂数据集上。
强化学习（机器人控制）：他们利用 DTSemNet 教机器人玩游戏和控制模拟车辆（如月球着陆器）。与使用旧近似方法训练的机器人相比，这些机器人学习得更快，表现也更好。

核心结论

本文提出了一种诚实且直接的决策树训练方法。它不依赖数学戏法或模糊的近似。通过确保机器人以完全相同的方式学习和行动，并针对数值预测任务采用聪明的“从群体到个体”训练策略，DTSemNet 构建了不仅更易于人类理解，而且在准确性和训练速度上均优于当前任何可用方法的决策树。

局限性：作者指出，虽然这种方法非常适合表格数据（数字的行和列），但它并非为高维输入（如原始图像）而设计，因为决策树难以捕捉复杂形状。

技术摘要：无近似可微斜决策树

问题陈述
决策树（DTs）因其可解释性及在表格数据上的有效性，在医疗诊断等安全关键领域备受推崇。然而，训练准确的斜决策树（即分裂基于特征的线性组合，而非轴对齐）由于搜索空间的 NP 难性质，在计算上极具挑战性。尽管近期的可微方法实现了基于梯度的训练，但它们依赖近似手段，从而损害了学习过程的完整性：

软决策树（Soft DTs）： 使用概率性的“软”边界（例如 Sigmoid 激活函数）使树可微，但将这些软边界转换为“硬”决策时，往往会导致精度下降。
直通估计器（STE）： 在 DGT 和 ICCT 等方法中用于近似通过不可微硬决策的梯度。这导致前向传播（评估）与反向传播（优化）之间存在语义不匹配。在回归任务中，这种不匹配会导致有偏的梯度更新、结构不稳定以及叶节点的利用不足，因为内部参数是基于所有回归器进行更新的，而每次仅选择一个回归器。

方法论：DTSemNet
作者提出了DTSemNet，这是一种新颖的神经网络架构，提供了硬斜决策树的语义等价且可逆的表示。与 prior 工作不同，DTSemNet 能够在不使用近似的情况下，利用标准梯度下降实现端到端训练。

架构： DTSemNet 使用 ReLU 激活函数和线性运算，将具有 $m$ $m$ 个内部节点和 $n$ $n$ 个叶节点的决策树编码为神经网络。
- 内部节点： 由计算 $\langle A_i, x \rangle + b_i$ 的线性层表示。
- 分支： 利用 ReLU 激活函数分离正（ $\top$ ）和负（ $\bot$ ）结果，确保对于任何输入（除测度为零的边界外）恰好有一个分支处于激活状态。
- 叶节点： 一个固定权重的线性层聚合激活的分支，为每个叶节点生成 logits。
语义等价性： 定理 1 证明，对于任何输入 $x$ ，硬决策树所选中的叶节点与 DTSemNet 网络中输出 logit 最大的叶节点完全相同。因此，评估函数（前向传播）与优化函数（反向传播）在语义上是完全一致的。

回归策略：退火 Top-k
虽然分类任务通过 argmax 自然契合该公式，但回归任务需要联合优化路由（内部节点）和叶回归器。作者指出，使用单一 STE（如其之前的会议论文所述）会导致不稳定，因为它基于所有回归器更新内部节点，而每一步仅更新一个回归器。

为解决这一问题，本文引入了一种退火 Top-k方法：

机制： 在训练期间，模型不使用硬性的 Top-1 选择，而是初始使用 Top- $k$ 选择器（ $k \ge 2$ ）结合温度缩放的 Softmax。这使得模型能够同时将输入路由到多个专家（叶节点），从而提供具有信息量的梯度。
退火： $k$ 的值在训练轮次中从 $k \ge 2$ 逐渐减小至 $k=1$ 。
优势：
- 梯度一致性： 与 STE 不同，在每一步 $k$ ，前向传播和反向传播共享相同的语义。
- 平衡更新： 内部节点参数仅基于选中的前 $k$ 个回归器进行更新，避免了遥远且未选中的叶节点带来的破坏性影响。
- 探索： 单个样本会更新多个回归器，使得模型能够在训练后期路由决策发生偏移时进行适应。
微调： 一旦达到 $k=1$ ，内部节点将被冻结，并使用增强样本对叶回归器进行微调以防止过拟合。

主要贡献

DTSemNet 架构： 一种斜决策树的可微编码，与硬树语义等价，允许在不进行近似的情况下进行精确的梯度下降训练以用于分类。
用于回归的退火 Top-k： 一种新颖的训练过程，消除了基于 STE 的方法在回归中固有的近似和偏差，确保了路由和叶参数的稳定且准确的联合优化。
程序化 RL 策略： 展示了 DTSemNet 作为强化学习（RL）中的程序化策略，在离散和连续动作空间中替代了标准的神经网络（NNs）。

实验结果
作者在分类、回归和 RL 基准测试中，将 DTSemNet 与最先进的方法（TAO、DGT、CRO-DT、CART、ICCT、VIPER）进行了评估。

分类： DTSemNet 在测试的每个数据集上均取得了最佳性能，包括简洁树和稠密树。它显著优于非梯度方法（如 TAO、CRO-DT）和基于梯度的近似方法（DGT），在光学识别等具有挑战性的基准测试上将分类错误率降低了高达 10%。训练时间与 DGT 相当，但显著快于全局搜索方法。
回归： 采用 Top-k 的 DTSemNet 在几乎所有数据集上均优于所有竞争对手。其平均 RMSE 比 TAO-Linear 改善了 3%，并显著优于 DTSemNet-STE（使用 STE 的版本）。消融研究证实，与倾向于利用不足叶节点的 STE 相比，Top-k 能带来更平衡的叶节点利用率和更稳定的权重演化。
强化学习：
- 离散动作： 在 LunarLander 和 Zerglings 等环境中，DTSemNet 的表现与 NN 相当或更优，并显著优于其他基于 DT 的策略（DGT、ICCT、VIPER）。
- 连续动作： 结合 SAC 使用 Top-k 退火策略，DTSemNet 在 Continuous LunarLander 和 BipedalWalker 上优于 NN 基线和基于 STE 的 DT，证明了无近似训练即使在连续控制中也能产生更优的策略。

意义与主张
本文主张 DTSemNet 是首个在分类和回归设置中均实现斜决策树无近似训练的架构。通过消除评估与优化之间的语义不匹配，它克服了基于 STE 方法的不稳定性和偏差。作者认为，这弥合了符号模型（DTs）的可解释性与基于梯度的训练的可扩展性之间的差距，使得高性能、可解释的模型能够应用于安全关键应用和复杂的 RL 环境。

局限性与未来工作
作者承认，作为决策树，DTSemNet 不适合处理图像等高维输入，因为它在处理复杂形状时存在困难。未来的工作将专注于开发用于自适应树生长和剪枝的可微方法，摆脱将固定树高作为超参数的做法。