Regression Model Selection under Explicit Inference Costs
本文表明，虽然为每个输入选择单个回归专家可以带来延迟方面的优势，但与更简单、更廉价的全局模型相比，这种方法通常无法改善准确度-成本的前沿面，这表明除非满足特定条件，否则应优先考虑强大的全局替代方案，而非复杂的路由机制。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在机器学习领域，计算机通常通过观察庞大的预训练模型库来进行学习，每个模型都是其各自领域的专家。想象一支专家团队，其中一位可能擅长预测沿海城市的房价，而另一位则精于预测工业区的能源消耗。当新问题出现时，目标是挑选出最合适的单一专家来解决问题，而不是让整个团队都参与进来。这种被称为“模型路由”或“专家选择”的方法，旨在通过避免运行所有可能模型的成本，来节省时间和计算资源。这是一个逻辑严密的想法：既然独奏者就能奏出完美的音符，为何还要支付整支管弦乐队的费用呢？然而，现实世界很少像理论那样整洁。做出决策的成本——即检查哪位专家最合适的过程——有时可能会超过该决策带来的收益，而且选择的过程本身也可能引入误差。
来自石油与能源大学研究人员的一项新研究，在严格的现实条件下对这一想法进行了测试。该团队提出了一个根本性的问题：为每个特定输入选择单一专家的努力，是否真的能抵消其成本，还是说这仅仅是一种为了得到稍差答案而导致更昂贵的方式？为了找出答案，他们没有依赖理论推测或小规模的受控模拟。相反，他们利用三十五个不同的现实世界数据任务构建了一个巨大的测试场，这些任务涵盖了从预测出租车小费、房价到分析化学化合物和能源使用等多个方面。他们收集了一个包含十六种不同类型预测模型的库，并在这些任务上对其进行了训练，然后尝试构建一个“守门人”系统。这个守门人的职责是观察一段新数据，并立即决定由十六位专家中的哪一位来处理它，从而在处理过程中及时止步以节省时间。
研究人员以极高的精度测量了一切。他们不仅追踪了预测结果的准确度，还精确记录了做出决策及运行所选模型所需的时间。他们将这个守门人系统与两种强大的替代方案进行了对比：一个是专门针对该任务重新训练的单一大型模型；另一个是名为 AutoGluon 的高级自动化系统，它将许多模型组合成一个高度准确的预测器。结果清晰且令人惊讶。旨在追求快速高效的守门人系统未能击败竞争对手。事实上，重新训练后的单一模型比守门人系统既快又准。守门人系统耗费了标准一体化系统所需时间的约 41%，但其准确度仍低于仅耗费该时间 26% 的重新训练模型。而最准确的系统——自动化的 AutoGluon，虽然在预测结果上表现显著优异，但其在时间和计算能力上的成本也高得多。
研究还探讨了一个此前被怀疑但尚未在现实数据中得到证实的理论风险。研究人员表明，当学习系统试图使用特定类型的决策树在众多选项中进行选择时，它可能会被误导。如果系统面对的是一组其中某些选项明显劣于其他选项的选项集，其遵循的数学规则会导致它将“深度”或容量浪费在糟糕的选项上，从而忽略了优秀的选项。他们证明，即使系统尝试对数据进行归一化处理以确保公平，这种失败仍然会发生。然而，当他们在现实数据中加入一些刻意制造的弱质、低质模型进行测试时，系统并未崩溃。现实世界的数据足够杂乱，使得理论陷阱并未触发全面失效，但也并未带来成功。守门人系统并没有取得足够的进展来证明其价值。
最终，这项研究表明，对于许多常见的回归任务而言，在运行时选择单一专家的复杂机制并不值得。研究发现，守门人在准确性与速度的整体平衡中并未增加任何价值。在三十三个特定数据族中，守门人在其中六个类别中表现良好，这表明该方法并非在所有领域都毫无用处，但平均而言，它被更简单、更强大的替代方案所超越。作者总结道，在投资于将数据路由至不同专家的系统之前，应当首先检查一个单一且经过良好训练的全局模型，或者一个稳健的自动化集成系统，是否能做得更好、更快。智能路由的承诺在理论上依然成立，但在这些特定的、经过衡量的条件下，做出选择的成本过高，且选择本身的效果不足以证明其开销是合理的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。