ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
ScoutRoute 是一个轻量级的后验路由框架，它通过利用一个廉价侦察模型单次前向传播中的内部信号，从异构集合中高效地选择专家模型，在不修改底层语言模型的情况下，实现了卓越的路由准确率和校准度。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，计算机已经学会了阅读、写作和推理，其流利程度曾被认为是不可能实现的。这些被称为大型语言模型的系统，通过在海量文本上进行训练来预测句子中接下来的内容，从而使它们能够回答问题、编写代码并解决问题。然而，随着这些模型的能力不断增强，运行它们的成本也变得极其高昂，因为每提出一个问题都需要消耗大量的计算能力和内存。为了解决这个问题，研究人员开发了一种称为“混合专家”（mixture of experts）的策略。想象一下一个由专家组成的庞大团队，其中每位成员都是特定领域（如数学、编程或通用知识）的专家。与其让整个团队处理每一个问题，不如由一个智能系统将问题引导至最适合处理该问题的专家手中。这种条件式的方法节省了能源和时间，但也创造了一个新的、困难的挑战：如何在询问专家之前知道该选择哪一位？
多年来，标准的解决方案是在训练专家模型的同时训练一个独立的“路由”（router）网络，教它们从一开始就协同工作。这在受控环境中效果良好，但在尝试使用由不同团队独立训练的模型集合时却会失效。在这些情况下，路由无法轻易地与专家模型连接起来。其他方法试图通过分析问题的措辞，或者通过让问题运行一遍所有的模型以观察谁的回答最好来猜测最佳专家，但这些方法要么过于模糊，要么速度太慢而无法投入实际应用。核心问题依然存在：如何快速且准确地预测哪个模型会成功，而无需实际让每个模型都去执行任务。
一组研究人员提出了一种名为 ScoutRoute 的新方法来破解这个谜题。该方法不依赖于复杂的预训练路由或昂贵的多模型检查，而是使用一个单一的、轻量级的“侦察兵”（scorut）模型来进行决策。当问题到达时，过程便开始了。系统仅将这个问题通过侦察兵模型运行一次。当侦察兵处理文本时，它会产生内部信号——代表模型如何理解问题以及对自己答案有多大把握的数据隐藏模式。研究人员发现，这些内部信号包含了关于其他不同模型在同一任务上表现如何的惊人信息。
系统随后根据所提问题的类型，以两种截然不同的方式使用这些信号。首先，它使用一种简单的数学工具来分析来自侦察兵模型的隐藏模式，以估算特定专家答对问题的可能性。这对于解决数学问题或编写代码等专业任务特别有效。其次，对于涉及通用知识或常识的更广泛问题，系统会观察侦察兵模型在思考过程中自然产生的置信度得分。通过结合这两类信息，系统可以做出高度知情的选择。至关重要的是，整个决策过程发生在侦察兵模型完成对数据的单次处理之后，这意味着在做出最终选择之前，不需要运行任何其他模型。
为了测试这一想法，研究人员建立了一个实验，使用了五种不同的开源语言模型，范围涵盖了从小型的通用模型到专门针对数学或编程训练的大型专业模型。他们在涵盖数学推理、代码生成、常识和通用知识的四个主要基准测试上测试了该系统。结果显示，ScoutRoute 方法持续优于其他路由策略。当系统必须在现有的专家之间做出选择时，它大约有 67.8% 的概率能选出正确的一个。这比仅使用置信度得分或仅使用隐藏模式分析的表现有了显著提升，后者的表现分别徘徊在 63% 到 65% 左右。虽然一个预先知道答案的理想化完美系统可以达到约 82%，但 ScoutRoute 方法在仅使用极小部分计算资源的情况下，已经非常接近了这个理想值。
最有趣的发现之一是，最好的“侦察兵”模型并不一定是规模最大或最专业的那个。事实上，一个名为 Phi-3 Mini 的小型通用模型在担任侦察兵时的表现优于较大的数学或编程专业模型。这表明，在一个广泛主题上训练过的模型，其学习到的内部表示具有足够的灵活性，可以预测许多不同类型专家的表现。研究人员还发现，他们估算能力的方法比传统的置信度衡量标准更加精准。简单来说，当系统表示很有信心时，它比那些仅仅观察模型看起来有多笃定的旧方法更有可能答对。这种可靠性对于那些出错可能导致错误答案或浪费时间的现实应用场景至关重要。
这项研究证明，语言模型的内部运作机制包含着可以用于指导其他模型决策的可迁移信息。通过在单次前向传播过程中提取这些信号，ScoutRoute 框架提供了一种管理多样化专家集合的实用方法，而无需重新训练它们或构建复杂的全新路由网络。研究结果表明，我们并不需要运行每一个可能的模型来找到正确的那一个；相反，一个经过精心挑选的单一侦察兵就能提供足够的洞察力来进行准确的选择。这种方法为更高效、更灵活的人工智能系统打开了大门，使得不同的模型可以在一个轻量级且智能的决策者引导下，无缝协作，各司其职。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。