Beyond the Leaderboard Average: Cross-Task Consistency, Model Scale, and Specialization Structure in the Massive Text Embedding Benchmark
本文通过分析 MTEB 结果表明，虽然表现顶尖的嵌入模型往往比仅针对特定任务优化的模型展现出更强的跨任务一致性，但仅靠模型规模并不能保证这种平衡，因此呼吁在报告聚合得分的同时也应报告性能离散度，以便进行更好的模型选择。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字世界中，计算机并不像人类那样理解文字。它们将文字理解为被称为向量或嵌入（embeddings）的数字列表。可以将这些列表想象成地图上的坐标：含义相似的词汇会被放置在一起，而无关的词汇则相距较远。这些地图是现代搜索引擎、推荐系统以及长文档摘要工具背后的隐形引擎。多年来，研究人员一直试图通过在名为“大规模文本嵌入基准测试”（Massive Text Embedding Benchmark，简称 MTEB）的海量挑战集合上测试他们的作品，来构建最完美的地图。这个基准测试就像一场期末考试，根据模型在从寻找相关搜索结果到对新闻文章进行分组等各项任务中的表现来进行评分。衡量一个模型的标准方法一直是观察其单一平均分，即一个旨在总结其整体智能性的数值。然而，正如一名学生可能擅长数学却在历史方面不及格一样，一个计算机模型可能在某项特定任务上表现卓越，而在另一项任务上表现糟糕，尽管如此，它仍可能获得一个掩盖了这些弱点的极高平均分。
一位研究人员决定深入观察这一基准测试的结果，以观察高平均分究竟意味着一个模型是全能型的，还是仅仅是一个隐藏了缺陷的专家。他选取了三十个不同模型在七种不同类型任务上的已发布得分，并提出了一个简单的问题：一个平均表现优秀的模型，是否在每一项任务上也都表现得同样出色，还是说它在能力上存在巨大的差距？他还想知道，通过增加计算组件来扩大这些模型的规模（即增加参数量），是否会自动使它们变得更加平衡和一致，或者规模的扩大仅仅是帮助它们在原本擅长的领域做得更好。
研究人员首先绘制了不同任务之间的关系图。他发现某些任务之间有着紧密的联系；例如，一个擅长对文档进行分组的模型，几乎总是擅长对搜索结果进行排序。然而，他发现了一个令人惊讶的离群值：一项涉及文本摘要的任务表现得与其余任务完全不同。一个模型总结故事的能力与其在其他任何任务上的表现几乎没有任何关联。这意味着，具备总结能力是一种独特的技能，它并不一定能预示在其他领域的成功。他还注意到，寻找相关搜索结果的任务在不同模型之间表现出的差异最大，而摘要任务的差异最小，这表明所有模型在摘要任务上的表现大致相当，但在搜索任务上的表现则千差万别。
为了更清晰地了解每个模型的“个性”，研究人员创建了一种新的衡量一致性的方法。他不再仅仅观察原始得分，而是比较每个模型相对于其他模型在各项任务上的表现。他计算了一个“离散度”得分，用于衡量模型技能的均衡程度。低分意味着该模型是一个通才，在各个领域表现稳健；高分则意味着该模型是一个专家，在某些任务上表现卓越，而在另一些任务上则表现挣扎。当他将这些得分与模型的整体平均性能进行对比绘图时，一个清晰的模式出现了：平均得分最高的模型也是最具有一致性的。它们不仅仅是靠在少数几项任务中取得偶然胜利，而是在所有任务中都表现得同样强劲。这一发现挑战了“追求巅峰性能必须牺牲平衡性以换取在狭窄领域内的极致表现”的观点。
然而，研究人员发现规模问题则是另一回事。他考察了更大的模型（即拥有更多参数或内部组件的模型）是否比较小的模型更具一致性。数据表明，规模与一致性之间没有关系。一个拥有数十亿参数的模型，与一个仅有数百万参数的模型一样，都有可能成为一个能力不均衡的专家。事实上，在他研究中规模最大的模型——其运行成本显著更高——属于那一类专家型模型，这类模型在搜索和排序方面非常强大，但在相对于其其他技能的摘要能力方面表现出明显的缺陷。这类专家型模型与另一组较大的“平衡型通才”模型形成了鲜明对比，后者包含了许多中型模型。这些通才模型在接受了多种不同任务的训练后，能够在所有类别中保持稳定的表现，而不会出现专家型模型那种剧烈的起伏。
该研究根据性能特征将模型划分为四个不同的组别。规模最大的组由十五个表现出色的平衡型通才模型组成。第二组由七个检索专家模型组成，它们在寻找信息方面非常强大，但在摘要方面存在明显弱点。第三组由五个模型组成，它们的整体水平低于平均值，但相对于其他任务而言，在摘要方面的表现相对较好。最后一组是最弱的一组，在每一项任务上的表现都低于平均水平。研究人员得出结论：通往真正实用模型的路径不仅仅是单纯地做大模型，而是要用多样化的任务来训练它。表现最好的模型是那些经过多种不同类型数据微调的模型，这使得它们能够培养出广泛且稳定的技能集。
对于任何构建依赖这些模型的系统的人来说，这项研究结果提供了一份实用的指南。如果一个系统需要处理许多不同的工作，例如搜索数据库、对相似项目进行分组以及摘要文本，那么仅仅根据最高单项得分或模型规模的大小来做出选择可能会是一个错误。最可靠的选择通常是那些经过广泛任务训练的中型模型，因为这些模型在面对新类型的问题时，不太可能出现意外的失败。这项研究表明，这些工具的未来不在于扩大单一目标的规模，而在于通过多样化的训练数据，创造出在整个人类语言任务谱系中始终保持胜任能力的模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。