Beyond Multilingual Averages: MTEB-PT, a Benchmark for Portuguese Sentence Encoders
本文介绍了 MTEB-PT，这是一个全面的葡萄牙语基准测试，它证明了多语言排名无法预测在各种任务中针对葡萄牙语的具体表现，同时表明通过 Matryoshka 表示学习进行语言特定微调能显著增强模型的有效性，特别是在语义相似度和长文本检索方面。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网是一个巨大的、混乱的图书馆，其中的每一本书、每一条推文和每一篇新闻文章都是用不同的语言编写的。为了找到正确的信息，计算机需要一种特殊的“图书管理员”，能够读懂一句葡萄牙语，理解其含义，并能瞬间在数据库中找到匹配的句子，即使两者的词汇完全不同。这位图书管理员被称为“句子编码器”（sentence encoder）。你可以把它想象成一个翻译官，它不仅仅是交换单词，而是将句子的“意图”转化为一种秘密代码（一组数字），从而捕捉到句子的灵魂。多年来，这些图书管理员主要是在英文书籍上接受训练的。虽然它们精通英文，但我们一直在猜测它们处理葡萄牙语（全球最常使用的语言之一）的效果究竟如何。这就像雇佣了一位精通法国料理的大厨，然后假设他仅仅因为会使用炉灶，就能自动做出完美的巴西黑豆饭（feijoada）。大问题在于：这些多语言大厨是真的掌握了当地的食谱，还是仅仅在靠猜？
正是在这里，一项新研究介入，开始检查这位大厨的围裙。研究人员构建了一个专门的测试集——MTEB-PT，这是一个专门为葡萄牙语句子编码器设计的“健身房”。他们不仅仅要求模型匹配两个相似的句子（比如寻找同义词），而是将它们投入到四种不同类型的挑战中：匹配语义（语义文本相似度）、将句子归入“仇恨言论”或“情感”等类别（分类）、根据查询语句找到正确的文档（检索），以及对搜索结果列表进行排序以将最匹配的一个排在首位（重排序）。他们测试了 17 种不同的模型，涵盖了从开源社区项目到大型闭源商业巨头的各种类型。
结果带来了一点剧情反转。研究发现，成为一名“多语言冠军”并不自动意味着你成为了“葡萄牙语冠军”。一个在全球多语言测试中排名第一的模型，在专门针对葡萄牙语的任务中可能会跌至第十名。事实证明，性能高度依赖于具体的任务。如果你需要一个模型来理解两个相似句子之间的细微差别，那么经过葡萄牙语数据专门微调的模型效果最好。但如果你需要一个模型在成千上万的长文档中搜寻大海捞针，那么那些拥有更长“注意力跨度”（即在阅读长文本时不会忘记开头的能力）以及专门为搜索任务而训练的模型则会占据领先地位。
研究人员还尝试了一种巧妙的技巧，叫做俄罗斯套娃表示学习（Matryoshka Representation Learning, MRL）。想象一套俄罗斯套娃。通常情况下，计算机需要存储整个大娃娃才能获得完整的图像。MRL 让模型本身也能成为一个“套娃”：你可以使用整个模型来处理高质量任务，或者你可以剥离掉外层，使用一个更小、更紧凑的版本来进行更快、更廉价的任务，且不会损失太多质量。他们利用这种技术并结合葡萄牙语数据，对三种流行的模型进行了微调。这些新的“葡萄牙语原生”模型在理解句子含义方面表现最佳，并且即使在缩小尺寸后仍保持着竞争力。然而，对于难度最高的搜索任务，那些大型的专业搜索模型依然稳坐王座。
最终，这篇论文表明，对于葡萄牙语而言，并不存在单一的“万能模型”。你不能仅仅挑选那个全球得分最高的模型，就期望它在任何地方都能发挥作用。如果你正在构建一个需要理解情感的聊天机器人，你需要与构建一个法律文档搜索引擎完全不同的模型。这项研究证明，为了在葡萄牙语中获得最佳结果，你需要针对葡萄牙语特定的任务来测试你的模型，而且有时，你甚至需要给它们一些额外的语言训练，才能真正释放它们的潜力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。