💬 NLP

SEA-Embedding: Open and Reproducible Text Embeddings for Southeast Asia

本文介绍了 SEA-Embedding，这是一个完全开放且可复现的文本嵌入流水线，其仅使用公开可用数据进行训练，旨在解决东南亚语言模型在鲁棒性和可复现性方面的不足，同时通过系统分析关键设计因素，在 SEA-BED 基准测试上实现了最先进的性能。

原作者： Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大的图书馆，其中的每一本书都用不同的东南亚语言编写而成。现在，想象你想建造一位超级聪明的图书管理员，他能瞬间理解泰语中关于“雨”的故事与越南语中关于“雨”的故事意思相同，尽管这些词看起来完全不同。这位图书管理员被称为文本嵌入（Text Embedding）。

长期以来，世界上最好的图书管理员是由大型科技公司利用秘密配方和私有数据构建的。你无法看到它们是如何运作的，而且当面对东南亚多样化的方言和语言时，它们往往表现挣扎，将其视为二等公民。

你分享的这篇论文介绍了一个名为 SEA-Embedding 的新项目，这是一个专门为东南亚构建的、完全开源的图书管理员。以下是他们如何构建它以及它为何有效的简单解释：

1. 问题所在：“黑盒”图书管理员

如今大多数顶尖的图书管理员都是“黑盒”。我们知道它们很聪明，但不知道它们具体读了哪些书，也不知道它们是如何学习的。由于它们的训练数据是保密的，如果它们犯了错误，我们无法修复它们；而且当被要求理解东南亚多样的方言和语言时，它们经常失败。

2. 解决方案：透明、开放的厨房

作者将 SEA-Embedding 构建得像一本任何人都可以使用的食谱书。他们没有使用任何秘密配料。他们只使用了互联网上已经公开且免费的数据。

目标： 创建一个不仅聪明而且具有可复现性的图书管理员。如果你想构建自己的版本，你可以遵循他们完全相同的步骤并获得相同的结果。

3. 三种秘密配料（“食谱”）

研究人员测试了三个主要方面，以观察是什么让一位图书管理员在这一地区真正具备鲁棒性。可以将这些视为他们构建过程中的三大支柱：

A. 阅读清单（数据构成）

要成为一名优秀的图书管理员，你需要阅读很多不同的内容。

混合方式： 他们不仅仅阅读一种类型的书。他们结合了 2.45 亿对通用文本（例如新闻和故事，以广泛理解语言）和 1400 万条指令文本（例如问答对，以理解如何执行任务）。
类比： 想象你在训练一名厨师。如果你只给他们一本食谱，他们知道菜谱但不会即兴发挥。如果你只给他们一份订单列表，他们知道人们想要什么但不知道如何烹饪。SEA-Embedding 同时给了模型既有“食谱”又有“订单”，因此它既理解语言，也理解如何使用语言。

B. 训练演练（目标设计）

如何教图书管理员保持一致性？

对称对比学习 (SCL)： 这就像是一场“寻找匹配”的游戏。模型被展示两句意思相同的话，并被告知：“它们是双胞胎！”它也会看到不同的句子，并被告知：“它们是陌生人！”他们加入了一个特殊的转折，称为“焦点重加权（focal reweighting）”，这就像是老师给予那些最挣扎的学生额外的关注，而不是仅仅关注容易的部分。
相似度分布匹配 (SDM)： 这是“大师课”。模型（学生）试图模仿一个非常强大的现有专家模型（老师）的行为。学生不仅是在模仿答案，它还在尝试模仿老师对于两个事物之间相似程度的思考方式。
结果： 这种结合迫使模型创建一个非常有组织的思维地图，无论在任何语言中，相似的想法总是聚集在一起。

C. 起点（基础编码器）

你可以从一个聪明的学生或一个经验较少的学生开始。

团队在不同的“基础”模型（有些小，有些大）上测试了他们的食谱。
发现： 无论你从哪个学生开始，这个食谱都有效。它提升了每一个模型。然而，从一个稍微更大、更聪明的学生（E5-Large 模型）开始，能获得最好的最终结果。

4. 结果：新的冠军

当他们用这个新的图书管理员与现有的冠军（“黑盒”模型）进行对比测试时：

SEA-Embedding 胜出了。 它在名为 SEA-BED 的一项严苛测试中取得了最高平均分，该测试涵盖了 10 种东南亚语言和 9 种不同类型的任务。
它在困难的任务上表现尤为出色： 与通常偏向印尼语或泰语等大语言模型的其他模型相比，它在低资源语言（如老挝语和高棉语）上的表现显著更好。
它是开放的： 与过去的赢家不同，你可以查看他们的代码、下载他们的数据并亲自运行实验。

总结

论文声称，通过保持透明、使用通用数据与指令数据的混合，并使用特定的两步训练方法（从匹配中学习并模仿大师老师），他们创造了迄今为止最优秀的东南亚文本嵌入模型。这是一个比以往模型更有效、对小语种更公平，并且对所有人开放查阅和改进的模型。

技术摘要：SEA-Embedding

问题陈述

文本嵌入对于下游自然语言处理（NLP）应用至关重要，然而目前的尖端模型在东南亚（SEA）语言方面面临两个显著的局限性：

缺乏可复现性： 大多数高性能模型依赖于封闭或未公开的训练数据，这阻碍了系统性的分析与重新训练。
鲁棒性不足： 在全球基准测试（如 MMTEB）中表现优异的模型，在针对东南亚特定评估（如 SEA-BED）时往往表现不佳。该地区的语言多样性极高，高资源环境下的性能增益并不总能有效地迁移到东南亚语言上。

方法论

作者介绍了 SEA-Embedding，这是一个完全开放且可复现的文本嵌入流水线，仅使用公开数据进行训练。该流水线旨在系统地研究鲁棒嵌入设计的三个核心要素：数据构成、训练目标以及基础编码器初始化。

1. 数据构成 (RQ1)

该流水线利用了一个总计 2.59 亿样本的双类别数据集：

通用数据集 (2.45 亿样本)： 源自 FineTranslations 和 CCMatrix 等资源，以确保对东南亚语言广泛的区域覆盖。
指令数据集 (1400 万样本)： 源自多语言下游数据集（如 MIRACL、SEA-Instruct），通过添加任务特定的指令前缀来增强任务感知能力和泛化能力。
格式： 数据格式化为三元组（锚点、正样本、负样本）或文本对（锚点、正样本）。

2. 训练目标设计 (RQ2)

作者提出了一个两阶段目标，以平衡局部判别性与全局一致性：

对称对比学习 (SCL)： 与标准的对比学习不同，此阶段采用了带有焦点重加权 (focal reweighting) 的对称 InfoNCE。它对称地处理锚点-正样本和正样本-锚点对，并使用焦点权重 ( $w_i = (1 - j_i)^\gamma$ ) 来强调困难样本。
相似度分布匹配 (SDM)： 此阶段执行知识蒸馏，使学生模型的相似度分布与教师模型在大型记忆队列（65,536 个条目）上的分布相匹配。
- 教师模型： 一个强大的预训练编码器 (Wang et al., 2024c)。
- 机制： 学生模型使用 KL 散度 ( $L_{sdm} = KL(D_t \parallel D_s)$ ) 来模仿教师的相似度分布。
- 温度设计： 学生温度 ( $\tau_s$ ) 设置得比教师温度 ( $\tau_t$ ) 更低，以创造更锐利的学生分布，从而迫使学生学习更精确的嵌入空间。

3. 基础编码器初始化 (RQ3)

该流水线在不同的基础编码器上实例化，以测试迁移性和效率-性能的权衡：

小规模： SEA-LION-ModernBERT-300M。
大规模： E5-Large (6 亿参数)。
消融实验： 研究还测试了 XLMR-Large、mmBERT-base 和 SEA-LION-ModernBERT-base，以验证该流水线的收益是否能超越特定的初始化方式而具有普适性。

关键结果

该模型在 SEA-BED 上进行了评估，这是一个涵盖 10 种东南亚语言、9 种任务类型和 169 个数据集的域外基准测试。

最先进的性能 (SOTA)：
- SEA-Embedding-E5-Large-600M 在 SEA-BED 上的语言平均得分达到了 0.800，超过了之前的最佳开源模型 (multilingual-e5-large-instruct 为 0.789)，并显著超越了规模大得多的 Qwen3-Embedding-8B (0.773)。
- SEA-Embedding-ModernBERT-300M 取得了 0.760 的得分，优于其他小型模型如 harrier-oss-v1-270M (0.753) 和 embeddinggemma-300m (0.704)。
低资源语言的提升： 与主要针对高资源东南亚语言（印尼语、泰语、越南语）训练的模型相比，该模型在低资源语言（如老挝语、高棉语和缅甸语）上的提升尤为显著。
消融洞察：
- 数据： 移除通用数据集或指令数据集都会导致性能大幅下降。至关重要的是，移除非东南亚指令数据（如阿拉伯语、泰语 MIRACL）会导致得分从 0.800 降至 0.755，这表明了多语言任务多样性的价值。
- 目标： 移除 SDM 损失会将得分从 0.800 降至 0.776。将 SDM 替换为标准知识蒸馏 (L2-KD) 或 CKD 会导致进一步的性能退化。温度设计 ( $\tau_s < \tau_t$ ) 也至关重要。
- 基础模型： 该流水线持续改进了多种基础编码器（包括 MLM 和对比预训练模型），语言平均得分的增益范围在 +0.294 到 +0.366 之间，表明该方案并不受限于单一的初始化方式。

意义与贡献

本文声称有三个主要贡献：

可复现的框架： SEA-Embedding 提供了一个透明的流水线，拥有开源代码、开源数据（仅限公开可用数据）和完全可复现的环境，能够实现目前在封闭模型上无法实现的受控比较与失效分析。
经验性见解： 本研究隔离了数据构成、目标设计和基础编码器初始化对东南亚鲁棒性的具体影响，为未来的模型提供了一套“设计配方”。
鲁棒的性能： 它建立了东南亚文本嵌入的新标杆，同时证明了通过对开源数据和目标的系统工程设计，可以实现高性能，而不必依赖于未公开的专有数据。

作者指出，虽然该流水线具有区域无关性和适应性，但目前的研究重点在于构建一个稳健的基础，而非详尽地覆盖每一种方言或特定领域应用（如金融文本），这些工作留待未来研究。