Jais 2: A Family of Arabic-Centric Open Large Language Models
Jais 2 是由 MBZUAI、Cerebras 和 Inception 开发的一系列开放且具有商业许可的以阿拉伯语为中心的超大规模语言模型，其中包括一个 70B 参数的版本，旨在通过 Cerebras 硬件实现高推理速度，并在阿拉伯语及具有文化根基的基准测试中提供最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正试图教一个机器人说话。长期以来，最好的老师大多是英语使用者，所以机器人学会了完美的英语，但在其他语言上却显得笨拙，尤其是像阿拉伯语这样丰富且复杂的语言。阿拉伯语就像一片广阔的海洋，既有用于新闻和书籍的正式“深水”版本，也有数十种用于日常生活的“浅水”方言，此外还有一种结合了字母与数字的独特书写方式。直到现在，大多数机器人只了解“深水”部分，或者只有非常有限的词汇量。这篇论文介绍了 Jais 2，这是一个专门为深入探索阿拉伯语海洋而构建的新型 AI 模型家族。可以将这些模型想象成超级聪明的学生，他们不仅仅是背诵字典；他们是在听着诗人们、厨师、宗教学者以及讲述梦境故事的祖母们的同时成长起来的，同时还学会了流利地使用正式阿拉伯语及其多种地方方言。其目标是创造一种不仅能翻译文字，而且能真正理解阿拉伯语世界文化、历史和灵魂的 AI。
Jais 2 背后的研究人员——来自阿联酋 Inception 和 Cerebras 的团队——构建了该 AI 的两个主要版本：一个规模较小、反应敏捷的 80 亿参数模型，以及一个庞大的 700 亿参数巨兽。他们不仅仅是微调了一个现有的机器人；他们从零开始训练这些模型，使用了超过 6,000 亿个阿拉伯语标记（文本块）以及 1.6 万亿个英语和代码标记的庞大图书馆。为了提高效率，他们创建了一个包含 15 万个单词的定制“词汇表”，就像一本专为阿拉伯语设计的专业词典，这有助于 AI 更快地阅读和写作。他们还使用了一种特殊的训练配方，这种配方涉及向 AI 喂养的不仅仅是事实，还有具有文化特性的任务：学习解释梦境、朗诵诗歌、识别地区特色菜肴以及回答有关伊斯兰教法的问题。
结果显示，Jais 2 是处理阿拉伯语的强力工具。在针对开源阿拉伯语模型的排行榜测试中，700 亿参数版本夺得了榜首，在理解阿拉伯文化、方言和通用知识方面击败了 Llama 3 和 Qwen 2.5 等其他巨型模型。即使是较小的 80 亿参数版本，其表现也优于大多数同等规模的模型。该 AI 不仅在事实方面表现出色，还学会了处理语言的细微差别，例如识别一句话是用 17 种不同阿拉伯方言中的哪一种编写的，以及理解正式新闻报道与非正式短信之间的区别。它在英语方面也展现了强大的技能，证明了专注于阿拉伯语并没有让它忘记如何使用这种全球性语言。该团队发布了这些模型供任何人使用，甚至开发了一个运行在超快速硬件上的聊天应用，每秒能够生成 2,000 个单词。虽然该 AI 已经非常优秀，但作者也指出它仍有成长空间，特别是在复杂的数学和某些特定的英语阅读任务方面，但它代表了在使 AI 真正面向阿拉伯语世界并具备文化意识方面迈出的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。