NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap
该论文介绍了 NOLLI，这是一个由程序生成且经过难度校准的包含 7,500 个英韩谜题任务的基准测试，它揭示了韩语语言模型在直接翻译方面表现得与英语相当，但在由于多步亚音节执行方面的挑战而在书写系统密集型任务中面临显著差距，同时也证明了结构性任务规模是经验难度的一个不可靠代理指标。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机正在学习像人类一样阅读、写作和思考的世界。长期以来，科学家们一直在用各种棘手的谜题来测试这些“大语言模型”（LLMs），以观察它们是真的理解了逻辑，还是仅仅在记忆模式。但问题在于：大多数这类测试都是用英语编写的。当我们尝试用其他语言（如韩语）测试相同的模型时，得分往往会下降。这引发了一个重大疑问：是计算机不擅长这种新语言，还是它在应对更深层的东西时遇到了困难，比如字母是如何构成的，或者是单词背后的文化规则？为了回答这个问题，我们需要一个公平的竞技场，在这个竞技场里，改变的只有语言本身，而不是游戏的难度。
于是有了 NOLLI，这是一套专门设计用来查明 AI 在韩语方面究竟在哪里以及为何表现挣扎的逻辑谜题。把 NOLLI 想象成一个巨大的、程序化生成的障碍赛跑场。研究人员并没有使用那些陈旧的谜语，而是构建了一台可以即时生成数千个独特谜题的机器，从数独网格到秘密代码应有尽有。这里的“魔术技巧”在于“校准”。通常，让一个谜题变得“更难”意味着让网格变大或增加更多单词。但 NOLLI 团队意识到，对于计算机来说，变大并不总是意味着变难。因此，他们像调节收音机旋钮一样调整谜题生成器，直到一台特定的“参考”计算机能达到预期的正确率（简单题 75%，中等题 50%，难题 25%）。这确保了当他们在比较英语和韩语时，是在进行“苹果对苹果”的比较，而不是“苹果对橘子”。
该团队测试了 15 种不同的 AI 模型，涵盖了从大家都在谈论的超级智能“前沿”模型到较小的开源模型。他们将谜题分为三个等级。第一级是直接翻译：用英语和韩语编写的完全相同的谜题。第二级是脚本改编：谜题使用韩文字母的组成部分（称为 jamo）而非英文字母。第三级是纯韩语内容：包含依赖于韩国文化的谜题，例如理清复杂的家族关系或传统的历法数学。
以下是他们的发现，而且这有点像剧情反转。首先，语言本身并不是“反派”。当谜题只是直接翻译时，AI 在英语和韩语中的表现几乎完全相同。差距微乎其微，这表明仅仅阅读韩语并不是让模型出错的原因。然而，当谜题要求操纵韩语书写系统时，麻烦就开始了。在一个名为“韩语密码”的游戏中，AI 需要使用韩文字母的次音节部分来解码信息，结果一些模型的表现彻底崩溃，与英语表现相比下降了高达 68.7 个百分点。有趣的是，另一个使用相同字母但将其视为简单符号的谜题并没有导致性能下降。这表明问题不在于字母本身，而在于将它们拆解并重新组合时所需的复杂、多步骤的脑力体操。
最后，团队研究了纯韩语文化谜题。他们发现了一个奇怪的模式：虽然某些任务的难度会根据模型的不同而变得更容易或更难，但有一项特定任务——理清韩国家族头衔（例如“外祖父的弟弟的妻子”）——对每一款模型来说都很困难，无论该模型有多聪明。即使是最顶尖的 AI 模型也无法缩小这一差距。这项研究得出结论：虽然 AI 在翻译方面已经做得很好，但当被要求对韩语独特的构建模块进行复杂的、分步骤的操作，或者应对其特定的文化规则时，它仍然会踉跄。并不是计算机不会读韩语，而是它还没有学会进行操纵韩语所需的“脑力舞蹈”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。