PARSE: An Open-Domain Reasoning Question Answering Benchmark for Persian
本文介绍了 PARSE，这是首个包含 10,800 个经过严格验证的问题的开放领域波斯语推理问答基准测试，它解决了低资源语言资源匮乏的问题，并证明了定制化的提示和微调能显著提升波斯语大语言模型的推理性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一群非常聪明、精通多种语言的机器人如何去“思考”，而不仅仅是“记忆”。你拥有一个庞大的英文测试题库，但这些机器人在面对一种特定的语言——波斯语（约有 1.3 亿人使用）时却遇到了困难。直到现在，还没有一个好的“健身房”或“训练场”来测试这些机器人是否真的能通过逻辑推理解决问题，还是仅仅在瞎猜。
这篇论文介绍了 Parse，这是首个全面的波斯语推理健身房。
以下是作者所做工作的拆解，使用了简单的类比：
1. 问题所在：缺失的工具箱
把大型语言模型（LLMs）想象成才华横溢的学生。在英语中，这些学生可以接触到数千份练习试卷（基准测试），这些试卷测试他们解决逻辑谜题、连接不同事实之间的联系以及处理棘手问题的能力。
然而，对于波斯语使用者来说，工具箱是空的。现有的波斯语测试就像只有几张数学工作表，却没有任何科学或历史考试。它们要么太简单，要么只关注一个特定主题（如医学），或者根本没有测试“推理”能力。作者意识到，要真正了解一个机器人是否理解波斯语，我们需要一个涵盖“一切”的测试。
2. 解决方案：构建“Parse”
团队构建了 Parse，这是一个包含 10,800 个问题 的庞大集合。为了确保测试的公平性，他们并没有随机编写问题，而是构建了一个结构化的“挑战菜单”：
- 形式： 他们创建了三种类型的问题，就像不同的游戏模式：
- 布尔逻辑（是/否）： 就像夜店门口的保安问：“这是真的还是假的？”
- 多选题： 就像一场你必须从四个选项中选出正确答案的智力竞赛。
- 事实问答： 就像“危险边缘！”风格的问题，你需要说出特定的事物（例如，“请说出离太阳比地球近的两个行星”）。
- 难度： 就像电子游戏一样，问题涵盖了从“简单”（走进一扇门）到“困难”（攀登一座山）的范围。有些问题需要简单的回忆，而有些则需要多跳推理（Multi-hop reasoning）——这就像一场寻宝游戏，你必须找到线索 A，利用它找到线索 B，然后 才能找到答案。
- 质量控制： 他们并没有只是让 AI 写下这些问题就完事了。他们扮演了严格编辑的角色。他们使用人工来检查每一个问题，以确保波斯语表达自然、事实准确且难度真实。他们甚至检查了那些“困难”问题是否是因为逻辑复杂而难以思考，而不是因为语法混乱。
3. 实验：机器人的竞赛
一旦测试准备就绪，作者就让各种 AI 模型（即“学生”）接受了考验。他们测试了大型知名多语言模型（如 LLaMA 和 Qwen）以及一个专门针对波斯语训练的模型（称为 Dorna）。
他们尝试了三种不同的与机器人交流的方式：
- 零样本学习（Zero-Shot）： 直接抛出问题，不给任何提示。
- 少样本学习（Few-Shot）： 先给机器人几个例子（比如在要求解决新问题之前，先展示一道数学题）。
- 思维链（Chain-of-Thought, CoT）： 要求机器人“展示其解题过程”，并在给出答案前解释其步骤。
他们的发现：
- 语言很重要： 当问题和指令使用波斯语而非英语时，机器人的表现明显更好。这就像用母语讲故事，你会对其中的细微差别理解得更透彻。
- 策略很重要： 对于逻辑谜题（是/否 和 多选题），要求机器人“一步步思考”（思维链）效果最好。对于简单的客观事实问题，提供示例（少样本学习）效果最好。
- 训练自有回报： 当他们拿一个标准机器人并使用 Parse 数据集进行“学习”（微调）时，它变得聪明得多。经过训练后，这个波斯语专用机器人（Dorna）成为了冠军，证明了这个数据集是教机器人如何用波斯语思考的强大工具。
核心结论
Parse 是一个里程碑。它通过提供一个高质量、多样化且严谨的波斯语推理测试，填补了 AI 研究领域的一个巨大空白。它证明了，为了让 AI 对波斯语使用者真正有用，我们需要为他们构建专门的工具，而不仅仅是翻译英语工具。论文表明，通过正确的训练数据，AI 可以学会像处理英语一样进行波斯语推理。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。