Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments
本文提出了一个在多语言环境下评估程序思维（Program-of-Thought, PoT）提示词的框架，证明了微调相比于思维链（Chain-of-Thought）能显著增强推理能力，并确立了代码质量与答案准确性之间的强相关性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢、精通多种语言的学生。他非常擅长解决数学问题，但如果需要同时进行“做数学题”和“解释思路”这两件事，尤其是当题目是用他不太熟练的语言提问时，他有时会感到力不从心。
这篇论文旨在为这位学生提供一个更好的工具包，让他能够用多种不同的语言解决问题。以下是使用简单类比进行的拆解：
1. 问题所在：“杂耍挑战”
传统上，当我们要求人工智能（AI）解决数学问题时，我们会使用一种叫做**思维链（Chain-of-Thought, CoT）**的方法。这就像是要求这个学生同时抛接三个球：
- 理解问题。
- 思考步骤。
- 计算数字。
在英语环境下，这个学生表现得很好。但在其他语言（如泰语、斯瓦希里语或俄语）中，“杂耍”变得手忙脚乱。学生会被语言差异搞混，因为他们试图在大脑中同时处理过多的信息，从而导致计算错误。
2. 解决方案：“专业化团队”（程序思维/Program-of-Thought）
作者提出了一种新的方法，称为程序思维（Program-of-Thought, PoT）。与其要求学生完成所有工作，不如将任务拆分为一个两人小组：
- 建筑师（AI）： 他们的唯一工作是阅读问题并编写一套用于解决问题的蓝图（代码）。他们不负责做数学题，只负责设计方案。
- 建筑工（计算机程序）： 这是一个严格、完美的计算器，它接收蓝图并执行实际的数学运算。它在算术方面绝不会出错。
这种分离就像聘请了一位能说当地语言的建筑师来绘制设计图，然后将这些图纸交给一个能完美盖房子的机器人。建筑师不需要知道如何砌砖，他们只需要知道如何绘制指令。
3. 实验 1：训练建筑师（微调）
研究人员想要观察如何最好地训练“建筑师”（AI）来编写这些不同语言的蓝图。他们测试了两种主要场景：
“仅限英语”训练（跨语言）： 他们仅用英语示例来训练 AI，然后要求它用其他语言解决问题。
- 转折点： 他们发现，如果训练示例中包含了英语注释（解释代码的笔记），AI 在切换到其他语言时就会产生混乱。这就像 AI 在说泰语的同时，却试图去读英语笔记一样。
- 解决方法： 当他们在训练期间完全移除注释时，AI 的泛化能力变得更强了。它学会了纯粹的逻辑结构，而不会被特定的单词分散注意力，从而能够更好地处理新语言。
“母语”训练（多语言）： 他们使用问题和注释都处于同一种目标语言（例如：泰语问题配泰语注释）的示例来训练 AI。
- 结果： 这种方式效果更好。这就像是用学生的母语进行全程训练。AI 完美地理解了问题与解决方案之间的联系。
核心要点： 如果你想让 AI 具备处理多种语言的能力，要么在训练时不使用任何注释（以便让它学习纯粹的逻辑），要么在训练中使用与你所用语言一致的注释。将英语注释与非英语问题混合在一起会造成混乱。
4. 实验 2：检查蓝图（代码质量）
研究的第二部分提出了疑问：“蓝图需要达到什么样的质量，最终答案才是正确的？”
他们开发了一个“质量评分”（称为 ICE-Score）来给 AI 编写的蓝图打分。
- 发现： 蓝图的质量与最终答案的正确性之间存在直接且强烈的联系。如果蓝图混乱或存在逻辑漏洞，最终答案就是错的；如果蓝图清晰且逻辑严密，答案就是对的。
- “超能力”技巧： 通常，当 AI 进行猜测时，它可能会尝试 5 种不同的方法并选择出现次数最多的答案（类似于多数投票制）。研究人员发现了一种更聪明的方法：他们让 AI 生成 5 个不同的蓝图，对每一个进行评分，并挑选出质量得分最高的那一个，即使它并不是最常见的那个。
- 类比： 想象一位老师在批改 5 篇作文。老师不是简单地选择另外 3 位老师都喜欢的文章，而是挑选出语法和逻辑最好的那一篇，即使它是独树一帜的。这个简单的技巧显著提升了 AI 的准确率，尤其是在它通常表现挣扎的语言中。
总结
论文表明，通过将“思考”（编写代码）与“执行”（计算数学）分离，并通过仔细训练 AI 如何正确处理语言注释，我们可以让 AI 在处理除英语以外的复杂问题时变得更加聪明。他们还证明，在接受答案之前，先检查“思考步骤”的质量，是获得更好结果的一种强大手段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。