When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
本文研究了多语言大语言模型在 API 调用中的“参数语言不匹配”问题，并证明了监督微调是确保参数语言一致性的强基准，而强化学习仅在泛化能力和多目标权衡方面提供了增量式的改进。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人成为一名私人助理。这个被称为“大语言模型”（LLM）的机器人非常擅长聊天、写故事以及用多种语言回答问题。但问题在于，为了变得真正有用，这个机器人不仅需要会说话，还需要与其他计算机程序进行对话以完成任务。把这些程序想象成一个庞大的工具库——比如计算器、天气应用或航班预订系统。为了使用这些工具，机器人必须使用一种非常特定且严谨的语言，叫做“API 调用”。这就像订披萨：你可以用任何语言说“我想吃披萨”，但厨房只理解一种带有精确配料和尺寸的特定票据格式。
这篇论文解决的核心问题是：如果机器人理解对了订单，却把票据填错了怎么办？如果一位讲西班牙语的人要求机器人订机票，机器人可能会正确选择了“订机票”这个工具，但在填写目的地时，却用了英文单词“Paris”而不是西班牙文的“París”。对人类来说，这似乎是一个微不足道的小错误。但对于等待订单的计算机程序来说，这是一场灾难。系统会崩溃或拒绝请求，因为它在等待西班牙语单词。论文将这种故障称为“参数语言不匹配”（Argument Language Mismatch，简称 ALM）。这是一个令人沮丧的 Bug：机器人理解了你想做什么，却没能说出你所尝试使用的工具所对应的语言。研究人员想要找出最好的方法来训练这些机器人，让它们停止犯这种特定的错误，尤其是在它们需要同时处理多种不同语言时。
作者决定通过两种不同的训练方法来进行“侦探破案”，看看哪种方法能最好地修复这种语言故障。第一种方法就像一位严格的老师，向机器人展示数千个填写完美票据的范例。这被称为“监督微调”（Supervised Fine-Tuning，简称 SFT）。第二种方法更像是一款电子游戏：机器人尝试填写票据，根据表现获得分数，并通过试错法从错误中学习。这被称为“强化学习”（Reinforcement Learning，简称 RL）。研究人员构建了一个特殊的测试台，使用了一个将工具调用翻译成五种语言（西班牙语、法语、意大利语、荷兰语和英语）的数据集，以观察机器人的学习效果。
这里有一个令人惊讶的转折：他们发现“严格老师”的方法（SFT）竟然才是真正的超级明星。当他们仅仅向机器人展示正确的“西班牙语对西班牙语”工具调用示例时，它修复了绝大多数的语言不匹配错误。事实上，对于许多任务，简单的老师方法的效果与复杂的视频游戏方法一样好，有时甚至更好。论文指出，机器人并不需要通过“思考”来寻找解决方案；它只需要看到足够的例子，就能学会这个模式：“如果用户说西班牙语，那么工具票据也必须是西班牙语。”
然而，这种“视频游戏”方法（特别是名为 GRPO 的版本）也有它的一些特殊绝招。虽然它在基础任务上并不总是能击败老师方法，但它在两方面表现得更好：一是处理机器人从未见过的工具，二是保持其通用的推理能力。研究人员发现，视频游戏方法就像一个更灵活的学生，能够在适应新情况的同时，不会忘记如何解数学题。他们还发现，机器人在视频游戏中得到的“分数”至关重要。如果分数只说“做得好”或“做得不好”，机器人学不到太多东西。但如果分数能针对“哪个具体单词错了”给出详细反馈，机器人就会学得更快。
最后，论文得出结论：我们并不总是需要最复杂、最昂贵的训练方法来修复这些语言故障。一个设计精良、经过仔细考虑的训练集配合一个简单的老师，就能解决大部分问题。高级的“视频游戏训练”对于磨练机器人的技能并使其在棘手情况下更加稳健是很有用的，但它并不是我们可能认为的那种“万灵药”。对于让机器人向其工具说出正确语言这件事，核心启示是：有时候，用正确示例进行演示这种老派的方法，才是最有力的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。