Are you speaking my languages? On spoken language adherence in multimodal LLMs

想象一下，你拥有一个超级聪明、精通多种语言的机器人助手，它能听取你的语音并准确地将你说的话转录为文字。这个机器人非常擅长同时理解多种语言，即使你在说话中途切换语言（比如用英语说“I need a café”，然后又切换到西班牙语）。

然而，这个机器人有一个有趣的怪癖：有时，它会搞不清你到底在说哪种语言。如果你说法语，它可能会错误地用德语的拼写规则来记录；或者如果你说韩语，它可能会随机加入一些日语字符。对于人类来说，这看起来是个错误；但对机器人来说，这只是一个猜测。

这篇题为**《你是在说我的语言吗？》（"Are you speaking my languages?"）**的论文，正是关于如何在不让机器人变得过于僵化的情况下，解决这种混乱问题。研究人员希望机器人能够听取你关于正在使用哪种语言的提示，但同时也希望它足够聪明，能够忽略那些错误的提示。

以下是他们方法的详细拆方，使用了日常生活的类比：

问题所在：“错误食谱”带来的灾难

研究人员将这个问题称为**“语言遵循违规”（Language Adherence Violation）**。
把机器人想象成一位厨师。如果你告诉厨师：“给我做一道法国菜”，但台面上的食材显然是意大利的，一个糟糕的厨师可能仍会尝试用意大利食材来做法国菜，结果做出一种奇怪且无法食用的东西。在机器人的案例中，如果它认为你在说西班牙语，而你实际上在说印地语，它可能会用西班牙语的拼写方式来书写印地语单词。这会破坏转录效果，让机器人显得不专业甚至缺乏敏感度。

解决方案：三种引导厨师的方法

团队测试了三种不同的方法，旨在帮助机器人更好地听取你的提示，同时又不强迫它忽略实际的音频。

1. 零样本提示（Zero-Shot Prompting，即“礼貌的轻推”）
这就像是在厨师开始烹饪之前，走过去对他说：“嘿，我觉得我们今天要准备做法国菜。”

• 运作方式： 研究人员只是在机器人的指令中添加了一句话，例如“请用法语转录这段话”。
• 代价： 有时你可能会给出一个错误的提示（例如，你告诉机器人是“法语”，但你实际在说西班牙语）。研究人员发现，如果你的提示措辞委婉（例如，“这可能是法语和其他语言的混合”），机器人就会足够聪明，它会听从提示，除非音频内容明显表明并非如此。这是一种“轻推”而非“猛推”。

2. 有监督微调（Supervised Fine-Tuning，即“强化训练营”）
这就像是带厨师去一所专门学校，让他反复练习制作法国菜，专门学习如何遵循“法语”这一指令标签。

• 运作方式： 他们在数千个指令与音频相匹配的例子上重新训练了机器人。他们还加入了 de 些“陷阱”例子，即指令错误的情况，以此教导机器人保持灵活性。
• 结果： 机器人变得非常擅长遵循指令，但如果你完全不给它任何指令，它有时会忘记如何正确烹饪，因为它接受了过多的“遵循标签”训练。

3. 思维链（Chain-of-Thought，即“思考停顿”）
这就像是要求厨师先停顿一下，大声思考并说出：“好的，我听到了法语单词，所以我会用法语书写”，然后再开始烹饪。

• 运作方式： 研究人员让机器人先暂停，并在开始打字转录之前，明确说明“语言是法语”。
• 结果： 这迫使机器人首先做出语言决策。这种方法效果很好，但会增加一点点额外的思考时间（尽管研究人员表示这种延迟可以忽略不计）。

重大发现

研究人员在真实世界的数据（包括人们进行语码转换/语言切换的情况）上测试了这些方法。以下是他们的发现：

• “正确的提示”是关键： 如果你给机器人正确的语言提示（例如，“这是法语”），无论使用上述三种方法中的哪一种，它的表现都非常完美。
• “错误的提示”很棘手： 如果你给了一个错误的提示（例如，实际是法语，你却说“这是西班牙语”），机器人有时会感到困惑。然而，“礼貌的轻推”（零样本）方法在忽略错误提示并坚持音频内容方面表现得最为稳健。
• “混合”也没问题： 如果你告诉机器人“这是法语，可能还有一些西班牙语”，而实际情况确实只是法语，机器人处理得很好。它不会被多出来的选项搞混。
• “没有提示”有风险： 如果你完全不给机器人任何提示，它的表现会变差，尤其是当你对其进行了大量的“遵循提示”训练时。它似乎在没有起点的情况下会感到迷茫。

核心结论

论文得出结论，你不一定需要重新训练你的机器人，也不需要让它进行复杂的思维步骤来解决这个问题。仅仅给它一个清晰、礼貌的语言提示通常就足够了。

然而，最重要的启示是，首先确保语言提示是正确的至关重要。 如果那个告诉机器人“你正在说法语”的系统出错了，机器人就会陷入困境。最好的策略是，在转录开始之前，拥有一个可靠的上游系统来准确预测语言。

简而言之：给机器人一张好的地图，它就能找到正确的路径。如果地图错了，即使是最聪明的机器人也会迷失方向。