Language Chain in Alignment: Cross-Lingual Ranking Preference Optimization

大语言模型是现代人工智能背后的引擎，能够以模仿人类对话的方式编写故事、解决问题并回答问题。为了使这些系统真正发挥作用，它们不仅要理解人们在问什么，还要以符合人类价值观和期望的方式进行响应。这个过程被称为“对齐”（alignment），通常涉及向模型展示数千个好答案和坏答案的示例，以便它学习偏好那些有用的答案。然而，一个显著的问题出现了：虽然这些模型在英语方面非常擅长遵循这些规则，但在被要求使用其他语言执行相同任务时，往往会表现不佳。当用户用韩语、印尼语或斯瓦希里语提问时，模型可能会用英语回答，或者生成的响应虽然语法正确，但却毫无意义或没有帮助。这一差距使得数十亿人无法获得这些工具的全部潜力，创造了一个高质量人工智能辅助主要作为英语使用者特权的局面。

韩国大学的研究人员开发了一种新方法来弥补这一差距，允许模型从其英语优势中学习并将这种智慧应用到其他语言中。他们的方法被称为跨语言排序偏好优化（Cross-Lingual Ranking Preference Optimization，简称 CRPO），它将语言学习视为一个相互连接的链条，而非一系列孤立的课程。该方法并非简单地教导模型分别在一种语言中选择最佳答案并在另一种语言中选择最佳答案，而是创建了一个将它们联系在一起的结构化层级。想象一位老师，知道学生在英语数学方面表现出色，但在法语数学方面很吃力；老师与其从头开始教授这两个学科，不如利用学生强大的英语数学技能作为引导，帮助他们理解法语的概念。同样，CRPO 利用模型对于“什么是好的答案”在英语方面的稳健理解，来引导其在其他语言中的行为，从而确保无论使用何种语言，响应的质量都能保持在高水平。

其核心创新在于模型比较答案的方式。传统方法通常一次只看两个选项：一个好答案和一个坏答案。这种二元方法在英语中效果良好，但无法捕捉到涉及多种语言时所需的复杂性。新方法通过同时观察四个选项来扩展这一视野：目标语言中的一个好答案、目标语言中的一个坏答案、英语中的一个好答案以及英语中的一个坏答案。研究人员设计了一个特定的排序系统，在该系统中，模型被教导要最看重目标语言中的好答案，其次是英语中的好答案，然后是目标语言中的坏答案，最后是英语中的坏答案。这种结构迫使模型意识到，虽然说正确的语言很重要，但内容的质量更为重要。它学习到，一个高质量的英语响应仍然优于一个低质量的目标语言响应，但最终目标是生成一个高质量的目标语言响应。

为了测试这个想法，研究人员将该方法应用于三种不同的语言大模型，并在五种具有不同数据可用水平的语言上对其进行了训练：中文、印尼语、韩语、斯瓦希里语和孟加拉语。他们将这种新方法与此前用于提高多语言性能的标准技术进行了对比。结果显示，新方法具有明显且一致的优势。在几乎所有的测试中，使用该方法训练的模型在目标语言中遵循指令和提供有用信息的能力都更强。例如，当被要求用斯瓦希里语或孟加拉语回答问题时——这些是数据稀缺且模型通常表现挣扎的语言——新方法产生的结果明显优于旧方法。在某些情况下，这种改进是巨大的，例如在 Llama-3 模型配合斯瓦希里语的具体配置下，模型相对于标准基准线的胜率超过了百分之六十，而旧方法往往甚至无法达到持平水平。

研究还深入探讨了为什么这种方法如此有效。通过检查模型的内部计算，研究人员发现新方法不仅仅是在抑制坏答案，它还在积极鼓励生成好答案。在以往试图解决语言问题的尝试中，模型往往学会了避免犯错，但并不一定会学会如何产出高质量的内容。然而，新方法增加了模型选择最佳响应的可能性，同时保持对正确语言的强烈偏好。这创造了一个更稳定、更可靠的系统，使模型能够自信地在所有受支持的语言中生成有用的内容。研究人员还进行了检查，以确保在这些其他语言中教导模型不会损害其在英语方面的表现。他们发现，模型在英语方面的表现实际上略有提升，这表明该方法强化了模型的整体理解，而不仅仅是转移了其注意力。

这项工作代表了迈向真正全球化人工智能的重要一步。通过展示一种语言的知识可以有效地迁移到另一种语言以提高其性能，研究人员为构建更具包容性的人工智能系统提供了蓝图。研究结果表明，高质量多语言人工智能的障碍不在于缺乏数据，而在于缺乏正确的训练策略。通过这种新方法，英语使用者与世界其他地区之间的差距开始缩小，预示着一个先进的人工智能辅助可以面向所有人、无论其使用何种语言的未来。该方法在包括广泛使用的中文和低资源语言如斯瓦希里语在内的多种语言上的成功，表明该解决方案是稳健且可扩展的，为新一代语言模型铺平了道路，使其在每种语言中都能像在英语中一样出色。