Conditioning LLMs to Generate Code-Switched Text

该论文提出了一种通过回译构建平行语料库来微调大语言模型的方法，使其能够生成高质量的英西代码切换文本，并发现基于大模型的评估指标比传统指标更能准确反映人类对生成质量的偏好。

要点

这篇论文讲述了一个关于教人工智能（AI）如何像真正的“双语者”一样说话的故事。

想象一下，你有一个非常聪明的 AI 助手（大语言模型，LLM），它读过世界上几乎所有的书，英语和西班牙语都学得很棒。但是，当你让它用一种**“混合语言”**（比如一边说英语，一边突然蹦出几个西班牙语单词，就像很多在国外的移民或双语者日常聊天那样）说话时，它却显得手足无措。

这篇论文就是为了解决这个问题，教 AI 如何自然地“切换语言”。

1. 核心问题：AI 是个“死板”的好学生

目前的 AI 模型虽然很强大，但它们通常被训练成“要么全说英语，要么全说西班牙语”。

• 现实情况：在现实生活中，双语者聊天时经常“中英夹杂”或“西英夹杂”。比如：“我今天感觉有点 down，因为 el tráfico 太堵了。”（我今天有点沮丧，因为交通太堵了。）
• AI 的困境：如果你让 AI 模仿这种说话方式，它要么完全不说西班牙语，要么把整句话都翻译成西班牙语，完全不懂如何“自然切换”。这就好比让一个只会背课文的学生去即兴表演，他只会照本宣科，不会灵活变通。

2. 解决方案：玩一个“翻译回译”的游戏

为了解决这个问题，作者们想出了一个聪明的办法，就像是在教学生如何“倒着学”：

• 第一步：收集素材
  他们先找了很多现实中人们真正说出来的“混合语言”句子（就像收集真实的街头对话录音）。
• 第二步：反向翻译（Back-translation）
  他们利用强大的 AI，把这些“混合语言”的句子翻译回纯英语。
  • 比喻：想象你有一本写满“中英夹杂”笑话的书。你请一位翻译大师把这些笑话全部翻译成“纯英语”版本。现在，你手里就有了一对对的“纯英语”和“中英夹杂”的对照表。
• 第三步：微调训练（Fine-tuning）
  有了这个“对照表”，他们让 AI 进行特训：看着“纯英语”句子，练习写出对应的“中英夹杂”句子。
  • 比喻：这就像给 AI 报了一个“双语口语速成班”。以前它只会背单词，现在通过大量练习，它终于学会了什么时候该用英语，什么时候该自然地蹦出西班牙语单词。

3. 实验结果：特训真的有用吗？

作者们把经过特训的 AI 和没特训的 AI（以及那些只靠“猜”的 AI）放在一起比赛，让人类评委来打分。

• 人类评委的反馈：
  • 没特训的 AI：要么全说英语，要么全说西班牙语，或者切换得很生硬（比如重复说同一个词）。就像是一个只会说两种语言但不会混着说的人。
  • 特训后的 AI：生成的句子非常自然，切换点很流畅，读起来就像真人聊天一样。
  • 结论：经过“特训”（微调）的 AI，表现远超那些只靠“提示词”（让 AI 猜一下）的大模型。即使是像 GPT-4 这样强大的模型，如果不经过专门针对“混合语言”的训练，也写不出那么自然的句子。

4. 一个有趣的发现：尺子量不准

论文还做了一个非常重要的发现：现有的自动评分工具（机器打分）根本看不懂“混合语言”的美。

• 比喻：想象你在评价一道“融合菜”（比如左宗棠鸡配意大利面）。
  • 传统的评分尺子（BLEU 等指标）：只会拿着“纯中餐”或“纯西餐”的标准来衡量。如果这道菜里既有中餐又有西餐，尺子就会说：“这不对！这不符合标准！”然后给低分。
  • 人类评委：会说：“哇，这味道真独特，很自然！”给高分。
  • AI 评委（用另一个 AI 来打分）：稍微好一点点，但还是很困惑，经常给那些“全英语”的假句子打高分，因为它们看起来更“规范”。

结论是：在评估 AI 是否会说“混合语言”时，机器打分往往不准，必须依靠人类的判断。

5. 总结与意义

这篇论文告诉我们：

1. 教 AI 说“混合语言”很难，但通过“反向翻译”造数据并微调，可以做得很好。
2. 现有的自动评分系统对这种任务失效了，我们需要开发新的、更懂“混合语言”文化的评分方法。
3. 未来：这项技术可以帮助 AI 更好地服务双语社区，让 AI 的聊天更接地气，更像真人朋友，而不是一个只会翻译的机器。

一句话概括：作者们通过“倒着学”的方法，教会了 AI 像真人一样自然地“中英/西英夹杂”说话，并发现现有的机器评分尺子根本量不出这种“自然感”，需要人类来把关。

技术摘要

这篇论文《Conditioning LLMs to Generate Code-Switched Text》（将大语言模型条件化以生成代码转换文本）由巴斯克大学（UPV/EHU）的 HiTZ 中心团队撰写。文章针对自然语言处理（NLP）中**代码转换（Code-Switching, CS）**生成任务面临的挑战，提出了一套利用大语言模型（LLM）生成高质量英西（English-Spanish）代码转换文本的方法，并深入评估了现有自动评估指标的有效性。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 代码转换的普遍性与 NLP 的滞后性：代码转换（在单一句子中混合两种或多种语言）是多语言社区（尤其是口语和非正式网络文本）中的常见现象。然而，现有的 NLP 模型大多基于单语假设训练，导致其在理解和生成 CS 文本时表现不佳。
• 数据匮乏：缺乏大规模、多样化的 CS 平行语料库用于监督训练。现有的 CS 数据集（如 LINCE）主要用于分类任务，而非生成任务，且缺乏对应的单语平行句对。
• 评估困难：现有的自然语言生成（NLG）自动评估指标（如 BLEU, BERTScore）难以捕捉 CS 文本的细微差别（如语言切换的自然度），与人类判断的相关性较低。
• 核心研究问题：
  1. 微调（Fine-tuned）与非微调 LLM 在生成流畅 CS 文本方面的优劣对比如何？
  2. 如何利用 LLM 构建高质量的伪平行数据以用于 CS 生成模型的训练？
  3. 自动评估指标（包括基于参考的指标和 LLM 裁判）与人类判断的相关性如何？

2. 方法论 (Methodology)

2.1 数据构建：EN-CS 平行语料库

由于缺乏现成的 CS 到单语的翻译系统，作者提出了一种**反向翻译（Back-translation）**策略来构建训练数据：

1. 数据源：从 LINCE 基准测试（英西 CS 数据集）中筛选出真正的代码转换句子（去除仅包含借词或单语的句子）。
2. 反向翻译：使用强大的 LLM（Command R 模型）将筛选出的 CS 句子“翻译”回纯英语单语句子。
   • 利用 LLM 将 CS 转单语的能力通常强于将单语转 CS 的能力。
   • 通过提示工程（Prompt Engineering）确保生成的英语句子流畅、语法正确且不包含西班牙语词汇。
3. 人工后编辑（Gold Standard）：对测试集（1,040 条）的英语翻译进行人工后编辑，构建高质量的“金标准”测试集。
4. 最终数据集：构建了名为 EN-CS 的平行语料库，包含约 10,703 条训练数据和 791 条开发数据（自动翻译），以及 1,040 条人工修正的测试数据。

2.2 模型训练与实验设置

• 任务定义：将 CS 生成视为机器翻译任务，源语言为英语，目标语言为代码转换（英语 + 西班牙语）。
• 模型选择：
  • 微调模型：使用 LoRA 技术微调 Llama3 8B（Base 和 Instruct 版本）。
  • 基线模型：
    • Few-shot 提示：GPT-4o 和 Llama3.3-70B Instruct（5-shot）。
    • 专用翻译模型：基于 EN-CS 微调的 NLLB (No Language Left Behind) 模型。
• 推理优化：发现微调模型容易在生成完句子后继续翻译或产生幻觉，因此采用截断策略（在标点符号处截断，使长度接近原句）来优化输出。

2.3 评估体系

• 人类评估：
  • 偏好排序：14 名标注员对模型输出进行成对比较（Tournament-based），依据 CS 自然度、内容流畅度和拼写/格式错误进行排序。
  • 错误分析：将错误分类为三类：CS 错误（无 CS 或不自然切换）、翻译错误（语义/语法错误）、格式错误（重复、标点等）。
• 自动评估：
  • 参考指标：BLEU, BERTScore, chrF。
  • LLM 裁判：使用 GPT-4o 作为裁判进行成对比较。
  • 相关性分析：计算自动分数与人类偏好分数的皮尔逊相关系数。
• 域设置：包括域内（In-domain）（基于 LINCE 数据）和域外（Out-of-domain）（基于创意非虚构文本，句子更长、风格不同）。

3. 关键结果 (Results)

3.1 模型性能对比

• 微调优于提示：在人类偏好评估中，微调后的 Llama3 8B 表现最佳，显著优于 Few-shot 提示的大模型（GPT-4o, Llama3.3-70B）和专用翻译模型 NLLB。
  • 原因：Few-shot 模型倾向于生成纯单语句子（即“未切换”），这被视为严重错误；而微调模型学会了自然地混合语言。
• Base 模型 vs. Instruct 模型：Base 模型（Llama3 8B）在 CS 生成任务上表现优于 Instruct 模型。这表明指令微调（Instruction Tuning）可能削弱了模型在特定语言生成任务上的某些能力（即“对齐税”现象）。
• 泛化能力：微调模型在域外（Out-of-domain）测试中表现依然稳健，而 NLLB 和 Few-shot 模型在域外数据上错误率显著上升。

3.2 错误分析

• Few-shot 模型：主要错误是CS 错误（90% 的错误为完全单语输出），尽管其生成的单语部分非常流畅。
• 微调模型：CS 错误极少（<15%），主要错误集中在格式（如标点、重复）或轻微的翻译错误上，证明了其掌握了语言切换的规律。

3.3 评估指标的相关性

• 参考指标失效：BLEU、BERTScore 等指标与人类判断的相关性极低（$\rho \approx 0.05 - 0.09$）。
  • 原因：这些指标倾向于奖励与参考句（Reference）重叠度高的输出。由于 Few-shot 模型常输出纯英语（与参考句的英语部分重叠），因此获得了高分，尽管它们未能完成 CS 任务。
• LLM 裁判表现：GPT-4o 作为裁判与人类的相关性稍高（$\rho \approx 0.35$），但在处理 CS 错误（如完全单语）时，相关性依然不足。GPT 更偏好流畅度，而人类更看重 CS 的存在和自然度。

4. 主要贡献 (Key Contributions)

1. EN-CS 数据集：创建并发布了首个用于英西 CS 生成的平行语料库（EN-CS），包含自动翻译和人工修正数据，填补了该领域训练数据的空白。
2. 生成方法论：提出并验证了“反向翻译构建平行语料 -> 微调 LLM"的框架，证明微调是生成自然 CS 文本的关键步骤，且优于直接提示大模型。
3. 评估洞察：
   • 揭示了传统 NLG 指标在评估 CS 生成任务时的严重局限性（无法区分单语和 CS 输出）。
   • 证明了 LLM 裁判虽然比传统指标好，但仍不足以完全替代人类评估，特别是在捕捉 CS 细微差别方面。
4. 实证发现：发现指令微调（Instruction Tuning）可能不利于特定的 CS 生成任务，Base 模型微调后表现更佳。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为多语言 NLP 研究提供了新的数据资源和训练范式，有助于构建更能反映真实人类交流（包含 CS）的 AI 系统。
  • 强调了在评估生成任务时，必须考虑任务特定的语言特征（如 CS 的存在性），不能盲目依赖通用指标。
• 局限性：
  • 数据依赖：该方法依赖于初始的 CS 语料库进行反向翻译，对于低资源语言对（缺乏初始 CS 数据）可能难以直接应用。
  • 评估缺口：目前仍缺乏能够完美捕捉 CS 语言和社会细微差别的自动化评估指标，未来需要开发更专业的评估方法。
  • 语言对限制：目前仅针对英西（English-Spanish）对进行了验证。

总结：该论文通过构建高质量数据集和微调策略，成功解决了 LLM 生成自然代码转换文本的难题，并深刻指出了当前自动评估体系在衡量此类复杂语言现象时的不足，为未来的 CS 研究和评估指明了方向。