💻 computer science

Gradual Code-Switching as Inference-Time Cross-Lingual Representational Alignment for LLMs

本文介绍了代码切换上下文学习（Code-Switching In-Context Learning, CSICL），这是一种推理时机制，通过从目标语言逐渐过渡到英语，使非英语输入与以英语为中心的推理空间对齐，从而显著提升了多语言大语言模型在多种语言及低资源设置下的性能。

原作者： Haneul Yoo, Jiho Jin, Kyunghyun Cho, Alice Oh

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haneul Yoo, Jiho Jin, Kyunghyun Cho, Alice Oh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个才华横溢、精通多种语言的机器人如何解决一个棘手的谜题。你用西班牙语、法语或斯瓦希里语对它说话，并期望它也用同样的语言进行思考和回答。但问题在于，在这个机器人的“大脑”深处，有一个秘密习惯：无论你用哪种语言与它交流，它都会在内心偷偷地先将所有内容翻译成英语，用英语进行思考，然后再将答案翻译回原语言。如果这个机器人英语流利，这种做法效果很好；但如果你的语言比较罕见或复杂，这个秘密的翻译步骤就会变得一团糟。机器人可能会感到困惑、丢失原意，或者给出错误的答案，因为你所使用的语言与它英语大脑之间的那座“桥梁”并不稳固。这是一个让 AI 能为世界各地所有人（而不仅仅是英语使用者）提供帮助时面临的大问题。科学家们称之为“跨语言失配”（cross-lingual misalignment）。为了解决这个问题，研究人员尝试向机器人展示不同语言的示例，但这些示例通常只是突兀的跳跃——就像是在没有任何预警的情况下，要求机器人突然从西班牙语切换到英语。这就像是要求一个人在没有梯子的情况下跳下跳水板；他们可能会惊慌失措并错过落水点。

这篇论文介绍了一个聪明的新技巧，叫做渐进式语码转换上下文学习（Gradual Code-Switching In-Context Learning, CSICL）。研究人员并没有强迫机器人进行语言跳跃，而是教会它一步步走过一座桥。他们向机器人展示了一系列示例，其中语言从目标语言（如韩语）逐渐“融化”成英语。想象一下这样一个句子：它开始是 100% 的韩语，然后变成 75% 的韩语和 25% 的英语，接着是 50/50 的比例，然后是 25% 的韩语，最后是 100% 的英语。通过观察这种平滑的过渡，机器人学会了如何将其内部的“英语思维”与非英语的输入进行对齐，而不会感到震惊。研究人员在四种不同的语言大模型上，针对十种语言和六种不同类型的任务（从回答常识问题到解决数学问题）进行了测试。他们发现，这种温和、渐进的方法始终能帮助机器人表现得更好，尤其是在那些它接触较少的语言中。事实上，对于低资源语言（即机器人了解最少的语言），这种方法将性能大幅提升了 14.7 个百分点。该论文指出，通过利用这些渐进式过渡来搭建推理过程的支架，我们可以帮助 AI 模型变得对各种语言的使用者更加公平且高效，将一座摇晃的桥梁变成一条坚实的公路。

技术摘要：渐进式语码转换作为大语言模型推理阶段的跨语言表示对齐

问题陈述

尽管多语言能力取得了显著进展，但大语言模型（LLMs）在不同语言间的表现仍不均衡。这种差异源于对**以英语为中心的潜在表示（English-centric latent representations）**的过度依赖。近期研究表明，LLM 通常会在推理前将非英语输入在内部进行翻译，从而产生一个“翻译障碍”。如果这一初始内部翻译失败，最终输出的质量将会大幅下降。

现有的缓解方法，如跨语言上下文学习（X-ICL），通常依赖于突发的、单步的转向。例如，模型可能会通过英语示例来解决目标语言的任务，或者在推理前将查询完全翻译成英语。这些方法往往只迁移了表层的任务模式（如输出格式），而未能有效弥合目标语言与模型以英语为中心的潜在空间之间的底层表示差距。因此，在低资源和未见语言上的表现仍然不理想。

方法论：语码转换上下文学习（CSICL）

作者提出了 CSICL，这是一种无需训练、在推理阶段运行的机制，旨在通过显式地构建推理轨迹来对齐跨语言表示。CSICL 并没有采用突发式的转换，而是采用了一种渐进式语码转换策略，实现从目标语言向英语的过渡。

核心机制

CSICL 通过两个主要组件运行：

渐进式翻译指令： 模型被指示通过逐步将非英语输入翻译成英语、用英语进行思考，最后再用目标语言生成最终答案的方式来处理输入。
渐进式语码转换示例： 提供的少样本（few-shot）示例并非在语言间发生突变，而是遵循阶梯式演进：
- 0%（目标语言）： 查询完全使用目标语言。
- 25% - 75%（中间步骤）： 查询在保留目标语言语法结构的同时，逐步融入英语标记（基于矩阵语言框架模型 Matrix Language Frame model）。
- 100%（英语）： 查询已完全翻译为英语。

这种渐进式的转变充当了一个“语言桥梁”，引导 LLM 在实际推理步骤发生之前，动态地将其非英语输入与英语为中心的推理空间进行对齐。

实现细节

示例构建： 对于每种目标语言，作者都会生成渐进式的语码转换序列。虽然默认实现使用 GPT-5 进行示例构建，但 CSICL 从根本上并不受限于外部先验模型。该方法支持自生成（使用同一模型）或基于规则的生成。此外，该方法并不限制使用 GPT-5 作为推理模型；论文在四种不同的多语言 LLM 上评估了 CSICL：Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, 和 Gemini 2.5 Flash。
方向性： 该方法专门实现从目标语言 $\to$ 英语的转换。消融实验表明，这一方向优于反向（英语 $\to$ 目标语言），因为它使输入与模型的潜在空间对齐，而不是偏离它。
粒度： 作者测试了各种步数（例如 3 步、5 步、7 步转换），并发现 5 步线性转换通常在性能和 Token 效率之间达到了最佳平衡。

核心贡献

提出 CSICL： 一种新型的推理阶段机制，通过结构化的渐进式语码转换，在目标语言和英语表示之间架起桥梁，避免了突发转向的缺陷。
系统的实证证据： 在 4 种多语言 LLM（Qwen3, DeepSeek, Grok, Gemini）、6 个数据集（包括 Global MMLU, MedExpQA, PolyMath）以及 10 种语言（涵盖高、中、低资源设置）上进行了全面的评估。
潜在空间可视化： 论文通过隐藏状态的 PCA 分析提供了视觉证据，表明 CSICL 系统地将非英语输入的表示向英语锚点移动，从而验证了对齐假设。
设计因素分析： 作者分析了包括方向性、粒度和示例来源在内的关键因素，证明了即使使用自生成或基于规则的示例，CSICL 依然有效。

实验结果

CSICL 在所有评估设置中均一致优于标准的 X-ICL 基准线（包括单语言、平行及基于翻译的提示方法）。

性能增益：
- 目标语言： 比单语言基准线平均提升了 6.0 个百分点 (pp)。
- 未见语言： 平均提升了 4.8 pp。
- 低资源设置： 在低资源场景下的提升最为显著，目标语言提升了 14.7 pp，未见语言提升了 5.3 pp。
任务特异性：
- 翻译： CSICL 取得了最大的增益（目标语言 +6.8 pp），因为渐进式转换直接为潜在翻译过程提供了脚手架。
- 推理： 在面向推理的任务中观察到了显著提升（+5.4 pp），这表明通过渐进式对齐进行的“用英语思考”减轻了表示干扰。
- 知识： 在文化知识和社会偏见任务中发现了虽小但持续的增益。
效率： 虽然完整的 CSICL 配置（5 shot, 5 步）比简单的基准线使用更多 Token，但其开销在标准上下文窗口内是可控的。值得注意的是，即使是 0-shot 和 1-shot 版本的 CSICL，其表现也优于许多强力的 X-ICL 替代方案，且使用的 Token 更少。

意义与主张

论文将 CSICL 定位为一种鲁棒且有效的方法，用于在推理阶段减少跨语言失配，且无需对模型进行重新训练或微调。

公平部署： 通过提升在低资源和未见语言上的表现，CSICL 使 LLM 向更公平的多语言系统迈进，解决了目前能力高度向英语倾斜的局限性。
机制洞察： 该工作确立了渐进式语码转换不仅是一种风格选择，更是一种控制推理轨迹的功能机制，允许模型在保持目标语言忠实度的同时，充分利用其最强大的英语推理能力。
实用价值： 该方法被呈现为一种轻量级、可调优的解决方案，提供了良好的效率-准确度权衡，既适用于预算受限的场景（通过 0/1-shot 变体），也适用于高准确度需求。

作者总结道，CSICL 代表了跨语言对齐的一个新视角，证明了通过显式构建从目标语言到英语的过渡，可以显著增强现有 LLM 的多语言能力。