💬 NLP

The Latin Substrate: How Language Models Represent and Mediate Script Choice

本文揭示了大语言模型通过共享的潜在表示和语言无关机制来中介脚本选择，并表现出一种结构性不对称，即非拉丁脚本受特定后层组件控制，而拉丁脚本则作为一种特权的、弥散的默认基质而出现。

原作者： Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个大型语言模型（LLM）是一个庞大的、多语言的翻译官，他几乎读遍了世界上所有的文字。但这里有一个转折：这个翻译官有一个最喜欢的“母语基地”来进行思考：拉丁字母（即英语、法语、西班牙语等使用的 A, B, C 字母表）。

这篇论文研究了这个翻译官如何处理使用不同书写系统的语言，比如使用天文迪那里字母（Devanagari）的印地语，或者阿拉伯语，或使用西里尔字母的俄语。研究人员发现，该模型并不是像切换灯光开关那样在这些脚本之间直接切换。相反，它遵循一条非常特定的单行道。

以下是使用简单类比对他们发现的研究结果进行的分解：

1. “隐藏的中间人”（潜在的拉丁化）

当你要求模型将一个马拉雅拉姆语（来自印度的一种语言）的词翻译成天文迪里字母时，你可能会期望模型直接从“马拉雅拉姆语”跳转到“天文迪里字母”。

然而，研究人员逐层观察了模型内部的“大脑”层，发现了令人惊讶的现象。在模型写出最终的天文迪里字母之前，它会先在脑中进行短暂的拉丁字母思考。

类比： 想象你正在试图向一位说不同语言的朋友解释一个复杂的想法。你并不会瞬间切换语言；你会先用自己的语言思考这个概念，甚至可能用自己的脚本把它写下来以确保理解了含义，然后再将其翻译成朋友的脚本。
发现： 模型会自动完成这个过程。它在中间层将输入转换为“拉丁化”版本，然后再最终输出目标脚本。它将拉丁字母视为一种通用的桥梁。

2. “单行道”（方向不对称性）

研究人员发现模型处理这些脚本的方式存在显著的不平衡。

转向拉丁字母（非拉丁 $\rightarrow$ 拉丁）： 这很容易且直接。模型有一个特定的、紧凑的“门”或开关，开启后即可生成拉丁文本。这就像是一个专门的高速公路出口。
转向非拉丁脚本（拉丁 $\rightarrow$ 非拉丁）： 这很混乱且弥散。为了生成印地语、阿拉伯语或俄语，模型并不使用单一的开关。相反，它依赖于分布在整个网络中的数百个微小、微弱的信号共同协作。
类比： 把模型的脑部想象成一座城市。
- 拉丁脚本是市中心。它巨大、开阔且无处不在。到达市中心很容易，因为你可以从任何方向抵达。
- 非拉丁脚本是专门的社区。要到达那里，你需要一个特定的、狭窄的隧道（一个“门”）。如果你试图离开市中心前往某个社区，你必须通过复杂且蜿蜒的路径，并依赖许多不同的道路。如果你封锁了一条路，你可能仍能到达，但如果你封锁了那个特定的隧道，你就无法进入了。

3. “方向盘”（控制脚本）

研究人员尝试使用数学方法来“操控”模型。他们计算了一个简单的向量（一个方向），代表“切换到拉丁字母”或“切换到原生脚本”。

结果： 他们发现，只要向模型的内部数学方向进行微调，就可以推动模型输出拉丁字母或特定的非拉丁脚本。
代价： 这种“微调”在将任何非拉丁文本转换为拉丁文本时表现完美。但要将拉丁文本转换为特定的非拉丁脚本却更难且不够稳定。这就像你有一个方向盘，向左转（转向拉丁字母）非常平顺，但向右转（转向特定的非拉丁脚本）则需要更强、更精准的推力。

4. “通用守门人”（机械定位）

最令人兴奋的部分是，研究人员找到了负责这些脚本的特定“开关”（特定的注意力头）。

发现： 他们发现模型深处有一组大约 5 个特定的“工人”（神经元/头）充当了非拉丁脚本的守门人。
神奇之处： 这些工人是语言无关的。如果你把针对印地语和阿拉伯语训练的“守门人”用于俄语、日语或希腊语，它们仍然有效！它们并不关心它是哪种非拉丁语言；它们只知道如何将模型从“拉丁模式”切换到“非拉丁模式”。
类比： 想象一名夜总会的保安。他并不在乎你是穿着纱丽、和服还是苏格兰短裙。他只检查你的身份证，看你是否被允许进入“非拉丁 VIP 区”。一旦进入，无论你穿着什么样的服装，保安都会放行。

总结

论文得出结论，大型语言模型存在一种拉丁字母偏见。

拉丁字母是模型的默认、舒适的“家园”，信息在这里被广泛存储和处理。
非拉丁脚本是通过一个位于拉丁基础之上的专门、紧凑的“门”来访问的。

模型并不将所有脚本视为平等；它将拉丁字母视为通用的底层（基础），并在其之上利用特定的、局部化的机制构建其他一切。

模型将拉丁字母视为通用的底层（基础），并在其之上利用特定的、局部化的机制构建其他一切。

技术摘要：大语言模型中的拉丁语底层（The Latin Substrate in Large Language Models）

问题陈述

许多语言使用多种脚本编写（例如，印地语使用天文文本和拉丁字母，塞尔维亚语使用西里尔字母和拉丁字母）。虽然多语言大语言模型（LLMs）可以在这些不同的正字法系统之间生成等效的语言内容，但介导脚本变化的内部机制仍不为人所知。先前的研究表明，表示在不同脚本之间是部分共享的，并观察到了诸如“潜在罗马化”（latent romanization）之类的现象，即中间层会瞬时地以拉丁形式表示信息。然而，目前尚不清楚 LLM 如何在不同脚本之间路由信息，它们是否依赖于共享的潜在表示，以及特定的架构组件是否负责脚本选择。

研究方法

作者采用了一种多维方法，结合了表示分析、线性转向（linear steering）和机械定位，针对四种开源指令微调模型（Llama-3.1-8B/70B 和 Aya-Expanse-8B/32B）进行了研究，重点关注印地语和阿拉伯语。

逐层输出分析（Logit Lens）： 利用 Logit Lens 技术，作者解码中间层的激活值，以观察转写任务期间的下一个 token 分布。他们量化了“潜在比例”（latent fraction）——即罗马化子词出现在 top-1 预测中的时间步比例——以检测中间的拉丁表示。
表示分析：
- 可分性： 他们通过线性探针、余弦相似度和 Fisher 判别比率来测量原生与罗马化句子在平均池化隐藏状态上的脚本可分性。
- 转向（Steering）： 他们基于不同脚本类别的平均隐藏表示之差，构建了线性转向向量（ $v_{nat2lat}$ 和 $v_{lat2nat}$ ）。通过将这些向量应用于残差流，测试是否可以在保持语义的同时翻转脚本身份。
- 泛化性： 将从印地语和阿拉伯语中导出的转向向量应用于未见过的语言（如俄语、日语、泰语），以测试是否存在语言无关的脚本轴。
机械分析（激活补丁/Activation Patching）： 作者使用反事实激活补丁来定位因果性地介导脚本选择的特定注意力头。通过在原生运行和拉丁运行之间交换激活值，他们测量了产生原生脚本 token 与拉丁脚本 token 的对数几率的变化。他们通过在留存提示（held-out prompts）上进行针对性的干预（清零或补丁特定注意力头子集）来验证这些发现。

关键结果

1. 潜在罗马化

在转写任务期间，模型一致地表现出潜在罗马化现象。在中间到高层（例如 Llama-3.1-8B 中的第 20–40 层），模型的内部预测会在提交最终目标脚本之前，瞬时地与罗马化子词对齐。这表明拉丁脚本在脚本转换过程中充当了共享的中间表示桥梁。

2. 表示不对称性与转向

可分性： 脚本信息在各层中变得越来越具有可分性，不同脚本的独特簇主要在网络的上三分之一处出现。
线性转向： 一个简单的线性转向方向可以翻转模型的输出脚本，同时在很大程度上保留语义内容。
方向不对称性： 转向效应是不对称的。将非拉丁转换为拉丁（$lat2lat $）是非常可靠的，且需要较低的干预强度。相反，将拉丁转换为非拉丁（$ nat2lat$）则不太稳定，往往会导致输出向各种非拉丁脚本漂移，而不是向单一的目标脚本靠拢。这暗示了拉丁语在表示空间中占据了一个“弥散”区域，而非拉丁语脚本则形成了更紧密、更独特的簇。

3. “脚本介导门控”（Script-Mediation Gate）的机械定位

紧凑型非拉丁门控： 因果分析显示，非拉丁脚本的生成是由一组小型、紧凑的后层注意力头介导的（例如 Llama-3.1-8B 中的 L30H20、L30H23、L26H7）。仅通过补丁处理这五个注意力头，就足以高成功率地将输出脚本从拉丁语翻转为原生脚本（如天文文本）。
弥散型拉丁生成： 相比之下，拉丁脚本的生成并不依赖于特定的、局部化的电路。相反，它源于许多注意力头中弥散的、低幅度的贡献。移除“非拉丁门控”会导致模型在部分提示词下默认输出拉丁语，这表明拉丁语是模型的备选底层（fallback substrate）。
语言无关性： 被识别出的注意力头在不相关的语言和书写系统中具有迁移性。使用印地语或阿拉伯语识别出的注意力头能够成功地重新定向俄语（西里尔字母）、马拉地语（天文文本）、乌尔都语（波斯-阿拉伯字母）、希腊语和日语的输出脚本，表明存在一种语言无关的脚本路由机制。

意义与主张

本文声称提供了关于 LLM 内部如何表示和介导多种脚本的首次统一分析。核心发现是：拉丁脚本作为表面语言表示的特权底层（privileged substrate）发挥着作用。

特权底层： 模型围绕与拉丁语对齐的共享潜在表示来组织脚本变化。非拉丁输出是通过一个专门的、可识别的且紧凑的路由机制（“门控”）产生的，而拉丁输出则从网络的默认、弥散的处理路径中产生。
机械洞察： 本研究识别了一组可迁移的、能因果控制脚本选择的注意力头，证明了脚本路由是由语言无关的组件而非每个脚本各自独立的处理路径实现的。
理解意义： 这些发现表明，预训练数据中拉丁脚本的主导地位塑造了 LLM 的内部几何结构，创造了一种不对称的架构：拉丁语是“基态”（ground state），而非拉丁语需要通过主动的、局部的门控才能生成。

作者指出了研究的局限性，包括对特定开源模型和具有成熟罗马化惯例语言的关注，并承认在不同数据分布下训练的模型或闭源模型可能会表现出性质不同的机制。