Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

该论文通过评估 10 种语言下的多种预训练模型，发现尽管有明确指令和上下文信息，语言模型仍难以区分借词与原生词汇，且表现出对借词的偏见，这一发现对开发少数语言 NLP 工具及支持语言保护具有重要意义。

要点

这篇论文就像是在给现在的人工智能（AI）语言模型做了一次特殊的“体检”，检查它们是否具备一种人类语言学家都觉得很微妙的能力：分辨哪些词是“借来的”，哪些词是“土生土长”的。

为了让你更容易理解，我们可以把语言想象成一座巨大的城市，把词汇想象成城市里的建筑。

1. 背景：语言里的“外来移民”

想象一下，英语这座“城市”里，有很多建筑其实是“借”来的。

• 像"sugar"（糖）、"chocolate"（巧克力）这些词，原本不是英语的，是从其他语言“移民”过来的。
• 随着时间的推移，这些“外来建筑”已经完全融入了城市，变成了城市的一部分，连本地人（单语使用者）都习以为常，觉得它们就是自己家的房子。

人类通常能凭直觉分辨出哪些是“老房子”（原生词），哪些是“新移民”（借词），特别是在双语社区，这种界限更明显。

2. 核心问题：AI 是“借词盲”吗？

研究者想知道：现在的超级 AI（比如 LLMs，大语言模型）能不能像人类一样，一眼看出哪些词是“借来的”？

为了测试，他们找来了10 种不同的语言（像中文、法语、德语、冰岛语等），给 AI 出了一道考题：

“请在这句话里，把那些‘借来的词’圈出来。”

3. 实验过程：三种“考试”方式

研究者用了两种主要方法来考 AI：

• 方法一：直接问（提示词测试）
  就像老师直接问学生：“请找出借词。”

  • 有的老师问得很简单（“找出借词”）。
  • 有的老师给了定义（“借词是历史上借来的”）。
  • 有的老师讲得很细（“借词是单语者也能用的，不是临时的代码切换”）。
  • 结果： 无论怎么问，AI 的表现都很糟糕。它们就像**“借词盲”**，经常把原生词误认为是借词，或者把真正的借词漏掉。

• 方法二：特训（微调模型）
  既然直接问不行，那就给 AI 上一堂专门的课（用大量数据训练它）。

  • 结果： 经过特训的 AI 确实进步了，特别是在一些语言上（如法语、意大利语），准确率大幅提升。但在其他语言上，或者面对复杂情况时，它们依然会犯错。

4. AI 为什么会“翻车”？（有趣的比喻）

研究发现，AI 在分辨借词时，经常犯以下几种“糊涂病”：

• 把“游客”当成“移民” (代码切换 vs. 借词)

  • 比喻： 想象一个法国人在说话时突然蹦出一个英语单词"Really"。这就像是一个游客临时路过，说完就走了（这叫“代码切换”）。
  • AI 的错误： AI 经常把这种“游客”当成“永久移民”（借词），因为它看到这个词长得像外国的。
  • 反之亦然： 有些词虽然源自英语，但在法语里已经住了一百年，大家都用（比如"deal"），AI 却觉得它还是“游客”，不肯承认它是借词。

• 把“名牌”当成“进口货” (专有名词 vs. 借词)

  • 比喻： 就像看到"NASA"或"PISA"这种缩写，AI 觉得它们长得像外语，就判定为借词。
  • AI 的错误： 其实这些只是专有名词（像人名或地名），并不是语言里的“借词”。AI 太依赖“长得像不像外语”这个表面特征了。

• 把“老古董”当成“新移民” (科学术语 vs. 借词)

  • 比喻： 很多科学词汇（比如"nitrates"硝酸盐）源自希腊语或拉丁语，几百年前就借进来了，现在已经是“土生土长”的。
  • AI 的错误： AI 一看到它们有“古老的外国血统”，就误以为它们是“新来的借词”。它分不清历史渊源和现在的实际用法。

5. 结论与启示

这篇论文告诉我们一个有点令人惊讶的事实：
现在的 AI 虽然能写诗、能聊天，但在理解“语言是如何混合和演变”这件事上，它们其实很“笨”。

• 现状： 即使是最先进的 AI，在没有经过专门训练的情况下，几乎无法分辨借词。
• 进步： 经过专门训练（微调）后，AI 能做得更好，但依然无法完美解决所有问题。
• 意义： 这对保护少数语言非常重要。如果 dominant language（强势语言，如英语）的词汇不断入侵弱势语言，AI 如果分不清哪些是“借来的”，就无法帮助人们识别和保护那些珍贵的“原生词汇”。

一句话总结：
现在的 AI 就像是一个刚搬进语言城市的新居民，它能看到很多“外来建筑”，但它分不清哪些是真正融入城市的移民，哪些只是路过的游客，甚至把本地老建筑也误认成了外来户。要让它真正理解语言的“血统”和“融合”，还有很长的路要走。

技术摘要

这是一份关于论文《Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages》（语言模型是否对借词“视而不见”？跨 10 种语言的借词识别多语言评估）的详细技术总结。

1. 研究背景与问题定义 (Problem)

• 核心问题：借词（Loanwords）是语言接触中从一种语言借用并融入另一种语言词汇的词汇。虽然人类（尤其是双语者）通常能区分借词和母语词汇，但现有的自然语言处理（NLP）模型是否具备这种能力尚不明确。
• 研究动机：
  • 借词识别对于语言保护、教育以及开发针对少数语言（受强势语言词汇压力影响）的 NLP 工具至关重要。
  • 先前的研究（如 ConLoan 数据集）表明，现代 NLP 系统（包括大语言模型 LLMs）在生成和理解任务中表现出对借词的系统性偏好，而非母语词汇。
  • 关键疑问：如果模型在生成时偏好借词，那么当被明确指令要求识别借词时，它们是否具备区分借词与母语词汇的能力？
• 挑战：借词识别是一个复杂的任务，涉及区分借词、代码转换（Code-switching）、专有名词以及高度同化的科学/技术词汇。

2. 方法论 (Methodology)

本研究使用了 ConLoan 数据集（包含 10 种类型多样的语言：中文、法语、德语、希腊语、冰岛语、意大利语、北库尔德语、葡萄牙语、俄语和西班牙语），通过两种互补的方法评估模型能力：

A. 任务定义

将借词识别 formulated 为序列标注任务（Sequence Labeling），使用 BIO 标签体系（O, B-LOAN, I-LOAN）来标记句子中的借词跨度。

B. 实验设置

1. 大语言模型 (LLMs) 评估 (Prompting)：

   • 模型：Gemini-2.5-Flash-Lite, GPT-4.1, Meta-Llama-3-8B-Instruct。
   • 设置：零样本（Zero-shot）和少样本（Few-shot，提供 2 个同语言示例）。
   • 提示词变体：设计了三种提示词，逐步增加借词定义的粒度：
     • Prompt 1 (最小化)：仅指令检测借词。
     • Prompt 2 (词源学)：基于 Haspelmath & Tadmor (2009) 的定义，强调历史借用。
     • Prompt 3 (基于用法)：强调单语使用者的常规用法，明确区分借词与代码转换。
   • 评估指标：严格（Strict，必须完全匹配跨度）和宽松（Relaxed，允许分词差异）的 F1 分数。

2. 多语言编码器模型评估 (Fine-tuning)：

   • 模型：mBERT, XLM-RoBERTa (Base/Large), ELECTRA-base (多语言版)。
   • 设置：
     • 零样本基线：冻结模型，仅作为特征提取器，使用确定性规则映射隐藏状态到标签。
     • 微调 (Fine-tuned)：在 ConLoan 数据集的 80/20 训练/测试集上进行微调（Token Classification Head）。

3. 主要贡献 (Key Contributions)

1. 系统性评估：首次直接调查了通用预训练模型和 LLMs 在明确指令下进行借词识别的能力，覆盖了 10 种语言。
2. 揭示“借词盲区”：发现尽管有明确的指令和上下文信息，通用 LLMs 在区分借词和母语词汇方面表现极差。
3. 微调效果分析：通过定量和定性分析，展示了不同架构和训练方法的表现，证明即使经过任务特定的微调，借词识别仍未完全解决，但性能有显著提升。
4. 错误模式分析：深入分析了模型在代码转换、专有名词和科学术语上的系统性错误。

4. 实验结果 (Results)

A. LLMs 的表现 (Prompt-based)

• 整体表现：所有设置下的 F1 分数均低于 0.70，平均 F1 约为 0.40 左右。
• 模型对比：
  • Gemini 表现最好（平均 F1 ~0.466）。
  • OpenAI (GPT-4.1) 次之（~0.41）。
  • Llama 表现最差（~0.23），且在少样本设置下出现异常崩溃（F1 接近 0），原因是模型未能遵循结构化输出格式。
• 提示词影响：增加定义（Prompt 2, 3）并未显著提升性能，甚至在某些情况下（Prompt 3）导致性能下降。
• 语言差异：中文、法语、意大利语表现相对较好；德语、冰岛语、葡萄牙语表现较差（可能与形态丰富或借词高度同化有关）。

B. 微调模型的表现 (Fine-tuned Encoders)

• 显著提升：微调后的模型性能远超零样本基线。
  • 零样本基线 F1 普遍低于 0.02。
  • 微调后，XLM-RoBERTa-Large 达到最佳性能，平均 F1 为 0.8513。
  • 其他微调模型（如 mBERT, ELECTRA）的 F1 也在 0.65 - 0.83 之间。
• 语言表现：罗曼语族（法、意、西、葡）在微调后表现最佳（F1 > 0.8），而零样本表现极差的语言（如中文、冰岛语）通过微调得到了巨大提升（从接近 0 提升至 0.7-0.8）。

C. 定性分析 (错误类型)

1. 代码转换 vs. 借词：模型难以区分真正的借词（已融入词汇）和临时的代码转换（如北库尔德语中的 "really"）。模型倾向于将代码转换误判为借词，或反之。
2. 专有名词与实体：模型常将国家名、组织名、缩写（如 NASA, PISA）误判为借词，因为它们看起来像外来词。
3. 科学/技术词汇：
   • 微调模型：倾向于漏检（Under-detect）高度同化的科学术语（如冰岛语的 "nítröt"），因为它们形态规则。
   • LLMs：倾向于过检（Over-detect），仅基于词源（如希腊/拉丁词根）将已完全同化的词汇（如葡萄牙语的 "filosofia"）标记为借词。

5. 意义与结论 (Significance & Conclusion)

• 核心发现：语言模型并非“借词专家”。通用 LLMs 缺乏区分借词和母语词汇的内在能力，即使经过提示工程也表现不佳。
• 微调的必要性：虽然微调能大幅提升性能（从 <0.02 到 >0.8），但这表明预训练语言模型本身并未充分学习借词的社会语言学特征。
• 局限性：当前模型过度依赖正字法（拼写）和词源线索，缺乏对语用语境、说话者意图和词汇同化程度的深层理解。
• 未来方向：
  • 需要更细粒度的识别任务（考虑借词的整合状态连续体）。
  • 开发能感知语用背景和词汇同化程度的模型。
  • 对于少数语言保护工作，不能盲目依赖通用 LLMs 进行借词识别，必须依赖特定领域的微调模型。

总结：该论文揭示了当前 NLP 系统在借词识别任务上的显著缺陷。虽然微调可以解决部分问题，但模型仍难以处理借词与代码转换、专有名词及高度同化词汇之间的细微界限。这一发现对开发服务于语言保护和多语言社区的 NLP 工具提出了严峻挑战。