💬 NLP

PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing

本文介绍了 PERCEPT，这是首个带有通用依赖（Universal Dependencies）词性标注的大规模波斯语-英语代码混合语料库，并提出了一个由大语言模型辅助的标注框架，以及通过全面的语言学分析揭示了社交媒体中代码混合现象的平台特定模式。

原作者： Ghazal Kalhor, Zahra Jafari, Amirarsalan Shahbazi, Behnam Bahrak

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ghazal Kalhor, Zahra Jafari, Amirarsalan Shahbazi, Behnam Bahrak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一个巨大的、混乱的游乐场，来自世界各地的人们同时在那里大声叫喊、低声耳语和聊天。在这个游乐场里，许多人并不只说一种语言；他们把语言混合在一起，就像在制作奶昔时混合各种原料一样。这被称为“代码混合”（code-mixing）。这就是当某人可能用母语开始一句话，然后突然加入一个英语单词，因为那样感觉更自然，或者因为那是他们才知道的关于某个新设备的词汇。对于计算机来说，这是一场噩梦。如果计算机试图理解一个句子，它期望单词遵循严格的规则。但当语言变得混杂时，计算机就会感到困惑，就像一位厨师试图遵循一份食谱，却在烘焙蛋糕的过程中突然从公制杯量切换到了英制盎司量。为了教计算机如何处理这种混乱而有趣的现实，科学家们需要一本特殊的字典和一套规则——一个被称为“语料库”（corpus）的东西，向它们展示这些混合词是如何运作的。

欢迎来到 PERCEPT，这是一个全新的项目，它像是一个为喜欢在帖子中混入英语的波斯语使用者建立的、组织有序的巨大图书馆。研究人员（来自伊朗的一支由语言学家和计算机科学家组成的团队）注意到，虽然我们已经有了其他混合语言对的地图，但波斯语-英语的混合仍然是一片黑暗、未被探索的森林。他们想要建造一把手电筒，去照亮那里正在发生的一切。于是，他们从三个热门数字场所——X（原名 Twitter）、Instagram 和 Digikala（一个大型在线购物网站）中收集了 6,800 条帖子。他们不仅仅是收集单词；他们还使用了一个名为 Gemini 的超智能 AI 助手来充当侦探，为每一个英语单词（或用波斯字母书写的英语单词）标记其在句子中的“职责”。在语法中，这个职责被称为“词性”（Part-of-Speech）。这个词是一个名词（事物）？动词（动作）？还是形容词（描述）？该团队还要求 AI 猜测帖子在讨论什么主题，比如“购物”、“政治”或“有趣的迷因”。

令人兴奋的部分在于：该团队不仅建立了这座图书馆；他们还走进其中并开始阅读书籍，以寻找可以发现的模式。他们发现，当波斯语使用者混入英语时，他们主要使用名词（事物）。这就像是他们借用了英语中的“物体”，但在保留了波斯的“动作”和“描述”。例如，他们可能会说，“I bought a new laptop”（我买了一个新的笔记本电脑），其中“laptop”是借用的名词，但句子的其余部分保持为波斯语。然而，这种混合的“风味”会根据你所处的地方而改变。在购物网站 Digikala 上，人们混合了大量的品牌名称和产品型号（这些是特殊的名称，即“专有名词”）。在 X 上，他们混合了更多的动词（动作）；而在 Instagram 上，他们则倾向于使用形容词（描述）。

研究人员还观察了这些混合词在句子中的“隐藏位置”。他们发现了一个令人惊讶的一致性：无论你使用哪个平台，混合词往往出现在句子的开头或中间，很少出现在句子的末尾。这就像说话者通过在早期加入英语单词来设定场景，然后再用波斯语完成想法。但最有趣的发现是关于“触发”现象。在 Digikala 上，如果有人使用了一个英语单词，他们极有可能紧接着使用另一个。这就像一旦你开始谈论某个特定品牌或产品，英语单词就会源源不断地涌现。这种情况在 Instagram 或 X 上并不常见。

最后，他们检查了哪些话题引起了最多的混合。不出所料，“工业与商业”以及“品牌与业务”这两个话题的语码混合程度最高。当人们谈论购物、科技或商业时，他们简直无法抑制地撒入一些英语术语。团队通过让专家进行人工抽样复核，确认了 AI 的工作成果，人类几乎在所有情况下都与 AI 的判断一致，证明了他们的新图书馆是可靠的。

简而言之，这篇论文不仅为我们提供了一个新的数据集；它还为我们描绘了一幅清晰的图景，展示了波斯语使用者是如何自然地融合语言的。它表明，虽然他们借用的词汇类型会随平台而变化，但他们混合的方式遵循着一种稳定的节奏。这张地图现在已向所有人开放，有助于构建更好的翻译工具、更智能的聊天机器人，以及更深入地理解我们在语言不断共舞的世界中是如何交流的。

技术摘要：PERCEPT —— 用于波斯语–英语语码混合词性标注与分析的语料库

问题陈述

社交媒体已成为多语言交流的主要场所，用户经常在单句表达中混合使用多种语言，这种现象被称为语码混合（code-mixing）。虽然针对几种语言对（如马拉雅拉姆语–英语、印地语–英语、孟加拉语–英语）已经存在语码混合语料库，但波斯语–英语的语码混合研究仍相对匮乏。现有的波斯语资源主要侧重于语言识别或情感分析，缺乏专门针对语码混合词汇的通用依赖（Universal Dependencies, UD）词性（POS）标注。这种缺失限制了语言学分析以及开发能够处理波斯语–英语语码混合复杂性（如分词、语言识别和句法解析）的语法感知型自然语言处理（NLP）模型的能力。

研究方法

为了填补这一空白，作者推出了 PERCEPT，这是首个公开可用的、针对语码混合词汇进行 UD POS 标注及文档级主题标签标注的大规模波斯语–英语语码混合语料库。

数据收集

该数据集包含从三个主要平台收集的 6,800 条文本：X（原 Twitter）、Instagram 和 Digikala（一个电子商务平台）。作者汇总了现有的波斯语数据集，并在 X 上进行了额外的基于关键词的搜索，以确保覆盖频繁出现的语码混合词。最终的数据集既包括使用拉丁字母书写的英语单词，也包括将英语转写为波斯语字母的英语单词。文中过滤掉了攻击性内容，并对用户提及（mentions）和 URL 进行了匿名化处理。

标注框架

作者提出了一个利用 Gemini 3.5 Flash 实现自动识别与标注的 LLM 辅助标注框架：

词性标注（POS Tagging）： 模型识别波斯语文本中的英语及转写英语单词，并分配 17 种通用依赖词性之一（例如：NOUN, VERB, PROPN）。该框架包含特定的指令，要求排除已成规模的借词（如 "laptop"、"internet"）和特定平台的术语（如 X 上的 "timeline"、Digikala 上的 "DigiPay"），以便专注于非标准的语码混合。
主题检测： 模型根据预定义的分类法（如品牌与商业、工业与贸易、生活方式）为每条文本分配文档级主题标签。
人工校验： 为确保可靠性，两名具有 NLP 背景知识的波斯语母语标注员独立验证了 150 条文本（共 268 个语码混合词）的随机样本。他们在没有 AI 辅助的情况下，对词元识别和词性标注进行了评估。

统计分析

利用标注后的 PERCEPT 语料库，作者进行了全面的实证分析，研究了四个研究问题：

哪些词性类别最容易出现语码混合？
语码混合词倾向于出现在句子的什么位置（位置分布）？
语码混合是否表现出“触发效应”（在同一文本中重复出现）？
语码混合的程度如何随讨论主题的变化而变化？

关键结果

1. 词性分布

名词（Nouns） 是所有平台中语码混合词的主要类别，在 X 和 Instagram 上约占 60%，在 Digikala 上占 45.4%。次要分布因平台而异：

X：动词是第二频繁的类别（23.0%）。
Instagram： 形容词排名第二（19.3%）。
Digikala： 专有名词（PROPN）排名第二（35.0%），这归因于电子商务列表中频繁使用英语品牌和产品型号名称。

2. 位置分布

语码混合词的位置分布在三个平台之间表现得非常一致。大约三分之一的语码混合词出现在起始位置，三分之一出现在中间位置，略少于三分之一出现在末尾位置。卡方检验（chi-square）显示，平台与词汇位置之间没有显著关联。

3. 触发效应

“触发效应”（即在单个表达中出现多个语码混合词的可能性）因平台而异：

Digikala： 表现出最高的触发效应（42.0%），这可能是由于用户在单条评论中讨论多个产品特性、品牌或规格。
X：位列第二（27.1%）。
Instagram： 显示出最低的比例（10.2%）。

4. 主题差异

与 工业与贸易 以及 品牌与商业 相关的讨论在所有平台中始终表现出最高程度的语码混合。在 Digikala 上，主题依赖性最强，与商业相关的讨论包含的语码混合词明显多于其他主题。相比之下，Instagram 在不同主题间的语码混合程度几乎保持恒定，这表明用户通常无论主题为何，通常只插入单个英语单词。

标注可靠性

人工评估证实了 LLM 生成标注的可靠性。对于词性标注，人类标注者之间的 Cohen's $\kappa$ 系数为 0.894。在将 LLM 的标注与金标准进行比较时，该模型在正确识别的语码混合词元上的词性标注准确率达到了 97.0%，宏观 F1 分数（macro F1 score）为 76.8%。对于包含词元识别和词性分配的完整标注流程，LLM 的整体 F1 分数为 88.1%。

意义与贡献

本文声称有三大主要贡献：

资源创建： 引入了 PERCEPT，这是首个经过 UD POS 标签和主题标签标注的大规模波斯语–英语语码混合语料库，填补了低资源 NLP 资源的空白。
方法论框架： 提出了一个通过人工验证证明具有高可靠性的 LLM 辅助标注框架，为构建其他低资源语言的语言学标注语料库提供了可迁移的方法。
实证洞察： 进行了首次跨多个平台的大规模波斯语–英语语码混合实证分析，揭示了虽然名词普遍主导语码混合，但次要模式和触发效应深受特定上下文和平台性质（如电子商务 vs. 社交网络）的影响。

作者将 PERCEPT 定位为开发和评估波斯语词性标注器、语言识别系统及其他语法感知型 NLP 模型的基础资源。他们还指出，该数据集能够为研究波斯语–英语语码混合的结构和社会语言学属性提供便利。数据集和分析代码已公开，以促进进一步的研究。