💬 NLP

Framing Political Bias in Multilingual LLMs Across Pakistani Languages

本文对 13 个最先进的大型语言模型在五种巴基斯坦语言中的表现进行了系统性评估，结果表明，虽然这些模型普遍反映出西方自由左翼偏见，但在区域性语言中却表现出独特的、受语言调节的威权主义框架，从而凸显了对具有文化根基的多语言偏见审计框架的迫切需求。

原作者： Afrozah Nadeem, Mark Dras, Usman Naseem

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Afrozah Nadeem, Mark Dras, Usman Naseem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一群非常聪明、博学多才的机器人（大语言模型，简称 LLM）。它们几乎读过了所有英文著作，擅长回答问题、写故事和辩论。然而，它们读到的绝大部分内容都来自美国、英国等西方国家。

这篇论文就像是一次文化现实检查。研究人员在问：“这些机器人是否理解巴基斯坦的政治和文化细微差别，还是仅仅将西方的思想强加于巴基斯坦语言之上？”

以下是利用简单类比对研究结果进行的拆解：

1. 问题所在：“一刀切”的西装

把这些 AI 模型想象成裁缝在做西装。他们有一套为英语使用者量身定制的完美西装（西方语境）。但当他们试图为说乌尔都语、旁遮普语、信德语、帕什图语或俾路支语的人制作西装时，他们只是把那件英文西装缩小了而已。

研究人员发现，虽然这些机器人在说英语时通常表现得非常“自由派”（进步/左倾），但当它们切换到巴基斯坦语言时，行为就开始发生变化。

类比： 这就像一个人在伦敦的派对上非常开明、随性，但一走进巴基斯坦的一个传统村庄，就会突然变得非常严厉并恪守教条。机器人并不是改变了想法，它只是在对它所穿着的“语言外衣”做出反应。

2. 实验过程：“政治指南针”测试

为了测试这一点，团队使用了一个著名的测试，叫做政治指南针测试 (PCT)。想象一张巨大的地图，上面有四个角落：

左上： 自由派/左翼（自由经济、进步社会观点）
右上： 保守派/右翼（自由经济、传统社会观点）
左下： 威权派/左翼（国家控制、进步社会观点）
右下： 威权派/右翼（国家控制、传统社会观点）

他们将该测试中的 62 个问题翻译成五种巴基斯坦语言，并要求 13 个不同的 AI 模型进行回答。他们还要求模型就 11 个敏感话题（如死刑、亵渎神圣法和少数群体权利）撰写新闻标题。

3. 研究发现：“语言切换”效应

结果令人惊讶，并显示出清晰的模式：

英语基准： 当机器人说英语时，它们大多落在自由意志主义-左翼角落。它们听起来非常西方化、进步且关注个人自由。
巴基斯坦式的转变： 当同一批机器人说乌尔都语、旁遮普语或信德语时，它们发生了偏移。
- 有些变得更加威权-左翼。这意味着它们开始表现出支持强力政府控制和国家责任的倾向，这是当地政治话语中的一个常见主题。
- “死刑”案例： 论文强调了一个具体案例：当一个机器人用乌尔都语讨论死刑时，它使用了宗教和文化词汇。一个受西方训练的检测器可能会因为不理解文化背景，而误认为它在“支持暴力”。实际上，机器人是在反映一种当地的视角，而这种视角是西方检测器无法“解读”的。

4. “框架”分析：它们是如何表达的

研究人员不仅观察了机器人说了什么（立场），还观察了它们是如何说的（框架）。

新闻标题测试： 他们要求机器人针对各种议题撰写支持和反对的标题。
- 结果： 机器人根据语言的不同使用了不同的“镜头”。
- 例子： 在讨论少数群体权利时，一些机器人侧重于机构（如最高法院或国家），听起来非常官方且具有等级制度；另一些则侧重于个人故事和人权。
- 语气： 对于亵渎神圣或堕胎等敏感话题，机器人的语气显得非常负面且具有分歧性；对于教育等话题，它们则显得充满希望。

5. 解决方案：“文化微调”

论文还测试了如果对一个机器人进行专门针对乌尔都语的“微调”（即教它更多关于当地文化的内容）会发生什么。

类比： 这就像带一个只在伦敦学习过的学生去巴基斯坦的一所当地大学交换一个学期。
结果： 这些经过“文化微调”的机器人变得更加平衡和中立。它们不再在极端之间剧烈摆动，而是给出了更符合当地语境、感觉更公平的答案。

核心要点总结

论文认为，语言不仅仅是一种代码；它承载着文化。

如果你使用受西方训练的 AI 来讨论巴基斯坦的政治，它可能会在无意中扭曲对话。它可能听起来过于“西方”，或者将当地的文化价值观误解为偏见。研究人员构建了一套新的工具包来衡量这种跨语言的“政治偏见”，以便开发者能够构建尊重当地文化、而非强加外国世界观的 AI。

简而言之： 论文表明，AI 并非政治中立的；它的“政治倾向”会随着所使用的语言而改变，我们需要在每种语言中检查其“政治指南针”，以确保公平。

技术摘要：多语言大语言模型（LLM）中巴基斯坦语种的政治偏见框架化研究

问题陈述
尽管大语言模型（LLMs）正日益影响公共话语，但对政治和经济偏见的评估主要集中在资源丰富的西方语言上。这在巴基斯坦等低资源、多语言地区造成了关键的盲点，在这些地区，语言身份与政治、宗教及区域意识形态密不可分。现有的偏见检测工具通常依赖于西方政治分类法，无法解释低资源语言中意识形态的框架化表达。因此，LLMs 可能会将具有文化根基的陈述（例如，传统的正义原则）误解为支持暴力或偏见，从而扭曲公民话语并边缘化少数群体观点。目前缺乏系统性的框架来审计乌尔都语、旁遮普语、信德语、普什图语和俾路支语这五种主要巴基斯坦语言中的政治偏见。

研究方法
作者提出了一种创新的、具有文化根基的框架，该框架将意识形态立场检测与多层级叙事框架分析相结合。该方法由三个主要部分组成：

文化适配的政治罗盘测试 (PCT)：
- 研究改编了标准的 62 个陈述组成的 PCT，并将其翻译并针对五种巴基斯坦语言进行了文化验证。
- 该框架将模型响应映射到二维意识形态空间：经济价值观（左翼 vs. 右翼）和社会价值观（自由意志主义 vs. 威权主义）。
- 采用两阶段计算方法量化立场：首先，根据分类器置信度计算标量得分（从“强烈同意”到“强烈反对”）；其次，将此得分离散化为序数类别，从而将模型投影到 $(S_{eco}, S_{soc})$ 平面上。
- 数据集包含由 13 个先进的 LLMs（包括开源和闭源模型）生成的 4,030 条响应，涵盖五种语言，并经由母语使用者验证，Fleiss' kappa 系数为 0.99。
意识形态框架分析：
- 为了捕捉模型如何表达偏见，作者生成了一个包含约 444,340 条新闻标题的语料库，涉及 11 个具有政治敏感性的主题（如亵渎法、死刑、LGBTQ 权利、少数群体权利）。
- 内容框架： 使用 GPT-3.5-turbo 通过 Boydstun 的 15 个交叉维度（如道德、经济、文化身份）对标题进行分类，以确定主导的叙事策略。
- 基于实体的分析： 使用多语言 BERT 模型进行命名实体识别（NER），提取政治人物和机构。研究计算了实体的显著性和情感极性（使用经过微调的 XLM-RoBERTa），以识别哪些行为体被强调以及他们是如何被描绘的（正面/负面/中性）。
实验设置：
- 研究使用零样本提示（zero-shot prompting）评估了 13 个 LLMs。
- 研究包含了针对“文化适配型”模型（基于乌尔都语微调）的专门分析，以将其偏见得分与标准 SOTA 基准进行比较。
- 使用五个语义等价但指令不同的提示变体进行鲁棒性测试。

核心贡献

首次大规模评估： 这是首个针对五种巴基斯坦语言（乌尔都语、旁遮普语、信德语、普什图语、俾路支语）进行大规模政治偏见评估的研究。
新颖框架： 作者引入了第一个将用于意识形态定位的 PCT 与叙事框架分析（内容、风格和实体焦点）相结合的框架，专门针对巴基斯坦政治话语。
文化适配： 提供了一个经过文化适配的 PCT，其翻译经过人类验证，涵盖了植根于当地话语的 11 个主题，超越了通用的西方工具。
全面的数据集： 发布了一个包含 PCT 翻译和用于偏见分析的海量标题生成语料库的金标准多语言数据集。

结果

语言调节下的意识形态变化： 虽然 LLMs 在英语中主要反映出与西方训练数据一致的自由派左翼取向，但在巴基斯坦语言中表现出显著偏移。例如，GPT 模型在英语中倾向于采取自由意志主义左翼立场，但在乌尔都语和旁遮普语等区域语言中，会转向威权主义左翼或威权主义右翼立场。
区域语言中的威权主义框架： 与英语相比，模型在区域语言中表现出更多的威权主义框架，这表明语言选择激活了特定的文化意识形态偏移。
模型特定模式：
- Claude 在不同语言中始终表现出最强的自由意志主义立场。
- GPT-4-turbo 在经济上最为偏左。
- 开源模型（如 Mistral, DeepSeek）通常保持较多的自由主义自由意志主义倾向，而微调后的乌尔都语模型在某些语境下显示出向威权主义右翼转变的趋势。
- BERT 变体 在各种语言中都倾向于右翼。
框架与情感：
- 在讨论宗教少数群体时，模型表现出不同的“文化身份”框架的使用。倾向于威权主义的模型倾向于通过制度和地理等级制度（强调国家）来构建少数群体权利的框架；而倾向于自由意志主义的模型则纳入更广泛的法律框架和区域经验。
- 情感分析显示，亵渎法和死刑等敏感话题引发了压倒性的负面情感，而教育和语言政策等话题则显示出更积极或充满希望的基调。
微调的影响： 文化适配（微调）后的模型比 SOTA 基准产生了更平衡、更中心化的响应，偏见得分较低，这表明文化到语言的适配可以促进政治中立。

意义
本文认为，LLMs 中的政治偏见不仅仅是一个翻译问题，而是语言语境与文化意识形态之间复杂的相互作用。研究结果表明，西方政治框架可能会误解本地的思想，从而可能加剧低资源语言使用者的不平等。通过将 PCT 与叙事框架维度相结合，本研究提供了一种可复现的方法论，用于诊断多语言 LLMs 的政治偏见。作者总结道，为语言多样化社会构建公平、包容的 AI 系统，需要建立具有文化根基的评估框架，超越以西方为中心的假设，以确保公平且负责任的 AI 部署。