Investigating Bias in Bulgarian in the Context of Large Language Models

技术摘要：调查大语言模型背景下的保加利亚语偏差

问题陈述
大语言模型（LLMs）经常反映并放大其训练数据中存在的社会偏差。虽然在英语等高资源语言领域已有大量研究，但在偏差检测方法、数据集和词汇资源方面，针对保加利亚语等低资源语言仍存在严重的空白。本文旨在解决以下问题：缺乏适用于人类和 LLM 的统一偏差定义；缺乏特定于保加利亚语的偏差词典；以及 LLM 是否能在特定文化语境下可靠地与人类对偏差感知的判断保持一致。本研究提出了三个核心问题：操作性的偏差定义能否确保人类和 LLM 的一致性？人类标注者对偏差感知是否达成共识？LLM 是否与人类判断一致？如果不一致，其差异点及原因何在？

研究方法
本研究采用了一种结合词汇资源构建、数据集创建、人工标注和 LLM 评估的多阶段方法。

1. 词汇资源构建： 通过手动编译并利用保加利亚语 WordNet 和 SentiWordNet 对“保加利亚语偏差词典”进行了扩展。该词典包含 3,786 条条目，分为五种偏差类型（性别、宗教、种族/族裔、外貌、残疾）及一个通用类别。条目包括偏差信号词和偏差标记词，并标注了词性、偏差极性、语体（如贬义、口语化）及评价强度等属性。
2. 数据集创建： 从 2025 年 12 月的保加利亚语维基百科（文章及讨论页）中提取了 3,177 个句子。句子经过预处理（分词、词干提取），并初步使用基于词典的算法进行评分。该算法根据偏差信号词和偏差标记词在 10 个 token 窗口内的评价强度、极性和接近度来计算句子层级的得分。
3. 人工标注： 两名保加利亚母语使用者对句子中是否存在偏差以及偏差强度进行了人工标注，采用 0（无偏差）到 5（强偏差）的定序量表，涵盖五个偏差类型及一个“其他”类别。标注者间一致性（IAA）通过加权 Cohen's $\kappa$、Krippendorff's $\alpha$ 和类内相关系数（ICC）进行衡量。
4. LLM 评估： 对三个 LLM 进行评估，并将其与人工标注进行对比：
   • Gemma 4： 一个多语言指令微调模型，其预训练语料库中包含保加利亚语。
   • BgGPT-Gemma-3： 一个基于 Gemma 3 的保加利亚语适配模型（12B 参数），使用英语和保加利亚语进行提示测试。
   • Qwen 3： 一个多语言模型（8B 参数），具有斯拉夫语覆盖能力，但没有明确的保加利亚语微调。
     这些模型的任务是检测偏差并分配强度得分。人类与 LLM 之间的一致性使用与人类间一致性相同的指标进行评估。

主要贡献

• 保加利亚语偏差标注数据集： 创建了一个包含 3,177 个句子的手动标注数据集，涵盖五种特定的偏差类型，为低资源语言的偏差检测提供了基准。
• 保加利亚语偏差词典： 一个结构化的词汇资源，包含 3,786 条条目，旨在识别特定于保加利亚语的偏差信号和评价标记。
• 偏差的操作性定义： 一个适用于人类和机器评估的句子级偏差工作定义，考虑了系统性的非中立态度。
• 人类-LLM 一致性的实证分析： 全面评估了在低资源、特定文化环境下，当前 LLM 与人类判断的一致程度，揭示了两者在检测和强度评分方面的显著分歧。

结果

• 人类-人类一致性： 标注者在偏差的二元分类（有偏差 vs 无偏差）上表现出高度一致，不匹配率仅为 4.9%，加权 $\kappa$ 为 0.863。然而，在强度评分（0–5 量表）上的一致性较低，特别是对于非零案例，Krippendorff's $\alpha$ 平均为 -0.160，表明在具体强度得分上的分歧大于随机概率。
• 人类-LLM 一致性： 所有 LLM 均显示出与人类判断的实质性分歧。
  • 不匹配率： 在二元任务中，LLM 的不匹配率在 24% 到 34% 之间，而人类仅为 4.9%。
  • 一致性指标： 人类与 LLM 之间的加权 $\kappa$ 值在 0.108（Qwen 3）到 0.255（Gemma 4）之间波动，处于轻微到一般水平。
  • 强度评分： LLM 系统性地分配了比人类更低的强度得分。所有模型的非零一致性指标 ($\alpha_{nz}$) 均为负值，这表明当 LLM 标记出偏差时，它们标记的句子或分配的严重程度往往与人类不同。
• 模型特定发现：
  • 提示语言： 使用保加利亚语提示词提高了 BgGPT-Gemma-3 与人类判断的一致性（将偏差重叠度从 12.8% 提高到 21.6%，并降低了不匹配率）相比于英语提示词。
  • 偏差类型差异： LLM 在“外貌”和“残疾”类别上的表现相对较好（可能归功于显性的词汇标记），但在依赖微妙文化和语境线索的“性别”和“宗教”类别上表现较差。
  • 模型聚类： Gemma 系列模型（Gemma 4 和 BgGPT 变体）聚集在一起，表明它们具有来自预训练谱系的共同偏差，而 Qwen 3 则形成了一个独立的簇，且一致性最低。

意义与主张
本文主张，目前的 LLM 无法作为人类标注者的可靠替代品，特别是在低资源语言和特定文化语境下。研究结果强调：

1. 偏差感知具有文化定位性： LLM 在处理需要语用和文化能力的偏差（如性别角色、宗教实践）时表现挣扎，而在处理词汇显性的偏差时表现较好。
2. 提示语言至关重要： 使用目标语言进行提示可以显著提高 LLM 与人类文化期望的一致性，这表明提示语言是一个关键的实验变量，而非仅仅是实现细节。
3. 需要扎根于本土的资源： 研究强调了为低资源语言建立具有文化根基的词汇资源和标注方法的必要性，仅靠多语言模型的迁移学习不足以捕捉特定的偏差模式。
4. 方法论上的谨慎： 高度的 LLM 间一致性不应被解释为标注质量的代理指标，因为模型可能共享其训练数据中的系统性偏差，而非收敛于人类的社会判断。

作者总结道，虽然 LLM 可以部分复制二元偏差检测，但在强度评分和类别敏感度方面存在显著分歧。未来的工作应侧集于使用目标语言偏差语料库进行微调，将文化语境整合进提示词中，并扩展数据集到多样化领域，以提高低资源环境下的公平性和性能。