Convergence in Science, Divergence in Religion: Calibrated Framing Differences Across Wikipedia's Language Editions

技术摘要：维基百科不同语言版本间的校准框架差异

问题陈述
以往关于跨语言维基百科版本的计算研究主要集中在“覆盖差距”（即一个版本中存在而另一个版本中不存在的事实或条目），而本文探讨的是“框架分歧”（framing divergence）问题。具体而言，本文研究了当同一概念在多个版本中都存在时，不同的语言社群是如何以不同方式描述该概念的。作者认为，语言版本是由不同的编辑社群独立编写的，这些社群借鉴了不同的文化背景，因此在文化负载型领域（如宗教、政治）可能会产生显著的框架差异，而在成熟的科学知识领域则不然。

文中识别出的一个关键方法论挑战是，多语言句子编码器（如 LaBSE、MPNet）并不能同等程度地对齐所有语言对。原始的嵌入距离反映的不仅是语言版本间真实的内涵差异，还包含了编码器对齐质量产生的伪影。例如，论文指出，即使对于具有稳定跨文化内涵的“校准概念”（如化学元素、数字），语言对之间的平均距离也会有显著差异（从波斯语–印尼语的 0.107 到印地语–中文的 0.389）。此外，原始距离表现出一种语言家族偏差（语系内部距离较小，语系之间距离较大）。如果不针对这些编码器特有的及语言家族特有的伪影进行修正，分析可能会将技术对齐噪声误认为是文化分歧。

研究方法
本研究分析了源自 3,000 个“概念–语言”观测值的 2,79 ever 篇有效条目。数据集涵盖：

• 概念： 四个领域（宗教、政治、科学/技术、流行文化）各 30 个概念，共 150 个概念；另有 30 个文化负载极低的校准集概念（化学元素、数字、颜色、动物、自然类）。
• 语言： 选用了来自 15 个语系的 20 个语言版本和 9 种脚本，旨在最大化多样性，同时确保 LaBSE 编码器的支持。
• 数据提取： 通过 MediaWiki API 获取条目的导言部分（Lead sections）。剔除了短条目（Stub articles）和消歧页面。

核心指标：校准距离
论文引入了一种基于基准调整的指标——校准距离（calibrated distance），用以将框架分歧从编码器对齐伪影中分离出来。

1. 原始距离： 对于语言 $i$ 和 $j$ 中的概念 $c$，原始距离 $d(c, i, j)$ 计算为 $1 - \cos(v_{c,i}, v_{c,j})$，其中向量为 L2 归一化的均值池化句子嵌入。
2. 校准底线： 对于每个语言对 $(i, j)$，计算其基准 $b(i, j)$，即在两种语言都具备的 30 个校准概念上的平均原始距离。
3. 校准距离： 最终指标 $e(c, i, j)$ 定义为：
   $$e(c, i, j) = d(c, i, j) - b(i, j)$$
   正值表示该概念的框架差异高于中性基准；负值则表示其框架更为一致。

显著性检验
为了确保结果并非偶然或采样偏差，作者采用了：

• 置换检验（Permutation Tests）： 对领域标签进行 10,000 次随机打乱，并在每次迭代中重新计算校准基准，以避免构建偏差。
• 自助法分析（Bootstrap Analyses）： 通过概念节点和语言节点自助法，评估排名相对于概念选择和语言采样变化的稳定性。
• Mantel 检验： 用于比较不同领域间距离矩阵的几何结构。
• 编码器鲁棒性： 使用另外两个编码器（MPNet 和 CMLM）对流程进行复制，以区分数据属性与编码器特定的行为。

主要结果

1. 校准的必要性： 原始距离显示出强烈的语言家族效应（语系内 0.177 对比语系间 0.217）。校准后，这一差距显著缩小（语系内 +0.005 对比语系间 +0.001），证实了基准调整有效地消除了编码器对齐伪影。
2. 领域级分歧（LaBSE）：
   • 宗教： 显著高于校准基准（+0.034，Holm 调整后 $p=0.007$）。
   • 科学/技术： 显著低于基准（−0.024，Holm 调整后 $p=0.030$），表明其一致性甚至高于中性概念。
   • 政治与流行文化： 作为整体领域，与基准并无显著差异。
3. 概念级模式：
   • 最具分歧性： 仪式性和制度性的宗教术语（牺牲、教士、殉道者、寺庙）以及特定的政治敏感概念（审查制度、难民）。
   • 最一致性： 成熟的科学知识（进化、DNA、量子力学）和经典理想（民主、人权）。
   • 政治细微差别： 虽然“政治”领域在总量上趋于基准水平，但分歧集中在特定敏感概念（如审查制度）中，而“民主”和“人权”则高度一致。
4. 编码器鲁棒性：
   • 排名一致性： 三个编码器（LaBSE、MPNet、CMLM）一致将宗教列为最具分歧性的领域，将科学/技术列为最不具分歧性的领域。概念级的排名在不同编码器间具有强相关性（Spearman $\rho = 0.75–0.79$）。
   • 量级差异： 宗教领域的正向效应在统计学上仅在 LaBSE 中具有显著性。在 MPNet 和 CMLM 下，宗教效应虽为正值但并不显著。科学/技术领域在所有三个编码器中均显著低于基准。

意义与主张
本文声称提供了一个衡量跨语言框架差异的方法论框架，能够区分真实的内涵分歧与编码器伪影。通过发布代码、数据及每种语言对的校准基准，作者使未来的研究能够在不混淆技术对齐问题与文化差异的前提下测量框架。

结果表明，百科全书式的分歧在不同领域间并非均匀分布。相反，它集中在具有文化负载性的宗教概念和特定的政治敏感话题中，而成熟的科学知识和普世理想在不同语言版本间保持了惊人的高度一致。这意味着对于在维基百科上训练的多语言语言模型而言，在宗教和敏感政治领域，受语言调节的历史或文化叙事可能比科学领域更为普遍。论文明确指出，这些发现反映了数据侧的起源，而非模型后训练阶段的效果。

承认局限性
作者指出，校准距离是一种相对度量，而非绝对的真实值（ground truth）。它无法区分是真实的意义分歧，还是对概念不同侧面的侧重差异。此外，“中文”版本由于访问限制，反映的是一个跨国社群（台湾、香港、海外）。最后，显著的正向宗教效应是依赖于编码器的（仅在 LaBSE 中观察到），这表明绝对量级不应在不同的嵌入模型间进行泛化。