Convergence in Science, Divergence in Religion: Calibrated Framing Differences Across Wikipedia's Language Editions

技術要約：Wikipediaの各言語版におけるフレーミングの差異の較正

問題提起
クロスリンガルなWikipediaの各言語版に関する従来の計算論的研究は、カバレッジ・ギャップ（すなわち、ある言語版には存在するが別の言語版には存在しない事実や記事はどれか）に焦点を当ててきた。これに対し、本論文は*フレーミングの乖離（framing divergence）*という問いに取り組む。具体的には、同一の概念に関する記事が複数の言語版に存在する場合、それらがどのように異なって記述されているかを調査する。著者は、言語版は異なる文化的背景を持つ個別の編集者コミュニティによって独立して執筆されており、その結果、文化的に負荷の高い領域（宗教、政治など）においては、確立された科学的知識と比較して顕著なフレーミングの差異が生じる可能性があると仮定している。

特定された重要な方法論的課題は、多言語文エンコーダー（LaBSE、MPNetなど）は、すべての言語ペアを等しく整列（アライメント）させるわけではないということである。概念の言語バージョン間の生の埋め込み距離（raw embedding distance）は、真のコンテンツの違いと、エンコーダーのアライメント品質によるアーティファクトの両方を反映してしまう。例えば、本論文では、「較正概念（calibration concepts）」（化学元素、数字など、安定した通文化的な指示対象を持つもの）においてさえ、言語ペア間の平均距離が、パーシア語–インドネシア語の0.107からヒンディー語–中国語の0.389まで、3.6倍の幅で変動することが指摘されている。さらに、生の距離には言語族によるバイアス（同族内では小さく、異なる族間では大きくなる）が存在する。これらのエンコーダー固有および言語族固有のアーティファクトを補正しなければ、分析は技術的なアライメントのノイズを文化的な乖離と誤認するリスクがある。

方法論
本研究では、3,000の概念–言語観測から導出された2,799の有効な記事を分析している。データセットの内訳は以下の通りである：

• 概念: 4つのドメイン（宗教、政治、科学/技術、ポップカルタ）にそれぞれ30個ずつ計120個の概念と、30個の較正セット（化学元素、数字、色、動物、自然種などの文化的負荷が最小限の項目）からなる計150概念。
• 言語: LaBSEエンコーダーによるサポートを確保しつつ多様性を最大化するように選択された、15の言語族および9つのスクリプトにわたる20の言語版。
• データ抽出: MediaWiki APIを介して記事のリードセクションを取得した。スタブ記事および曖昧さ回避ページは除外した。

中核となる指標：較正距離（Calibrated Distance）
本論文では、フレーミングの乖離をエンコーダーのアライメント・アーティファクトから分離するために、ベースライン調整された指標である較正距離を導入している。

1. 生の距離（Raw Distance）: 言語 $i$ と $j$ における概念 $c$ の生の距離 $d(c, i, j)$ は、$L2$正規化された平均プーリング文埋め込みを用いた $1 - \cos(v_{c,i}, v_{c,j})$ として計算される。
2. 較正フロア（Calibration Floor）: 各言語ペア $(i, j)$ について、両方の言語で利用可能な30の較正概念にわたる平均的な生の距離として、ベースライン $b(i, j)$ を算出する。
3. 較正距離（Calibrated Distance）: 最終的な指標 $e(c, i, j)$ は次のように定義される：
   $$e(c, i, j) = d(c, i, j) - b(i, j)$$
   正の値は、その概念が中立的なベースラインよりも異なってフレーミングされていることを示し、負の値は、より類似してフレーミングされていることを示す。

有意性テスト
結果が偶然やサンプリングによるアーティファクトではないことを確実にするため、著者は以下の手法を用いている：

• 置換テスト（Permutation Tests）: 構成バイアスを避けるために、較正ベースラインを毎回再計算しながら、ドメインラベルを10,000回シャッフルする。
• ブートストラップ分析: 概念ノードおよび言語ノードのブートストラップを用いて、概念選択や言語サンプリングの変動に対するランキングの安定性を評価する。
• マンテル検定（Mantel Tests）: 異なるドメイン間での距離行列の幾何学的構造を比較するために使用される。
• エンコーダーの堅牢性: データ特性とエンコーダー固有の挙動を区別するため、パイプラインを2つの追加エンコーダー（MPNetおよびCMLM）を用いて再現する。

主な結果

1. 較正の必要性: 生の距離は強い言語族効果を示している（同族内で0.177に対し、異なる族間で0.217）。較正後、この差は大幅に縮小し（同族内で+0.005、異なる族間で+0.001）、ベースライン調整がエンコーダーのアライメント・アーティファクトを効果的に除去したことを裏付けている。
2. ドメインレベルの乖離（LaBSE）:
   • 宗教: 有意にベースラインを上回っている（Holm調整済み $p=0.007$、+0.034）。
   • 科学/技術: ベースラインを大幅に下回っており（Holm調整済み $p=0.030$、−0.024）、中立的な概念よりも高いアライメントを示している。
   • 政治およびポップカルタ: 集計されたドメインとしては、ベースラインと有意な差はない。
3. 概念レベルのパターン:
   • 最も乖離が大きいもの: 儀式や制度的な宗教用語（犠牲、聖職者、殉教者、寺院）および特定の政治的に敏感な概念（検閲、難民）。
   • 最もアライメントされているもの: 確立された科学的知識（進化、DNA、量子力学）および規範的な理想（民主主義、人権）。
   • 政治的ニュアンス: 「政治」ドメインの平均はベースラインと同等であるが、乖離は特定の敏感な概念（例：検閲）に集中しており、「民主主義」や「人権」は高度にアライメントされている。
4. エンコーダーの堅禄性:
   • ランキングの一貫性: 3つのエンコーダー（LaBSE、MPNet、CMLM）すべてにおいて、宗教が最も乖離したドメインであり、科学/技術が最も少ないというランキングが一貫している。概念レベルのランキングは、エンコーダー間で強く相関している（Spearman $\rho = 0.75–0.79$）。
   • 大きさの相違: 宗教における正の有意性はLaBSEに特有である。MPNetおよびCMLMの下では、宗教の効果は正ではあるものの統計的に有意ではない。科学/技術は、3つのエンコーダーすべてにおいてベースラインを大幅に下回り続けている。

意義と主張
本論文は、真のコンテンツの乖離とエンコーダーのアーティファクトを区別する、クロスリンガルなフレーミングの差異を測定するための方法論的枠組みを提供すると主張している。コード、データ、および言語ペアごとの較正ベースラインを公開することで、著者は、技術的なアライメントの問題と文化的な違いを混同することなくフレーミングを測定することを可能にしている。

結果は、百科事典的な乖離が全ドメインで一様ではないことを示唆している。むしろ、その乖離は文化的に負荷の高い宗教的概念や特定の政治的に敏感なトピックに集中しており、確立された科学的知識や普遍的な理想は、言語版間で驚くほど一貫している。これは、Wikipediaで学習された多言語言語モデルにとって、言語に条件付けられた歴史的または文化的ナラティブが、科学的ドメインよりも宗教的および敏感な政治的ドメインにおいてより普及している可能性があることを示唆している。本論文は、これらの知見が、モデルのポストトレーニング効果とは異なる、データ側の起源によるものであることを明記している。

認められた限界
著者は、較正距離は相対的な尺度であり、絶対的な真理ではないことを述べている。それは、意味に関する真の相違と、概念の側面に対する強調の違いを区別することはできない。また、「中国語」版は、中国本土へのアクセス制限により、トランスナショナルなコミュニティ（台湾、香港、海外）を反映している。さらに、本研究はリードセクションに限定されている。最後に、宗教における顕著な正の効果はエンコーダー依存的（LaBSEでのみ観察される）であり、絶対的な大きさは異なる埋め込みモデル間で一般化すべきではないことを示唆している。