技術的サマリー：宗教的表現における欠落バイアス

問題定義

大規模言語モデル（LLM）が個人的、道徳的、実存的な問いに対する主要な指針源としてますます機能するようになる中、これらのシステムがユーザーの多様な価値観を反映しているかどうかを評価する必要性が極めて重要となっています。既存の研究は、ステレオタイプ、政治的傾向、有害なコンテンツなど「存在に基づく」バイアスを詳細に記録していますが、本論文は、欠落バイアス（omissive bias）と呼ばれる、表現上の害の明確な形態を特定しています。

著者らは、欠落バイアスを、整合された LLM が、質問に実質的に関連する視点、特に宗教的枠組みを提示するシステム的な失敗として定義しています。世界の人口の 75〜80% が何らかの宗教を信仰しており、多くの人々が悲嘆、許し、人間関係、道徳的ジレンマを乗り越えるために宗教的リソースに依存していることを踏まえると、日常的な倫理的質問に対する LLM の回答において宗教的言及が一貫して欠如していることは、「象徴的抹殺」の一種を構成します。本論文は、現在のアライメントプロトコルが、往々にして西洋的・世俗的合理主義を基準としており、宗教的枠組みがユーザーの文脈に極めて関連している場合であっても、それらを議論から意図せず消去している可能性があると指摘しています。

手法

AllFaith 宗教的表現ベンチマーク

欠落バイアスを操作化するため、著者らは 150 の自由回答形式の質問からなるAllFaith 宗教的表現ベンチマークを構築しました。

• 質問の収集: データセットは以下の 2 つの主要なソースから派生しました。
  1. WildChat-1M: 実際のユーザーと LLM の相互作用の大規模コーパスです。自動化パイプラインが候補となる質問を抽出し、その後、LLM による分類と手動キュレーションを通じてフィルタリングされました。これにより、宗教を明示的に言及していないが、宗教的視点が優れた回答の重要な一部となるような、真の重大な倫理的質問（悲嘆、結婚、誠実さなどに関するもの）が確保されました。
  2. 信仰コミュニティからの貢献: 多様性を確保し、WildChat データに内在する選択バイアスを軽減するため、ユダヤ教、LDS、プロテスタント、カトリックなど、さまざまな信仰伝統からのパートナーによって追加の質問がキュレーションされました。
• 質問の特性: 質問は「内面的な生活」（うつ病、依存症）、「人間関係」（許し、結婚）、「世界観と倫理」（意味、真理）などのテーマを網羅しています。重要なのは、これらの質問は宗教そのものに関するものではなく、宗教が複数の潜在的リソースの一つである個人的なジレンマである点です。

評価プロトコル

• モデルテスト: ベンチマークは、GPT-5 変種、Claude 4.6/4.7、Gemini 3.1、Llama 4、Grok 4 などを含む 27 の最先端およびオープンソースモデルに対して評価されました。
• LLM によるジャッジ評価基準: 回答は、LLM によるジャッジフレームワーク（具体的には Gemini 3.1 Pro Preview）を用いて評価されました。評価基準は意図的に低い基準に設定されました。
  • スコア 0: 宗教的表現なし。
  • スコア 1〜4: 宗教的言及、実践、または指導のレベルが増加。
  • 指標: 主要分析のため、スコアは二値化されました（0 = 宗教なし、1 = 宗教的言及あり）。
• 人間ベースライン: 「期待」のグラウンドトゥルースを確立するため、著者らは 1,125 人の米国参加者（n=11,250 の評価）を対象に調査を行いました。参加者は、回答に宗教的言及が含まれることを「期待する」かどうかについて、初期の 343 質問を 1〜5 段階で評価しました。最終的な 150 質問のベンチマークは、人間の期待とモデルの行動との間に最も顕著な不一致が見られた質問に基づいて選定されました。

主要な結果

体系的な過小表現

テストされた 27 のモデルすべてにおいて、LLM は人間の期待に比べて宗教を体系的に過小表現していました。

• 全体的なパフォーマンス: 全モデルにおける宗教的関連性の平均二値化評価は0.084でした。これは、約 91.6% のケースで、モデルが宗教的コンテンツを一切含まない回答を提供していたことを示しています。
• 人間とモデルのギャップ: 人間の期待は著しく高く、同じ質問に対する二値化スケール（1〜5 段階の調査から導出）での平均評価は約 0.63 でした。人間の期待とモデルの行動との相関は弱く（指標によって $r = 0.257$ から $0.441$）、モデルが宗教的関連性に関するユーザーの期待と整合していないことを示唆しています。

非対称的な欠落

宗教的枠組みの欠落は、トピック間で均一ではありませんでした。

• 抽象的対実践的: モデルは、世俗的な回答が不十分だと感じられる抽象的な実存的質問（例：「死後はどうなるのか？」「人生の意味とは何か？」）に対して、宗教を呼び起こす可能性が高かったです。
• 実践的ジレンマ: モデルは、悲嘆への対処、不倫への対応、配偶者への許しなど、実践的かつ対人関係的な状況では、宗教をほとんど呼び起こしませんでした。これらの領域では、宗教が歴史的に重要なコミュニティ的・儀式的支援を提供してきたにもかかわらず、モデルは世俗的、治療的、または手続き的な助言（祈り、告白、聖職者への相談ではなく、セラピーや自己内省を提案するなど）にデフォルトしました。

モデル間のばらつき

過小表現の傾向は一貫していましたが、モデル間にはばらつきがありました。

• 外れ値: Grok-4.20モデルは、他のモデルと比較して宗教的言及を行う傾向が著しく高いことが示されました。著者らは、これが Grok のトレーニングデータ（宗教的議論がより頻繁に行われるリアルタイムのソーシャルメディア・ディスコース（X）を含む）または異なるアライメント戦略によるものであると仮説を立てています。
• 一般的な傾向: OpenAI、Anthropic、Google のフラッグシップモデルを含むほとんどのモデルは、平均スコア 0.1 付近に集積しており、日常的な倫理的推論において宗教的枠組みを回避する均一な「安全」なアライメントを示唆しています。

意義と主張

本論文は、控えめながら重要な主張を掲げています：現在の LLM は、多くの人々が個人的および倫理的課題を乗り越える際に拠り所とする宗教的枠組みを反映する重要な機会を見落としています。

• 反宗教的バイアスではない: 著者らは明示的に、LLM が持つべき価値観を裁定しているわけでも、欠落が必ずしも悪意ある「反宗教的バイアス」であると主張しているわけでもないと述べています。その代わり、それは世俗的、治療的、または手続き的な助言を優先するアライメントインセンティブ、安全性ポリシー、トレーニングデータから生じる現れ特性である可能性が高いと論じています。
• 表現上の害: コミュニケーション理論（Gerbner & Gross）およびアルゴリズム的公平性（Crawford; Barocas et al.）に基づき、本論文は、世界の人口の大多数が持つ視点の欠如が、表現上の害を構成すると主張しています。文化的および個人的に関連する文脈において宗教的リソースを提示する失敗により、LLM は社会を形作るデジタル議論からこれらの枠組みを「抹殺」するリスクを負っています。
• 設計上の緊張: 著者らは、宗教を過剰に表現すると布教のように感じられる恐れがある一方で、過小表現すると数十億の人々にとって不可欠なリソースが抹殺されるという、LLM プロバイダーにおける設計上の緊張を浮き彫りにしています。彼らは、宗教的リソースを強制することなく、有効な選択肢として認めることを可能にする明確なポリシーで宗教を明示的に扱う戦略を提唱しています。

結論

AllFaith 宗教的表現ベンチマークは、欠落バイアスを主要な LLM 評価パラダイムとして初めて公式に操作化しました。結果は、LLM が抽象的な用語で宗教について議論する能力を持っている一方で、実践的・日常的な倫理的意思決定に宗教的枠組みを体系的に統合できず、人間の期待から著しく乖離していることを示しています。著者らは、LLM が人間の多様な道徳的生活を忠実に反映するためには、宗教的視点が文脈的に適切か、オプションか、無関係かを認識するように、より適切に較正されなければならないと結論付けています。