技術的概要：大規模言語モデルにおける説明の公平性

1. 問題定義

大規模言語モデル（LLM）における意思決定レベルの公平性（保護属性が不利益な結果と相関するかどうかへの焦点）に関する広範な研究が存在する一方で、説明の公平性に関する重要なギャップが存在する。本論文は、説明の公平性を、基礎となる意思決定が同一であっても、異なる人口統計グループに対して LLM が提供する正当化の質、深さ、トーン、言語的洗練度に体系的な変動が生じる現象として定義する。

著者らは、モデルがバランスの取れた意思決定を下しながらも、それらを不平等に説明しうる（例えば、あるグループには詳細で敬意ある正当化を提供し、別のグループには簡潔で軽視的な正当化を提供する）と主張する。この格差は意思決定の公平性とは区別されるものであり、特に個人が意思決定を理解し異議を唱えるのに十分な透明な正当化を義務付ける EU 人工知能法（第 13 条）を踏まえると、規制上の緊急性を帯びている。もし説明の質が体系的に少数派グループに対して低ければ、「説明を受ける権利」への遵守は損なわれる。

2. 手法

2.1 実験設計

本研究は、対応調査スタイルの監査研究における標準的な手法であるプロンプトテンプレート内での名前置換を用いた制御された実証的デザインを採用している。

• ドメイン: 4 つの重要な意思決定ドメインが選択された：採用、医療トリアージ、信用審査、法的判断。
• テンプレート: 80 のプロンプトテンプレートが作成された（ドメインあたり 20 個）。各ペアにおいて、シナリオの内容（資格、状況、意思決定の結果）は一定に保たれ、人口統計属性（名前）のみが変更され、異なるグループ（性別、人種、年齢、宗教、および交差性アイデンティティ）を表すように設定された。
• モデル: 5 つの LLM が評価された：GPT-4.1、Claude Sonnet、LLaMA 3.3 70B、GPT-OSS 120B、および Qwen3 32B。
• データ量: 全モデルにわたり最大 400 のプロンプトペアが評価された。意思決定関連説明指標については、各プロンプトに対して対照的な説明（同じシナリオにおける反対の意思決定を正当化するもの）を誘発し、忠実性の代理指標を計算した。

2.2 説明の公平性分類体系（EFT）

本論文は、5 つの形式的に定義され、操作可能な次元からなる実用的な枠組みである**説明の公平性分類体系（EFT）**を導入する。これらの次元は、モデル内部へのアクセスなしにブラックボックス指標によって測定可能である。

1. 詳述度の格差: 単語数と詳述の深さ（文埋め込みクラスタリングを通じて特定された意味的に異なる理由の数）によって測定される。
2. 感情の格差: 感情的価（陽性、陰性、中性）を評価する VADER 複合スコアによって測定される。
3. 認識的留保の格差: 「かもしれない」「おそらく」「不確実」などの不確実性マーカーの頻度を定量化する重み付け語彙ベース指標である**留保密度スコア（HDS）**によって測定される。
4. 意思決定関連説明の格差: **説明の忠実性代理指標（EFP）**によって測定される。このヒューリスティックは、同じシナリオにおける意思決定（$d$）の説明と、反対の意思決定（$\neg d$）の説明との間の構造的な非類似性（埋め込みのコサイン距離を通じて）を計算する。低い EFP は、説明が意思決定に対して不変であることを示唆し、真の推論の欠如を示す。
5. 語彙的複雑性の格差: フレッシュ・キンケイド読解レベル（FKGL）、タイプ・トークン比（TTR）、およびドメイン用語密度によって測定される。

2.3 統計分析

格差は、人口統計ペア間の絶対差を用いて定量化された。統計的有意性は、1 標本ウィルコクソンの符号付き順位検定を用いてテストされ、効果量はコーンの$d$を通じて計算された。多重比較はベニヤマン・ホッホバーグ（BH）法を用いて補正された。

3. 主な貢献

1. 操作可能な分類体系: 説明レベルの格差の 5 つの明確で測定可能な次元を提供する EFT の定義。
2. 新規指標: モデルの重みや内部アクセスを必要とせず、説明の公平性を監査するための実用的なブラックボックスヒューリスティックとしての HDS と EFP の導入。
3. 実証的ベンチマーク: 80 のプロンプトテンプレート、4 つのドメイン、5 つの LLM にわたる大規模研究であり、結果はすべての指標において体系的な格差を示している。
4. 緩和分析: 展開レベルの指示がこれらの問題を解決できるかどうかを判断するため、最も格差の大きいモデルに対する 2 つのプロンプト介入（「盲」および「公平性」指示）の評価。

4. 主要な結果

4.1 格差の存在（RQ1）

8 つの EFT 指標すべて（語彙的複雑性のサブ指標を含む）が、すべてのプロンプトペアにおいて統計的に有意な格差を示した（$p_{BH} < 10^{-62}$）。効果量（コーンの$d$）は小から大まで様々であった。

• 大効果: 語彙的複雑性（FKGL、$d=0.856$）および認識的留保（HDS、$d=0.810$）。
• 中効果: 詳述の深さ、感情、TTR、ドメイン密度、および EFP（$d \approx 0.57–0.77$）。
• 小効果: 詳述度（単語数、$d=0.457$）。
  格差の分布は右に歪んでおり、平均的な格差は中程度であったが、特定の人口統計ペアは極端な不平等を示していたことを意味する。

4.2 人口統計軸（RQ2）

格差は人口統計軸によって異なったが、単一の均一な害のパターンに従わなかった。

• 宗教: 平均格差が最も高く（$d=0.822$）、特に詳述の深さや語彙的複雑性において顕著であったが、この軸のサンプルサイズは小さかった（$n=40$）。
• 方向性: 格差の方向は均一ではなかった。例えば、ムスリムの名前を持つ応募者は、キリスト教徒の名前を持つ応募者に比べて、有意に短く、詳述の少ない説明を受けた。一方、女性応募者は男性応募者に比べて長く、より詳述された説明を受けたが、これはより陽的な感情とは相関していなかった。

4.3 モデルのばらつき（RQ3）

モデルの選択は格差の大きさとは強く関連していた。

• Qwen3 32B: 最も高い格差を示し、詳述度の格差は LLaMA 3.3 70B の5.9 倍大きかった。同一のシナリオにおいて、ある人口統計グループに対しては最小限の出力を生成し、別のグループに対しては詳細な応答を生成することが頻繁に見られた。
• GPT-OSS 120B: EFP 代理指標において最も高い格差を示し、特に法的ドメインにおいて、あるグループに対する説明が意思決定の変化に対して鈍感であることを示唆した。
• GPT-4.1 および LLaMA 3.3 70B: 最も公平なモデルであり、それぞれ 4 位と 5 位にランクしたが、それでも統計的に有意な格差を示していた。

4.4 プロンプトによる緩和（RQ4）

Qwen3 32B および GPT-OSS 120B に対して 2 つのプロンプト介入（「盲」と「公平性」）がテストされた。

• EFP 代理指標: 両方の介入により、EFP 格差が有意に減少した（78–95%）。しかし、著者はこれが曖昧であると指摘する。これはより一貫した意思決定への感応性を示す可能性もあるが、単に均一に一般的な説明を生成しているだけかもしれない。
• 様式的次元: どちらの介入も、詳述度、感情、留保、または語彙的複雑性の有意な減少をもたらさなかった。場合によっては、格差が増加した（ただし統計的には有意ではなかった）。
• 結論: プロンプトのみでは、様式的な説明の不平等を解決するには不十分である。

5. 意義と主張

本論文は、説明の公平性が、意思決定の公平性とは別に、AI 安全性の独立した、測定可能で、法的帰結を伴う次元であると主張する。

• 規制への示唆: 調査結果は、組織が EU 人工知能法の「文字通り」の要件（説明を提供すること）を満たしながらも、その「精神」（同等の質とアクセシビリティを持つ説明を提供すること）には失敗する可能性があることを示唆している。EFT は、2026 年の施行ウィンドウ前にこれらの非対称性を検出するための再現可能なブラックボックス監査枠組みを提供する。
• 展開ガイダンス: 本研究は、モデル選択を最もレバレッジの高い介入として特定している。実務家は、単純なプロンプト戦略では様式的な格差を解決できないとアドバイスされており、これらのギャップに対処するには、おそらく対照的にバランスの取れたデータやターゲットとした微調整などのトレーニングレベルの介入が必要である。
• 限界: 著者は明示的に、EFP は人間の検証を必要とするヒューリスティックな代理指標であること、本研究は人間による評価のグラウンドトゥルースなしに自動化された指標に依存していること、そして名前置換デザインは特定の人口統計属性への因果帰属ではなく相関的なシグナルを捉えていることを述べている。

要約すると、本論文は、LLM が人口統計的な枠組みに基づいて意思決定を体系的に異なって正当化すること、これらの格差がモデルやドメインにわたって頑健であること、そして展開レベルのプロンプトでは容易に修正できず、トレーニングレベルの修復と厳格な自動化監査への転換が必要であることを確立している。