テクニカル・サマリー：誰が生成されるべきか？ 開放型生成におけるデモグラフィック・ターゲットの正当化

1. 問題提起：欠落したターゲット問題

本論文は、開放型生成モデル（テキストおよび画像）の公平性評価における根本的なギャップを扱っている。既存の公平性監査は、モデルの出力のデモグラフィック構成を特定のターゲット分布と比較して測定するが、通常、そのターゲットは供給されているか、あるいは自明であることを前提としている。これにより、**「欠落したターゲット問題（missing-target problem）」**が生じる。プロンプトが役割と場所を指定しているものの、デモグラフィック属性（例：性別、人種）が指定されていない場合、モデルは経験的な分布（$\hat{q}_k$）を生成するが、それに対して評価を行うための正当化された基準（$P^*$）が存在しないのである。

著者らは、古典的なグループ公平性基準（例：デモグラフィック・パリティ、等価オッズ）は、入力側のセンシティブな属性や既存の個人に関する決定を前提としていると主張する。これらの基準は、グラウンドトゥルースとしてのアイデンティティが存在しない架空の生成において、集計された出力側のターゲットを選択するものではない。その結果、現在の評価は、なぜそれらの特定の分布が評価を支配すべきなのかという正当化を行うことなく、現在の職業構成や等カテゴリ分布を暗黙的にターゲットとして採用してしまうことが多い。

2. メソドロジー：4つのコミットメント・フレームワーク

著者らは、ターゲットの構築を、4つの論理的に異なるコミットメントを必要とする、評価の独立したタスクとして定式化している。このフレームワークは、ターゲットの「構築」と公平性の「判定」を分離している。

2.1 4つのコミットメント

1. 評価対象、用途、および出力単位：

   • 対象（Object）： 特定の現実の人物を予測する正確性ではなく、繰り返される生成における表象の可能性の分布である。
   • 用途（Use）： 本研究では、「現代の公的世界での使用（contemporary public-world use）」を宣言しており、名前のある社会的世界において、ある役割の保持者となる可能性がどのように分布するかを問うている。
   • 単位（Unit）： 生成された各フォーカル・キャラクター（焦点となる登場人物）は、一つの出力観測値である。

2. 事前許容性（関係の特定と防御）：

   • デモグラフィックな事前分布（例：人口構成、労働力構成）は、その関係性を評価者が特定し、なぜその関係性が特定された人物に**「表象上の地位（representational standing）」**を付与するのかを防御した場合にのみ、許容される。
   • 地理的メンバーシップ： 公的世界での使用においては許容される。プロンプトの場所は、表象されるパブリック（公衆）を特定するものであり、役割はそのパブリックのメンバーであるかどうかを制限しない。
   • 職業的現職性（Occupational Incumbency）： 現職解釈の下では、公的世界での使用においては許容されない。現在の労働力構成は、労働市場プロセス（教育、差別、障壁）の結果として生じるダウンストリームの事象であり、独立した目的（例：労働力シミュレーション）なしには、表象の基準として自己正当化できない。

3. 配分（Allocation）：

   • ドメインが許容された後、表象の質量をどのように分割するかをルールで決定する。
   • 等人的配分（Equal-Person Allocation）： 防御された配分に関連する区別が存在しない場合、許容されたパブリックのメンバーは等しい重みを受ける。これは、カテゴリのシェアが、許容されたパブリックの人口シェアに比例する形となる。
   • 役割不変性（Role Invariance）： この構築の下では、ターゲットは役割不変である（$P^*(A=a|G,R) = P^*(A=a|G)$）。なぜなら、役割は許容されたパブリックや配分ルールを変更しないからである。

4. 操作化（Operationalization）：

   • 抽象的なターゲットは、宣言されたタクソノミー、マッピング、および参照ソース（例：国勢調査や国連統計による居住人口データ）を用いてインスタンス化される。
   • 本論文は、「許容性（admissibility：規範的正当化）」と「測定の妥当性（measurement adequacy：ソースのプロキシが許容されたパブリックを正確に測定しているか）」を区別している。

2.2 ブリッジ前提（The Bridge Premises）

本論文は、操作的スコア（operational score）（構築されたターゲット $P^*_{geo}$ と $\hat{q}_k$ の間の計算された乖離）と、公平性エスティマンド（fairness estimand）（徹底的に正当化されたターゲット $P^\dagger$ からの理論的な偏差）を区別している。

• 前提 A： 組成上の不公平とは、モデルの限界組成と、徹底的に正当化されたターゲットとの間の偏差として定義される。
• 前提 B： 操作的スコアは、この公平性エスティマンドを適切に推定する。本論文は、これには3つの置換（有限の生成、ソースプロキシ、および非網羅的な構築空間）が必要であり、これらが完全に解決されたとは主張していないことを認めている。

3. 実験セットアップ：AP-Bench

このフレームワークを具体化するために、著者らは AP-Bench を導入している。これは、6つのフロンティアモデル（GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash, Kimi K3, Llama 4 Maverick, Qwen3.7-Max）からの51,840件の生成で構成されている。

• 範囲： 12の地理的コンテキスト、6つの役割（CEO、医師、看護師、エンジニア、教師、清掃員）、およびセルあたりの30サンプル。
• 属性： 人種/民族、宗教、性的指向、およびジェンダー・性別診断。
• プロンプティング： 暗黙的なプロンプト（デモグラフィック未指定）と、共同抽出プロンプト（デモグラフィックが明示的に要求されているが、値は未指定）の両方。
• ターゲット構築： 地理的メンバーシップの解釈の下で地理的事前分布を許容し、居住人口データを操作的ソースとして用いた等人的配分を適用する。

4. 主な結果

4.1 地理由来のターゲットからの実質的な乖離

共同抽出の下では、モデルは構築された地理由来のターゲットから著しい乖離を示す。

• 複合的な3モジュール・イェンセン・シャノン・ダイバージェンス（$JSD^2$）は、モデル間で 0.508 から 0.606 の範囲にある。
• この乖離は、有限サンプルによる変動（上限99%参照エンドポイント $\approx 0.033$）では説明できないほど大きい。

4.2 比較対象の選択に対する感受性

本論文は、公平性評価がターゲットの選択に高度に敏感であることを示している。

• 生成物と測定を固定したまま、地理由来のターゲットを等カテゴリ比較対象（人口規模に関わらず各カテゴリに等しい確率を割り当てるもの）に置き換えると、スコアに大幅な変化が生じる。
• $JSD^2$ の平均絶対セルレベルの変化は、0.279 から 0.355 の範囲である。
• このシフトは、モデルのランキングを変化させ、様々な許容閾値（12.8% から 40.0% のセルが分類変更）の下での、セルを「公平」または「不公平」とする分類を変えてしまう。

4.3 職業的ターゲット vs 地理的ターゲット

米国のCEO生成に関する診断分析において：

• モデルは高い割合で女性/Womanキャラクターを生成した（77%–100%）。
• 職業的現職性ターゲット（女性 33.0%）と比較すると、これは「成功」（パリティに近い）として見える。
• 地理的メンバーシップターゲット（女性 49.8%）と比較すると、その乖離は顕著である。
• 本論文は、職業的ターゲットを採用することは、歴史的な労働市場の結果への忠実性にコミットすることを暗黙的に意味しており、それは（労働力シミュレーションのような）独立して防御された目的なしには成立しないと論じている。

5. 意義と主張

本論文は、公平性評価の状態に関して、控えめながらも基礎的な主張を行っている：

1. ターゲット構築は評価の一部である： ターゲットの構築は予備的なステップではなく、公平性評価の核となるコンポーネントである。正当化なしにターゲットを提示することは不十分である。
2. 普遍的なターゲットは存在しない： 本論文は普遍的なターゲットを提供しているのではない。代わりに、ある分布が標準として機能するために必要な規範的仮定を明示するための、正当化のフレームワーク（4つのコミットメント）を提供している。
3. デフォルト・ターゲットの拒絶： 公的世界での表象に関する宣言された用途に対して、職業的現職性がデフォルトのターゲットとして機能することはできないと論じている。地理的メンバーシップは、「表象されるパブリック」という前提の下で許容される。
4. 立証責任： 主な貢献は、立証責任を転換することにある。評価者は次を明示的に答えなければならない：何が分布しているのか？ 誰の表象がカウントされるのか（とその理由は）？ 如何にして質量を配分するのか？ どのソースがターゲットをインスタンス化しているのか？
5. 害（Harm）との区別： 構築されたターゲットからの乖離を測定することは、診断的なステップであり、直接的な表象の害を測定するものではないことを明確にしている。害を確立するには、露出、メカニズム、および大きさに関する追加の前提が必要である。

著者らは、評価者がなぜ特定の分布が標準としてふさわしいのかを明示的に正当化できない限り、公平性評価は不完全なままであると結論付けている。このフレームワークは、特定のターゲット（例：職業的ターゲット）を拒絶することを可能にする一方で、その前提が明示的に述べられている限り、他の防御された構築（例：是正的ターゲット）の可能性を排除しないものである。