Fairness under uncertainty in sequential decisions

1. 問題定義：逐次的意思決定における「不確実性」と「不公平」の構造的関係

従来の公平な機械学習（Fair ML）の研究は主に教師あり学習（Supervised Learning）に焦点を当てており、静的なデータセットにおける分類や回帰の公平性を扱ってきました。しかし、現実の多くの応用（融資審査、採用、保険料設定など）はオンラインかつ逐次的であり、過去の決定が将来のデータ生成に影響を与えます。

この論文が指摘する核心的な問題は以下の通りです：

• 反事実的アウトカムの欠如（Feedback Uncertainty）: 銀行が融資を拒否した場合、その融資が返済されたかどうか（反事実的アウトカム）は観測されません。この「観測されない空間」への無視が、歴史的に排除されてきた集団（マイノリティなど）に対して偏った学習を引き起こします。
• 不平等な不確実性（Unequal Uncertainty）: 歴史的にデータが不足している集団（例：金融包摂が不十分だった層）に対する予測の不確実性は、多数派集団に比べて高くなります。
• 探索と活用のトレードオフの欠如: 従来の教師ありモデルは、観測されたデータ（融資承認されたケース）のみに基づいて最適化されるため、不確実性が高いマイノリティ集団に対して過度に保守的（融資拒否）になりがちです。これは「自己完結的なバイアス（Selective Feedback）」を強化し、格差を固定化・悪化させます。
• 法的・社会的リスク: 強化学習（RL）の「探索（Exploration）」にはランダム性が含まれますが、これが差別禁止法や個人の公平性（Individual Fairness）とどう整合するか、また、不確実性を無視したナイーブな政策がもたらす社会的害悪（排除の累積）が十分に議論されていません。

2. 手法と枠組み

A. 不確実性の分類（Taxonomy of Uncertainty）

論文は、逐次的意思決定システムにおける不確実性を 6 つのカテゴリーに分類し、その相互作用を分析する枠組みを提案しました。

1. World（世界観）: 望ましい状態の不確実性（どの不平等を是正すべきか）。
2. Data Collection（データ収集）: 代表性の不確実性（データが母集団をどれだけ反映しているか）。
3. Feature Engineering（特徴量設計）: 測定の不確実性（特徴量が真の目的を測れているか）。
4. Model Training（モデル学習）: モデル不確実性（モデルが真の最適方策からどれほど乖離しているか）。
5. Predictions（予測）: 予測不確実性（個々の予測の信頼区間。マイノリティほど広くなる傾向）。
6. Deployment（展開）: フィードバック不確実性（決定によって観測されない反事実的アウトカム）。

本研究では、特にモデル不確実性、予測不確実性、フィードバック不確実性の 3 つに焦点を当て、これらが選択的フィードバック下でどのように格差を助長するかを定式化しました。

B. 定式化とアルゴリズム

• 反事実的効用の定式化:
  従来の利得関数は観測された結果のみを考慮しますが、本研究では観測された利得と観測されない（反事実的）利得の両方を考慮した効用関数を定義しました。
  $$u := d(y_1 g - (1-y_1)l) + (1-d)((1-y_1)g - y_1 l)$$
  ここで、$d$は決定、$y_1$は返済可否、$g$は利益、$l$は損失です。第二項は「融資を拒否した場合の機会損失（または回避された損失）」を表します。

• 不確実性認識型探索（Uncertainty-Aware Exploration）:
  決定境界付近（予測確率の不確実性が高い領域）において、単なるランダム探索ではなく、予測の不確実性（信頼区間の幅）やグループ間の不平等な不確実性を考慮した探索を行います。

  • Naïve Exploration: 不確実な領域からランダムにサンプル。
  • Uncertainty-Aware Exploration: 予測の信頼区間が決定閾値と重なる個体に対して重点的に探索を行う。
  • Counterfactual Utility Maximization: 観測された結果と、確率的に推定された反事実的結果の両方を目的関数に含めて、エンドツーエンドでモデルを最適化するアプローチ。

C. 実験設定

• データ: Baumann et al. のフレームワークを用いて、歴史的バイアス、測定バイアス、代表性バイアスなどを制御可能な合成データセットを生成しました。
• ベースライン: ロジスティック回帰をベースモデルとし、各四半期ごとに更新する逐次学習シミュレーションを行いました。
• 比較手法:
  1. Naïve（基準）
  2. Naïve Exploration（ランダム探索）
  3. Uncertainty-Aware Exploration（不確実性に基づく探索）
  4. Prob-weighted Exploration（確率重み付け探索）
  5. Counterfactual Utility Maximization（反事実的効用最大化）

3. 主要な貢献

1. 逐次的意思決定における不確実性の分類体系の提案:
   教師あり学習の文脈を超え、モデル、予測、フィードバックの各段階における不確実性が、どのように相互作用して構造的な不公平を生み出すかを体系的に整理しました。
2. 「不確実性下の公平性」の定式化:
   反事実的論理と強化学習の技術を用いて、観測されない空間（特にマイノリティ集団における不確実性の高い領域）を無視することが、どのように累積的な排除を招くかを数学的に示しました。
3. 公平性制約なしでの公平性向上の実証:
   明示的な公平性制約（例：人口統計学的パリティの強制）を目的関数に追加せずとも、**「不確実性への配慮（Uncertainty-awareness）」と「反事実的効用の考慮」**のみによって、意思決定者の利得（利益）を維持しつつ、歴史的に不利な集団の公平性指標を改善できることを示しました。

4. 実験結果

合成データを用いたシミュレーション（10 四半期）の結果は以下の通りでした：

• バイアスなしの場合: 全ての手法（Naïve含む）は同様の性能と公平性を示し、緩和策が性能を低下させないことを確認しました。
• バイアス存在下（歴史的・測定バイアス）:
  • Counterfactual Utility Maximizationが最も優れた結果を示しました。観測されない結果（反事実的利得）を考慮することで、バイアスの影響を軽減し、利益（Profit）を維持・向上させながら、選択率の差（Selection Rate Difference）や誤分類率の差（FPR/FNR Difference）を大幅に縮小しました。
  • Uncertainty-Aware Explorationも、不確実性が高い集団に対して積極的に探索を行うことで、Naïな手法に比べて公平性を改善しました。
  • 従来の「観測された結果のみを最適化する」アプローチは、バイアスがある環境では、マイノリティ集団に対する融資拒否を正当化し、結果として不公平を固定化・悪化させることが確認されました。

5. 意義と結論

この研究は、以下の点で重要な意義を持ちます：

• ガバナンスと監査のツール: 不確実性が意思決定パイプラインのどこで、どのように生じているかを診断するための共通言語（分類体系）を提供し、監査や規制当局による評価を支援します。
• 法・規制への示唆: 強化学習における「探索（ランダム性）」は、単なるノイズではなく、構造的な不平等を是正するための重要なメカニズムとなり得ます。ただし、そのランダム性が差別禁止法や個人の公平性とどう整合するかは、文脈に応じた慎重な設計と説明責任が求められます。
• 実用的なアプローチ: 複雑な公平性制約を課す代わりに、不確実性を適切にモデル化し、反事実的シナリオを考慮するだけで、実用的かつ倫理的に優れた意思決定が可能であることを示しました。

結論として、逐次的でオンラインなシステムにおいて、不確実性は単なるノイズではなく、不公平な結果の主要な駆動力です。この研究は、意思決定者が「既知の未知（Known Unknowns）」を認識し、不確実性の分布を考慮した探索戦略を採用することで、社会的公正と経済的効率性を両立できる可能性を提示しています。