技術要約：連想ルールとフェア・ビニングを通じた住宅ローン融資における差別的パターンの監査

問題提起

米国の住宅ローン融資においては、根強い人種およびジェンダーの格差が存在する。先行研究はモデルレベルのバイアスや公平な分類器の構築に焦点を当ててきたが、本論文では、アップストリームのデータ管理操作、特に**属性のビニング（階級分け）*がこれらの格差を増幅させているのではないかという点に注目している。数値属性（所得など）に対する標準的な等頻度ビニングは、人口統計学的な構成が偏ったビンを作成する可能性があり、それがダウンストリームのパターンマイニングを歪める可能性がある。著者らは次のように問いかけている：「公平性を考慮したビニングは、融資データからマイニングされる差別的パターンを変化させるのか？」*

本研究では、年間1,000万件以上の記録を含む豊富な公開ソースであるHMDA 2023データセット（住宅ローン開示法）を用い、シカゴ大都市圏に焦点を当てて分析を行っている。

手法

著者らは、差別的パターンを監査するための3段階のパイプラインを提案している。

1. データクリーニングとビニング

• データソース: シカゴ・ネイパービル・エルギン大都市圏から抽出された、クリーニング済みの103,481件の住宅ローン申請データ（HMDA 2023のスナップショットからフィルタリング）。
• 前処理: パイプラインは、実行済みおよび否決されたローンを抽出し、デモグラフィックデータの欠損値を含むレコードを除去し、財務フィールドをキャストし、所得の外れ値（0.5パーセンタイル〜99.5パーセンタイル）をクリッピングする。
• ビニング戦略:
  • 標準的な等頻度ビニング: 数値属性（所得、ローン額）を、$k=5$ 個のバケットにほぼ等しい件数で分割する。
  • $\epsilon$-バイアス・フェア・ビニング: Asudehら[1]によって提案された分割統治（Divide-and-Conquer, D&C）アルゴリズムを実装する。このアルゴリズムは、各ビン内のデモグラフィック偏差を最大 $\epsilon$ 以内に抑えることを目的とする。これは、「公平性の価格（Price of Fairness, PoF）」、すなわちビンサイズの等頻度からの偏差を最小化するものである。

2. 連想ルールマイニング（FP-Growth）

• 手法: FP-Growthを用いて、頻出アイテムセットおよびローン否決を予測する連想ルールをマイニングする。
• 入力: 申請データを11個のカテゴリカル項目（人種、性別、所得ビン、DTIカテゴリ、結果など）からなるトランザクションに変換する。
• 目的: 標準的なビニングと公平なビニングの下で生成されたルールセットを比較し、明示的な差別的パターン（例：人種を前件部とするルール）が変化するかどうかを特定する。
• パラメータ: 最小支持度（support）0.10、最小信頼度（confidence）0.50、最小リフト（lift）1.0。

3. クラスタリングと不当な影響の監査

• クラスタリング: 4つの財務的特徴（所得、ローン額、DTI、結合ローン対価値比率）にK-Meansクラスタリングを適用し、申請者を財務プロファイルごとにグループ化する。金利は、否決されたローンを排除しないために除外する。
• 監査: 各クラスター内で、参照グループに対するデモグラフィックグループ（人種、民族、性別）の**不当な影響比率（Disparate Impact Ratio, DIR）**を算出する。
• 指標: DIRが0.80未満（「4/5ルール」）の場合、不当な影響（disparate impact）があることを示す。このアプローチにより、クラスターに捉えられた正当な財務リスク要因によって説明できない差別を分離する。

主な結果

1. ビニング・バイアスと実現可能性

• 標準的なビニング: 所得の離散化において9.63%の人種バイアスを生じさせており、これは先行研究（8〜10%）と一致している。
• フェア・ビニングの実現可能性: 7つの人種グループが存在する場合、$\epsilon$-バイアス・アルゴリズムはタイトな閾値（$\epsilon=0.03$）では実行不可能となる。$\epsilon=0.08$（所得）および$\epsilon=0.06$（ローン額）においてのみ成功する。
• 公平性の価格（PoF）: これらの閾値で公平性を達成するには高いコストがかかり、ビンサイズは等頻度から大きく逸脱する（所得で29.4%、ローン額で**23.5%**のPoF）。

2. 連想ルールマイニング（FP-Growth）

• 主要な予測因子: 高い債務返済比率（DTI）が否決の主要な予測因子である（信頼度67.2%、リフト2.81）。
• ルールの整合性: トップレベルの否決ルールは、標準的なビニングと公平なビニングの両方の体制において同一であった。
• 明示的なバイアスの不在: 人種、性別、または民族を前件部とするルールは、支持度10%の閾値を満たさなかった。著者らは、これはバイアスの不在を意味するのではなく、人種バイアスが間接的に相関する財務的特徴（例：黒人申請者は平均所得が低いため、高リスクのビンに配置される）を通じて作用していることを指摘している。

3. クラスタリングと不当な影響

• クラスター・プロファイル: 5つのクラスターが特定された。これには、債務過多の申請者（否決率79%）から、富裕層（否決率11%）までが含まれる。
• 不当な影響の発見: FP-Growthは明示的な人種ルールを見出さなかったが、K-Means + DIR監査により、45組のクラスター・グループのペアのうち10組が不当な影響（DIR < 0.80）を示していることが判明した。
• 具体的な知見:
  • フラグが立てられたペアはすべて人種に関連していた。
  • クラスター3（財務的に類似したグループ：平均所得104Kドル、DTI 34.5）において、白人申請者の否決率が20.3%であったのに対し、黒人申請者は**44.8%**であった（DIR = 0.693）。
  • 人種ベースの監査における平均DIRは0.814であったが、民族および性別の監査では系統的な不当な影響は見られなかった（平均DIRはそれぞれ0.932および1.094）。

貢献と意義

本論文は以下の貢献を行う：

1. アップストリーム・バイアスの検証: 標準的なデータ前処理（ビニング）が、HMDAデータにおいて測定可能な人種バイアス（9.63%）を導入することを確認し、融資の文脈におけるアンバイアス・ビニング問題の妥当性を証明した。
2. マルチグループの公平性における実現可能性の制約: $\epsilon$-バイアス・ビニングは二値グループには機能するが、7つの人種グループに適用すると、実行可能な解の集合が劇的に減少し、高い「公平性の価格」を伴うことを示し、データ離散化におけるマルチグループの公平性の実用的な限界を示唆した。
3. 補完的な監査アプローチ: FP-Growthとクラスタリングが補完的な洞察を提供することを強調している：
   • FP-Growthは集団全体における支配的な否決因子（DTI）を特定するが、支持度の閾値によって間接的なバイアスを見逃す可能性がある。
   • クラスタリングとDIR監査を組み合わせることで、標準的なルールマイニングが見落とす可能性のある、財務的に類似した申請者の間でも存在する系統的な不当な影響を明らかにできる。
4. 間接的バイアスの実証的証拠: 結果は、住宅ローンにおける人種バイアスが、保護属性を含む明示的な高支持ルールとしてではなく、相関する財務分布（所得/DTI）を通じて間接的に現れることが多いことを示唆している。

限界

著者らは以下の限界を認めている：

• 信用スコアの欠如: HMDAデータには主要な融資因子である信用スコアが含まれていないため、クラスタリングによって差別を正当なリスクから完全に分離することはできない。
• 支持度の閾値: FP-Growthの10%という支持度閾値は、マイノリティ・グループのパターンを捉えるには高すぎる可能性があり、閾値を下げると偽の結果を招くリスクがある。
• 地理的範囲: 分析はシカゴ大都市圏に限定されている。
• アルゴリズムの仮定: K-Meansは、データの非対称性（クラスターサイズが3,500から48,000まで変動する）に必ずしも適合しない、類似したサイズの球状クラスターを仮定している。