Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction

あなたは、指紋の代わりに数字を探している探偵だと想像してください。しかし、この物語は機械学習の世界にあります。そこでは、コンピュータは膨大な過去のデータを研究することによって、予測を行う方法を学んでいます。それは、何千もの過去の試験問題を読んでテスト勉強をする学生のようなものです。こうしたコンピュータが受ける特定のテストの一つが、**クレジットスコアリング（信用格付）**です。これは、ある人がローンを返済するか、あるいはデフォルト（返済不能）になるかを判断するものです。

しかし、ここには厄介な問題があります。コンピュータが学習するデータが、時として「汚れている」ことがあるのです。ラベルが間違っていたり、コンピュータが混乱したりしているかもしれません。これを修正するために、科学者たちはしばしば「信頼度スコア」を使用します。もしコンピュータが予測に非常に自信がない場合、「このデータポイントは信頼できない。捨ててしまおう」と判断することがあります。これはデータクリーニング（データの洗浄）と呼ばれます。また、この分野におけるもう一つの大きな概念は公平性です。私たちは、コンピュータが収入の多寡に関わらず、すべての人を平等に扱うことを望んでいます。公平性のための重要なルールの一つが**機会の平等（equal opportunity）**です。これは簡単に言えば、「もし誰かが実際に返済に失敗した場合、その人が富裕層であっても貧困層であっても、コンピュータは等しくその失敗を察知できなければならない」というルールです。

ここで大きな疑問が生じます。コンピュータによる独自の「クリーニング」が、意図せず不公平を生み出してしまうことはあるのでしょうか？そして、もし公平にするために、機密情報（所得など）をコンピュータから隠したとしても、それは本当に効果があるのでしょうか？この論文は、コンピュータが密かにデータを誤って表現していないかどうかを確かめるために、実世界のローンデータを用いて、この問いを掘り下げています。

この論文の物語：データの「洗浄」がデータをより汚すとき

研究者はまず、LendingClubという会社による130万件以上のローンを含む膨大なデータセットを調査することから始めました。そこで彼らは、標準的な「信頼度スコア」の手法を用いてデータをクリーニングしようとした際、奇妙な現象が起きていることに気づきました。コンピュータは、一部のローン申請を「ノイズが多い」あるいは「信頼できない」と判断し、削除対象としてマークしたのです。

ここにひねりがあります。コンピュータは、実際にデフォルトした高所得者の「ノイズの多いラベル」を、デフォルトした低所得者のラベルよりもはるかに高い確率で「ノイズ」として破棄していたのです。それはまるで、教師が答案用紙を採点しているときに、金持ちの子供たちの間違い解答は「単なるミス」として無視すべきものと決めつけ、貧しい子供たちの間違い解答は「真実のエビデンス」として扱うようなものです。数値で見ると、コンピュータは高所得者のデフォルトの2.40%をノイズとして破棄しましたが、低所得者の場合はわずか0.38%でした。これは、データの扱いにおける極めて大きな差です。

しかし、本当の驚きは、「クリーニング」そのものを見るのではなく、実際の「予測」を見たときに訪れました。彼らは機会の平等のルールを用いて、「もし誰かが実際にデフォルトした場合、コンピュータはどの程度の頻度でそれを捉えられたか？」という検証を行いました。

結果は衝撃的でした。コンピュータは低所得者のデフォルトを捉えることには長けていました（72.84%を検出）。しかし、実際にデフォルトした高所得者に対しては、コンピュータは55.98%しか捉えることができませんでした。これは16.86パーセントポイントの格差です。コンピュータは、支払いに失敗した富裕層に対しては盲目である一方、貧困層に対しては非常に鋭敏であったのです。

探偵の仕事：なぜこのようなことが起きたのか？

研究者は単に格差を見つけるだけでなく、その「理由」を知りたいと考えました。彼らは**逐次的な特徴量のブライディング（sequential feature blinding）**という巧妙なトリックを用いました。これは、「20の質問」というゲームを想像すると分かりやすいでしょう。何かを当てるゲームです。まず、コンピュータにすべてを見せます。次に、借り手の所得が見えないように目を覆います。さらに、金利さえも見えないように、再び目を覆います。

層を一枚ずつ剥いでいくことで、彼らが発見したのは以下の事実でした。

1. 直接的な所得の手がかり： 単に「年収」の数値をコンピュータから隠したところ、格差は16.86ポイントから7.49ポイントへと縮小しました。これは、コンピュータがリスクを判断するために、所得の数値を直接的に利用していたことを意味します。
2. 上流の罠（金利）： しかし、所得を隠した後でも、格差は消えませんでした。研究者は、コンピュータが金利を「秘密のコード」として利用していることに気づきました。銀行は、安全だと判断した人々に低い金利を設定します。富裕層は通常、低い金利を得るため、コンピュータは「低金利 ＝ 安全な人」という学習をしてしまったのです。そのため、富裕層が実際にデフォルトした場合でも、金利が「安全である」と教えていたため、コンピュータは彼らを見逃してしまったのです。金利も隠すと、格差はさらに縮まり、約3.55ポイントまで下がりました。
3. 残存するゴースト： 所得と金利の両方を隠した後でも、小さくも実在する格差（約2.56〜3.55ポイント）が残りました。コンピュータは依然として、所得を推測する方法を見つけ出していたのです。どのようにして？それは、ローン金額や住宅所有形態を見ていたからです。富裕層はより多額の資金を借り、住宅ローンを抱えている傾向があります。コンピュータは、これらの「プロキシ（代理指標）」を用いることで、所得の数字を見せられていないにもかかわらず、その人が富裕層であるという全体像を再構築していたのです。

大きな教訓

この論文は、単にコンピュータに「所得を見ないで」と言うだけでは、公平にはならないことを示しています。コンピュータは非常に賢い探偵のようなものであり、ローンの規模や銀行が提示した金利といった他の手がかりを見るだけで、秘密を解き明かすことができるのです。

著者は、制度的バイアス（銀行による金利設定）と行動的プロキシ（人々が借りる金額）が相互に作用して、真実を隠していることを明らかにしました。たとえデータを綺麗に洗浄しようとしても、コンピュータはこれらの他の信号を利用して、不公平さを再構築してしまうのです。

したがって、もし銀行が真に公平でありたいと願うなら、単にスプレッドシートから「所得」の列を削除するだけでは不十分です。人間が設定する金利から、借り手が取るローンの規模に至るまで、システム全体が繋がっていることを理解しなければなりません。もしシステム全体の連鎖を修正しなければ、コンピュータは、たとえ指示されていても、富裕層と貧困層の借り手を異なる方法で扱う方法を、常に探し続けることになるのです。