Implementing Causal Perception: Competing SCMs and Situated Fairness

部屋にある植物がなぜ萎れているのかを突き止めようとする時のように、あなたは謎を解こうとしているのかもしれません。あなたは日光や水、あるいは土の状態に目を向けるでしょう。人工知能（AI）の世界では、科学者たちはこれと同じことを行うために、「構造的因果モデル」と呼ばれる特別な地図を使用します。これらの地図は、ある事象がどのように他の事象を引き起こすかを示すフローチャートのようなものです。例えば、ある地図は「低所得」が「低いクレジットスコア」の原因であることを示しているかもしれません。しかし、ここにひねりがあります。二人の異なる人物（あるいは二つのAIプログラム）が全く同じ植物を見て、それぞれ全く異なる地図を描く可能性があるのです。一人は土が問題だと考え、もう一人は日光が問題だと考えるかもしれません。これは単なる間違いではありません。それは、彼らの世界の見方の違いなのです。この概念は非常に重要です。なぜなら、AIにローンの承認や採用といった公平な判断を下させる際、それらの判断はAIがどの地図を使用しているかに完全に依存するからです。もし地図が食い違えば、「公平性」という概念さえも、誰が見るかによって変わってしまうのです。

ホセ・M・アルバレスによって書かれたこの論文は、これらの「衝突する地図」を実際に測定できる最初のコンピュータプログラムを構築することで、理論から現実へと大きな一歩を踏み出しています。著者は、この現象を「因果的知覚（causal perception）」と呼んでいます。これは、二人の友人が映画を見ている様子を想像してみてください。たとえ同じシーンを見ていたとしても、それぞれの人生経験に基づいて、登場人物の動機を異なるように解釈することがあります。AIの世界では、これは二つのエージェント（あるいは「受信者」）が、同じローン申請者のグループを見て、なぜ一部の人が拒絶されたのかについて、二つの異なる物語を見ている可能性があることを意味します。この論文では、ドイツの1,000人のローン申請者の実際のデータセットを使用してこれをテストしています。研究者たちは二つのデジタルな「クレジット担当官」を作成しましたが、彼らはほとんどの点では一致していましたが、一つの特定のルール、つまり「性別が直接的に信用リスクに影響を与えるかどうか」についてのみ意見が分かれていました。

結果は驚くべきものでした。二人の担当官は、彼らのメンタルマップにおけるたった一つのつながりについてのみ意見が異なっていたにもかかわらず、最終的には世界を全く異なるものとして捉えていました。研究者が彼らの見解がどれほど離れているかを測定したところ、二人の担当官は個々のローンの決定において約21.7%で意見が食い違っていました。また、この論文は、こうした意見の相違が、極めて異なる公平性の評価につながる可能性があることも強調しています。例えば、導入部で述べられている仮説的なシナリオでは、一つの因果関係の枝（エッジ）で異なる二人の受信者が、デモグラフィック・パリティ（人口統計学的平等）のギャップにおいて、-0.594対-0.170という差に達する場合があることが示されています。さらに、この論文は、「彼らは物事を異なって見ているのか？」という問いへの答えは、どの測定ツールを使うかに完全に依存するということも発見しました。もし一つの種類の定規（Wasserstein-2と呼ばれる距離指標）を使えば、彼らはほぼ同じように見えるかもしれません。しかし、もし別の定規（Kullback-LeiblerダイバージェンスやTotal Variationなど）を使えば、その隔たりは巨大に見えるのです。

結局のところ、この論文は、バイアスとは空中に漂う固定された事実ではなく、「状況依存的（situated）」なものである、つまり、判断を行う人やAIの特定の価値観に依存するものであることを示しています。著者は、これらの競合する世界観を無視したり、全員に一つの「正しい」地図に従わせようとしたりすることはできないと主張しています。代わりに、複数の専門家が存在する世界においては、異なる人々が真に公平性を異なって知覚するものであることを認め、私たちのツールは、その不一致を存在しないふりをするのではなく、対処できるように準備しておく必要があるのです。