Coarsening Latent-Class Probabilities: Directional Distortion and Coverage Loss

あなたは、なぜある人は昇進し、他の人はしないのかという謎を解こうとしている探偵だと想像してください。あなたは、その理由がその人の「グループ」、例えば背景や出身地に関係しているのではないかと疑っています。しかし、ここには落とし穴があります。公式記録には、その人がどのグループに属しているかは記されていません。代わりに、超高性能なコンピュータープログラムがあり、それが履歴書を見て、「この人はグループAである確率が80%、グループBが15%、グループCが5%です」と告げるのです。これは**確率ベクトル（probability vector）**と呼ばれます。これは、ニュアンスに富んだ詳細な推測です。

データサイエンスの世界では、これは一般的なツールです。しかし、時には人々がより単純な方法を選ぶことがあります。彼らは、その洗練された「80-15-5」という推測を見て、「まあ、一番大きい数字を取ればいい。この人は間違いなくグループAだ」と言います。彼らは15%や5%という情報を捨て去り、柔らかく揺らぎのある推測を**ハードラベル（hard label）**へと変えてしまうのです。それは、ぼやけた顔のハイデフィニション写真を見て、その人物は「ただ一つのもの」であると決めつけ、太い黒マジックで塗りつぶすようなものです。大きな疑問は、このショートカットが私たちの調査を損なうのかどうかです。詳細な確率を、単純な「イエス／ノー」や「グループA」というラベルに変えることは、真実を測定する能力を台無しにしてしまうのでしょうか？

マルセル・T・クルブッツ（Marcell T. Kurbucz）によって書かれたこの論文は、まさにその問題について深く掘り下げています。著者はこう問いかけます。較正された確率ベクトル（スマートでニュアンスのある推測）を、ハードラベル（単純で硬直したカテゴリー）へと叩き潰したとき、結果はどうなるのか？ 論文は、この「粗視化（coarsening）」は単なる小さな間違いではなく、「方向性を持った歪み（directional distortion）」であることを明らかにしています。風速を測ろうとしている場面を想像してください。もし、あなたが繊細な風見鶏を、単なる「北または南」を示す看板に変えてしまったら、東や西から吹く風の強さに関する情報はすべて失われてしまいます。論文は、このショートカットが単に結果を縮小させるだけでなく、特定の方向に結果を歪ませ、ある差異を実際よりも小さく見せ、他の差異にはほとんど影響を与えないことを示しています。

最も驚くべき、かつ有用な発見は、最終的な分析を実行する前に、どれほど歪みが生じるかを正確に予測できるということです。著者は、すでに持っているデータ（確率やその他の情報）のみを使用して、結果がいかに捻じ曲げられるかを伝える数学的な「歪みマップ（distortion map）」（粗視化演算子と呼ばれる）を開発しました。論文では、シミュレーションを行い、有権者記録や求人応募といった現実世界のデータを用いて、この理論を証明しています。あるテストでは、ハードラベルを使用したことで、信頼区間（真の答えが隠れている可能性が高い範囲）が39%狭まりましたが、真の答えを捉えたのはわずか1%でした。それは、非常に精密に見える「嘘」でした。

また、論文は、コンピューターがランダムな間違いを犯していると仮定することで、後から「修正」できるという考え方に反論しています。著者は、コンピューターの間違い方はランダムではなく、データの特定の詳細に結びついていることを示しています。もし、エラーがランダムであると仮定する古い手法を使って修正しようとすれば、事態を悪化させる可能性があります。代わりに、この論文は、もしハードラベルを使用せざるを得ないのであれば、少なくとも自分がどれだけのものを失っているのかを正確に知っておくべきだと提案しています。しかし、最善のアドバイスは？ ニュアンスを捨てないことです。確率ベクトルをそのまま保持してください。それは、ぼやけてはいるが正確な地図を見ているのか、それとも、自分を崖下へ真っ逆さまに突き落とすマーカーで地図を塗りつぶしているのかの違いなのです。

中核となる発見：「歪みマップ」

この論文の主要な発見は、詳細な確率的推測を単純なハードラベルに置き換えるとき、単にノイズを加えているのではなく、データに対して特定の不均一なフィルターを適用しているということです。それは、まるで不思議な鏡（ふしぎな鏡）を通して3Dオブジェクトを見ているようなものです。オブジェクトの一部は引き伸ばされ、一部は押しつぶされ、そして一部は横方向にねじれます。

著者はこれを**粗視化演算子（coarsening operator）**と呼んでいます。これは、あなたの真の効果（グループ間の実際の差異）を取り込み、歪んだバージョンを吐き出す数学的な機械です。論文は、この歪みが「何を捨てたか」に完全に依存することを証明しています。もし、捨て去った情報（15%や5%の推測）が、保持した情報と全く無関係であったなら、問題はありませんでした。しかし、現実世界では、その捨てられた情報は通常、保持したものに関連しています。したがって、歪みが発生するのです。

決定的なのは、この歪みが**異方的（anisotropic）**であるという点です。これは、「方向によって異なる」という意味の難しい言葉です。もしあなたがグループAとグループBの差を測定しているなら、ハードラベルはその差を半分に縮めるかもしれません。しかし、グループAとグループCの差を測定しているなら、それは10%しか縮めないかもしれません。単に「結果が20%小さくなった」と言うことはできません。「結果は、この特定の方向において小さい」と言う必要があるのです。

「カバー率」の罠

最も劇的な発見の一つは、**信頼区間（confidence intervals）**に関するものです。統計学において、「私たちは95%の自信を持って、答えはXとYの間にあると言える」と言うとき、もし実験を100回行ったとしたら、真の答えがその範囲内に95回入ることを期待しています。

論文は、研究者がハードラベルを使用したときに何が起こるかをシミュレートしています。彼らは、ハードラベルが実際よりも「良く見えてしまう」ことを発見しました。ハードラベルは数字をより精密に見せるため、範囲（区間）が狭くなります。それは、よりタイトで、より自信に満ちた推測のように見えます。しかし、その区間の中心が歪みによってずれているため、真の答えを捉えることはほとんどありません。

あるシミュレーションにおいて、論文は、ハードラベル（具体的には、最も可能性の高いグループを選択すること）を使用した後に、得られた区間が本来あるべき姿よりも39%狭くなっていたことを示しました。しかし、それが真実を95%の確率でカバーする代わりに、カバーしたのはわずか**1%**でした。それは、非常に狭く、非常に自信に満ちていますが、完全に間違った推測でした。論文は、すでに持っているデータのみを使用して、これがどれほどひどいことになるかを事前に計算するための公式を提供しています。

実世界の監査：ショートカットが失敗するとき

著者は単に数学を提示しただけでなく、理論が通用するかどうかを確認するために、現実のデータでテストを行いました。

1. 投票率の監査： 論文は、ノースカロライナ州の有権者記録を調べ、人種による投票率の格差があるかどうかを確認しました。有権者ファイルには人種が必ずしも記載されていないため、姓に基づいた確率（名字に基づく推測）を使用しました。確率ベクトルを用いた場合、異なるグループ間の投票率に明確な格差が見られました。しかし、ハードラベル（最も可能性の高い人種を単に選ぶこと）に切り替えると、それらの格差は大幅に縮小しました。ハードラベルは格差を実際よりも小さく見せ、事実上の不平等を隠してしまったのです。

2. 求人応募の監査： 彼らは、所得における人種バイアスをチェックするために、求人応募のデータセットを調査しました。ここで論文は、ある「ひねり」を発見しました。ハードラベルによるアプローチが、いくつかのケースではむしろ「うまく機能した」のです。しかし、それは数学が正しかったからではありません。コンピューターの推測が、所得に直接影響を与える要素（職種など）に基づいていたため、実験のルールに違反していたからです。ハードラベルは、意図せずして、そのような「悪い情報」をフィルタリングしてしまったのです。これにより、著者は、ソフトな手法とハードな手法を盲目的に信頼してはいけないこと、そして「なぜコンピューターがそのような推測をしているのか」をチェックしなければならないことを学びました。

あなたにとっての意味

この論文は、コンピューターの推測を使うのをやめなさいと言っているのではありません。それらを使って、より単純なアプローチを選択することをやめなさいと言っているのです。

• ニュアンスを捨てない： もし確率ベクトル（60/30/10の分割など）を持っているなら、それを使用してください。単に「60」を選んでしまわないでください。
• 歪みを把握する： もしどうしてもハードラベルを使わなければならない場合は、この論文が、どれほど真実を歪めているかを計算するツールを提供しています。どの方向が押しつぶされ、どの方向が引き伸ばされているかを知ることができます。
• 「自信」という名の嘘に警戒する： 狭い信頼区間が常に良いものとは限りません。データを粗視化したのであれば、その狭い区間は罠であり、間違った答えに対して偽りの自信を与えている可能性があるのです。

論文は、ハードラベルは単純であるために魅力的ですが、そこには「方向性の歪み」という隠れた税金がかかっていると結論づけています。私たちはこの税額を測定でき、予測することもできますが、支払いを避ける唯一の方法は、詳細な確率を分析の中に生き続けさせることです。「不思議な鏡」の効果は実在します。そして、世界の真の姿を見る唯一の方法は、反射を塗りつぶすのをやめることなのです。