Hidden Errors in Big Data: The Case of Property Records

世界最大のデータ・ライブラリに潜む見えないグリッチ（不具合）

巨大なパズルを解こうとしている場面を想像してみてください。しかし、実際のピースを使う代わりに、誰かが作った「コピーのコピー」を使っているとしたらどうでしょう。これが「ビッグデータ」の世界です。今日、科学者や政府、さらには都市を動かす人工知能システムまでもが、意思決定を行うために膨大な情報の山に依存しています。彼らは、病気の治療法の解明から、あなたの家の税金の決定に至るまで、あらゆることを把握するためにこのデータを使用しています。しかし、ここに落とし穴があります。これらのデータのほとんどは、科学者が直接収集したものではないのです。それは「データブローカー」から購入されたものです。データブローカーとは、何千もの異なる場所から情報を集め、それを整理し、使いやすいパッケージとして販売する企業のことです。

この論文が投げかける大きな問いは、**「もしそのコピーが間違っていたらどうなるのか？」**ということです。

データセットを購入する際、あなたはブローカーが完璧に仕事をこなしたことを信頼してしまいます。しかし、もし彼らが一部のピースを見落としていたら？ 数字を書き間違えていたら？ あるいは、欠落した数字を推測するために奇妙なトリックを用いた結果、全体の絵が歪んでしまったとしたら？ これは「ビッグデータのパラドックス」として知られています。データが増えれば増えるほど、人は自信を深めますが、そのデータに欠陥がある場合、その自信は実は罠なのです。非常に精密な答えを得られたとしても、それが完全に誤ったものである可能性があります。本論文は、この問題の極めて重要かつリスクの高い領域、すなわち「住宅の売買価格と、その住宅にかかる税額を追跡するために使用されるデータ」に焦点を当てています。もしこのデータが壊れていれば、富裕層が支払うべき税金を少なく支払っていたり、あるいは貧困層が払いすぎていたりしても、手遅れになるまで誰もそれに気づくことができないのです。

大いなる住宅価格強奪事件：データブローカーが間違えたとき

この研究において、著者たちはデジタル探偵となり、米国における2つの巨大な「データブローカー」であるCotalityとATTOMを監査しました。これらの企業は不動産界の巨人であり、銀行、政府、研究者に向けて数百万軒の住宅に関する情報を販売しています。著者たちは、イリノイ州クック郡政府が保持している「グラウンド・トゥルース（真実の地面）」、つまり公式の原本記録と照らし合わせて、彼らの仕事を検証することにしました。政府の記録を「店でもらった署名入りの本物のレシート」とするならば、ブローカーのデータは「サードパーティのアプリから取得したコピー」のようなものです。

探偵たちは、ブローカーのコピーが決して完璧ではないことを突き止めました。彼らは、計算を狂わせている主に2つの種類の誤りを発見しました。

1. 「欠落したピース」問題（カバレッジ・エラー）
バスケットの中のリンゴを数えている場面を想像してください。しかし、リストを作成した人が、12%から15%のリンゴを書き漏らしていたとしたらどうでしょう。これが「カバレッジ・エラー（網羅性の誤り）」です。著者らは、実際に発生した100件の住宅売買につき、ブローカーは約12件から15件を見落としていることを発見しました。なぜでしょうか？ それは、ブローカーが時として「住宅」や「実際の売買」の定義について混乱するためです。彼らは、住宅の売買を誤って「差し押さえ（フォークローシャー）」（これは別のカテゴリーです）としてラベル付けしたり、住所の表記がわずかに異なるという理由で売買自体を見逃したりすることがあります。これは、データが単に少しずれているだけでなく、人口の大部分が欠落しており、住宅市場の全体像が不完全であることを意味していました。

2. 「推測ゲーム」問題（インピュテーション・エラー）
時には、ブローカーは住宅の実際の販売価格を持っていないことがあります。その際、「わからない」と言う代わりに、彼らは数学的なトリックを使って価格を推測しようとします。彼らは「譲渡税（住宅売買時に支払われる少額の手数料）」を確認し、そこから逆算して価格を割り出そうと試みます。しかし、ここで間違いが生じます。町によって税率は異なるためです。もしブローカーが間違った町の税率を使って推測を行えば、その計算は大幅に狂ってしまいます。

著者らは、チェックした住宅売買の約**1%から2%**において、ブローカーが提示した価格が実際の価格と大きく異なっており、時には数十万ドルもの差があることを発見しました。さらに奇妙なことに、これらのエラーはランダムではありませんでした。ブローカーは、同じ住宅に対して、全く同じ間違いを繰り返すことが多かったのです。例えば、ある住宅が30万ドルで売れた場合、ブローカーは誤ってそれを20万ドル（実価格の3分の2）として記録したり、あるいは60万ドル（実価格の2倍）として記録したりすることがありました。それはまるで、間違った数字を何度も何度も押し続けるスタンプ機のようでした。

ドミノ倒し：これがあなたの財布に与える影響

あなたはこう思うかもしれません。「たかが数軒の住宅価格が間違っているだけだ。誰が気にするのか？」と。しかし、著者らは、これらの数字が**「資産税の逆進性（property tax regressivity）」**の計算に使用されているため、非常に重要であることを示しています。

資産税を、注文した内容に応じて各自が支払うべき分を負担する「グループディナー」のように考えてみてください。「逆進性」とは、安い食事を注文した人々が、高いステーキを注文した人々よりも、結果的に高い割合の料金を支払うことになる状態を指す専門用語です。現実の世界では、貧しい地域の方が裕福な地域よりも実効税率が高くなる傾向にあるという研究が多く存在します。

著者らは、ブローカーのデータを使用して、この税の公平性を算出しました。その結果はどうだったでしょうか？ ブローカーのデータは、実際の政府のデータとは全く異なる答えを導き出しました。

• Cotalityのデータは、税制が実際よりも「公平である」かのように見せかけました（不公平さを過小評価しました）。
• ATTOMのデータは、税制が実際よりも「不公平である」かのように見せかけました（不公平さを過大評価しました）。

ブローカーのデータにはこうした隠れたエラーが含まれていたため、誰がいくら支払っているかという「真実」は、どのデータを購入したかによって劇的に変化してしまったのです。もし政府の担当者が誤ったデータを使用していれば、税制が実際には貧しい家族を苦しめているにもかかわらず、「税制は問題ない」と判断してしまうかもしれませんし、あるいはその逆も起こり得ます。

「コピー＆ペースト」の陰謀

最も驚くべき発見の一つは、2つの主要なブローカーであるCotalityとATTOMが、同じ間違いを犯していたことです。彼らは同じ住宅を見落とし、同じ取引に対して同じ奇妙な計算ミスを行っていました。実は、これらの企業はしばしばデータを共有していることが判明しました。これは、2つのニュース局がどちらも同じ通信社から速報を受け取り、その通信社にタイポ（誤植）があったような状況です。両方のニュース局が同じ間違ったストーリーを報じ、両者が一致しているために、誰もそれが間違いであると気づかないのです。

著者らは、ブローカ―が価格を間違えた住宅において、99.8%の確率で、両方のブローカーが全く同じ誤った数字を提示していることを発見しました。これは科学者にとって大きな問題です。通常、異なる2つの情報源が一致していれば、「素晴らしい、これは正しいに違いない」と考えるものです。しかし、このケースでは、彼らの「一致」こそが罠でした。彼らは共に、同じ理由で間違っていたのです。

結論

この論文は、単にいくつかの誤字脱字を指摘しているだけではありません。経済を理解するための基礎に亀裂が入っていることを明らかにしています。著者らは、ブローカーが販売する「整えられたパッケージ」としてのデータを盲信してはならないと結論付けています。これらの企業は、どのようにデータを加工したり推測したりしているのかを必ずしも開示しないため、私たちは目隠しをした状態で操られているのです。

解決策はあるのでしょうか？ それは**「オープンデータ」**です。政府はすでに、正しい元の記録（グラウンド・トゥルース）を保持しています。著者らは、高価で不透明なブローカーに頼るのではなく、研究者や政策立案者は無料の公開データを直接利用すべきだと主張しています。データの作成過程が見えないのであれば、そこから導き出される結論を信頼することはできません。AIとビッグデータが主導権を握る世界において、最も重要なことは、データが単に「大きい」だけでなく、「正しい」ものであることを確認することなのです。