Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York

米国では、「鉛・銅規則改訂（Lead and Copper Rule Revisions）」と呼ばれる連邦規則により、すべての地域水道事業体に対し、道路から個々の家庭まで水を運ぶ配管である「サービスライン」の完全な地図を作成することが義務付けられています。その目的は、子供たちに深刻な健康問題を引き起こす可能性のある毒性金属である鉛製のパイプを見つけ出し、交換することです。数十年の間、公共事業体は古い紙の記録を持っていたり、実際に地面を掘り返して確認したりしていたため、どこに鉛のパイプがあるのかを知っていました。しかし、記録が存在しない数百万もの住所に対して、新しい規則では、掘り返す代わりにコンピュータモデルを使用して配管の材質を推測することを許可しました。これらのモデルは、家の築年数や近隣地域のデータなどを分析し、そのパイオが鉛、銅、あるいはプラスチックである可能性が高いかを予測します。すべてのパイプを掘り返すことは非常に費用がかかるため、この手法は時間と費用を節約することを目的としています。しかし、これらのモデルはあくまで「推測」であるため、規則では、水道事業体が実際にパイプを物理的に検査することで、その正確性を確認することを求めています。公衆の利益は、これらのコンピュータによる推測が公衆衛生を託せるほど信頼できるものなのか、それとも統計的な自信という層の下に、危険な数の鉛パイプを隠しているのではないか、という点にかかっています。

ムハンマド・サルマド・ソヘイルという研究者は、ニューヨーク州全域の水道事業体が提出した公開記録を調査することで、このシステムをテストすることにしました。ニューヨーク州は、各住所に対して、水道事業体がどのようにして配管の材質を判定したか（実際に掘り返したのか、紙の記録を確認したのか、あるいはコンピュータモデルを使用したのか）を詳細に公開しているという点で独特です。ソヘイルは、コンピュータモデルが一般的に間違っていることを証明しようとしたのではなく、代わりに、水道事業体が提出した具体的な数値を見て、それが理にかなっているかどうかを確認しました。彼は、コンピュータモデルを少なくとも100件の住所に対して使用しているニューヨーク州内の153の自治体に焦点を当てました。彼の最初のステップは、単純なチェックでした。モデルがどれだけ多様な回答を出したかを数えることです。健全なシステムであれば、モデルは特定の家に応じて、時には「鉛」、時には「銅」、時には「不明」と回答するはずです。しかし、12万6,000件近い住所をカバーする75の自治体において、モデルはすべての家に対してただ一つの回答しか出していませんでした。それはまるで、季節や場所に関係なく、天気予報士が一年中毎日「雨」と予測しているかのようでした。

この多様性の欠如は、直ちに不正の兆候ではありませんが、何かがおかしいという警告信号です。次にソヘイルは、これらの「単一回答」のリストを、同じ水道事業体が同じ町で行った物理的検査の結果と比較しました。ほとんどの場合、モデルが出した単一の回答は、作業員が地面で見つけたものと一致していました。しかし、特定の7箇所では、モデルの単一の回答が、作業員が見たものと直接矛盾していました。最も衝撃的な例はニューヨーク市です。市は43,215件の住所を分類するためにコンピュータモデルを使用しました。そのすべての住所に対して、モデルは「既知のその他（Known Other）」と回答していました。これは、特定の材質は不明だが、鉛ではないことは確実であるという意味のカテゴリーです。ニューヨーク市は、他の方法を用いて数千箇所で鉛のパイプを発見しており、12万件以上の他の住所に対しては「不明」というカテゴリーを使用していました。しかし、この4万3,000件もの膨大なグループに対しては、モデルは一度も、パイプが鉛である可能性や、あるいは「不明」である可能性さえ示唆しませんでした。これは、鉛管が一般的であった1940年以前に建てられた家を多く含むグループに対して、完璧に途切れることのない「鉛ではない」という記録でした。

この矛盾は単なる統計的な偶然ではなく、市の作業員自身によって確認されました。ニューヨーク市の5つの行政区では、作業員が数万本のパイプを実際に掘り返して検査し、かなりの数の鉛を発見していました。もしコンピュータモデルが正しく機能していたならば、これら43,000件の住所のいくつかを、潜在的な鉛としてフラグ立てすべきでした。しかし、モデルはそれらすべてをクリアしたのです。同じ奇妙なパターンは、全く異なる水道会社を持つ、550キロメートル離れた小さな村、イースト・ロチェスターでも見られました。そこでも、モデルは分類されたすべての家に対して単一の「鉛ではない」という回答を出していましたが、その村の作業員がパイプを掘り返した際には、約10%で鉛が見つかっていました。研究者はまた、市の公開記録が独立して作成されたものではないことも発見しました。データによれば、市は顧客側の配管に対するコンピュータの推測を、そのまま公共側の配管にもコピーして貼り付けていたことが分かりました。たとえ公共側の配管が、市が所有する別のパイプであったとしてもです。これは、決定プロセスが新鮮な分析ではなく、モデルが持っていたはずの不確実性を消し去ってしまうような、コピー＆ペーストのミスであったことを示唆しています。

これら43,215件の住所の中にどれほどの鉛パイプが隠れているかを理解するために、研究者は建物の築年数を調べました。モデルは主に新しい住宅に対して適用されており、当然ながらそれらの家には鉛のパイプは少ない傾向にあります。しかし、建物の築年数を調整した後でも、数字は一致しませんでした。他の方法で鉛が見つかった古い建物においても、モデルは何も見つけられませんでした。同じ近隣地域の物理的検査結果をガイドとして用いることで、研究者は、これら43,215件の住所のうち、1,150件から1,450件が、誤って安全であるとラベル付けされた鉛パイプである可能性が高いと推定しました。この推定は、作業員がパイプを掘り返した際に偏り（バイアス）がなかったという仮定に基づいたものですが、この不確実性を考慮したとしても、モデルの完璧な記録と現実の地面との間のギャップは、無視するにはあまりにも大きすぎます。

この研究は、コンピュータモデルが決して機能しないと主張しているわけでも、すべての事業体が失敗していると言っているわけでもありません。研究は、多くの場所において、モデルが物理的な現実と一致する多様な回答を生み出していることを明らかにしました。問題は、これら7つの場所におけるデータの報告方法に特有のものでした。研究者は、問題は必ずしもコンピュータのコード自体にあるのではなく、結果が公開される前にどのように処理されたかにあると主張しています。おそらく、モデルは範囲のある回答を出していたものの、コンピュータプログラムや人間のプロセスによって、明確な「安全」という結果ではないものが、州への報告前にフィルタリングされてしまった可能性があります。これは、公開記録が、モデルが実際に持っていた不確実性を隠し、クリーンで自信に満ちたリストを見せていることを意味します。州の規則では、事業体に信頼区間（確信度の尺度）を提供すること、および結果を確認するための計画を持つことを求めています。しかし、これらの事業体が提出した記録には、そのような内容は一切含まれていませんでした。

この監査が可能だったのは、ニューヨーク州がすべての住所に対して使用した手法を公開しているからです。他の多くの州では、公衆は、ある配管の分類がシャベルによるものか、それともスプレッドシートによるものかを知る術がありません。研究者は、このレベルの詳細な情報を全国的に義務付けることは費用がかからず、かつ、事業体が単一の変わることのない回答によって不確実性を隠していないかを誰もがチェックできるようにする方法であると示唆しています。調査結果は、モデルが完璧な結果を出すとき、それは完璧なモデルの証ではなく、プロセスが真実を見る能力を失った兆候である可能性が高いという警告を発しています。データによれば、最大規模の事例において、その提出物は、そのラベルを使用するために州が設定した条件を満たしていませんでした。研究者は、目録には単なる最終的な推測だけでなく、モデルの不確実性も記録されるべきであり、規制当局は、変化のないリストを、即時の調査が必要なレッドフラッグ（警告）として扱うべきであると結論付けています。