Preregistered External Validation of Spatially Valid Conformal Prediction for Air-Pollution Exposure Mapping in China

大気が汚れている場所を示す地図は、公衆衛生にとって不可欠なツールです。それらは医師がなぜ人々が病気になるのかを理解し、政府がどこに病院を建設すべきかを導き出し、家族に対していつ屋内に留まるべきかを知らせるのに役立ちます。しかし、地図の価値は、自らの間違いに対する誠実さにあります。もしある地図が正確であると主張しながら、実際には大きく推測しているだけだとしたら、それは危険な決定につながりかねません。長年、科学者たちはこれらの汚染マップに信頼できる「誤差範囲」を設定することに苦労してきました。特に中国のような広大で変化の激しい風景からデータが得られる場合、その課題は顕著です。課題は単に汚染レベルを予測することではなく、その予測に対してどれほどの確信を持つべきかを知ることなのです。ここで、「コンフォーマル予測（conformal prediction）」と呼ばれる統計的手法が登場します。これは、予測の周囲にセーフティネットを構築する手法だと考えてください。データを整然とした予測可能なパターンに従うものと仮定することなく、特定の割合で真の値がそのネットの中に収まることを保証するものです。

研究者が最近、この新しい高度なバージョンのセーフティネットをテストしました。彼らは、31の省を持ち、急速に変化する空気の質という歴史を持つ国である中国に焦点を当てました。彼らの目的は、早期死亡の主要な原因であるPM2.5として知られる微小粒子状物質を正確にマッピングできるかどうかを確認することでした。彼らは単に一度計算を行ったのではなく、結果が自身の期待に左右されないよう、データを閲覧する前に厳格かつ事前に承認された計画を作成しました。彼らは、空間的な新手法を標準的な機械学習の手法と比較するため、1998年から2024年までの27年間のデータを使用しました。研究の結果、パフォーマンスにおける明確な分かれ道が明らかになりました。この新しい手法は、異なる地理的領域をカバーするという挑戦においては極めてうまく機能しましたが、時間の経過に伴う変化を予測するという挑戦においてはつまずきました。

研究者は、中国の全省を対象とし、1998年から2024年までを網羅する膨大なデータセットから開始しました。このデータには、人口加重平均のPM2.5濃度が含まれており、これにより各省の平均的な人が実際にどの程度の汚染物質を吸い込んでいるかがわかります。また、汚染パターンを説明するために、気温や降水量などの日々の気象データも収集されました。アイデアを検証するために、二つの異なるシナリオを用意しました。第一に、他のすべての省のデータを使用して一つの省の汚染を予測しようとする試みです。これは「空間」への対応能力をテストしています。第二に、過去のデータを用いて直近の数年間の汚染を予測しようとする試みです。これは「時間」への対応能力をテストしています。目標は明確でした。彼らの手法が90％の確率で正解することです。

研究者が空間的に手法をテストした際、その結果は見事なものでした。新しい空間的に妥当なコンフォーマル予測法は、ターゲットとなる範囲内に着地することで、87.3％のケースにおいて真の汚染レベルを捉えることに成功しました。これは、見たことのない省の不確実性の地図を描いたとき、実際の汚染レベルがほぼ常に予測範囲内に入っていたことを意味します。対照的に、比較に使用した標準的な機械学習手法はこの同じテストにおいて惨敗し、正解を得られたのは半分以下の回数でした。新手法は、一箇所の汚染が隣接する場所の汚染とどのように関連しているかを考慮することで、より信頼性の高いセーフティネットを構築できることを証明しました。研究者はまた、この信頼性がセーフティネットを使い物にならないほど広くしてしまうことで得られたものではないかについても確認しました。その結果、区間（インターバル）は標準的な手法と同じくらいタイトであり、過剰に慎重になることによる精度の代償ではないことが証明されました。

しかし、研究者が時間軸で手法をテストすると、物語は変わりました。2020年から2024年の期間の汚染レベルを、2020年以前のデータのみを使って予測しようとしたところ、成功率は79.4％に低下しました。これは設定した目標を下回り、この特定の文脈においては将来の予測に関して信頼できないことを意味していました。研究者は、この失敗の原因を中国の大気の劇的な変化へと辿り着けました。2017年以降、空気を浄化するための大規模な政府キャンペーンにより、汚染レベルが急激に低下しました。汚染が高かった古いデータに基づいて訓練されたモデルは、この突然の変化を予見できませんでした。モデルは過去に基づいた高い汚染レベルを予測し続けましたが、現実はもっとクリーンだったのです。その結果、作成されたセーフティネットの中心は高すぎ、実際の低い値を見逃してしまいました。この失敗は全国一律ではありませんでした。最も深刻だったのは、汚染の減少が最も鋭かった東中国であり、他の地域では比較的安定していました。

本研究はまた、多くの研究者が現在使用している標準的な機械学習のアプローチが決して万能薬ではないことも強調しました。それは非常に狭い区間を生み出し、高い精度を示唆していましたが、その区間はあまりにも頻繁に間違っていました。空間テストにおいて、標準的な手法が正しかったのはわずか48.6％であり、つまり半分以上の確率で間違っていたのです。これは、こうした標準的なツールを用いた空気質のマップが、誤った安心感を与える可能性があることを示唆しています。一方、新手法は中国の広大な地理を超えてその完全性を維持しており、最も困難な地域においても不確実性を正しく特定できました。研究者は、同手法の性能が国内の7つの主要地域間で一貫していたことを指摘し、北部と東部についてはやや成功率が低くなったものの、依然として許容範囲内であったとしています。

この研究の最も重要な側面の一つは、それが極めて厳格に行われたことです。研究者は、データの分割方法や何をもって成功とするかの数値を含め、計算を実行する前にプラン全体を書き残しました。これにより、結果を良く見せるために数字を操作することを防ぎました。さらに、誰でも自分たちの作業をチェックできるよう、コードとデータをすべて公開しました。このような透明性は稀なものですが、科学的発見への信頼を築くためには不可欠です。研究は、この新しい手法が空間的な汚染のマッピングには強力なツールであるが、未来を見る水晶玉ではないことを裏付けました。環境が比較的安定している場合には最適に機能しますが、景観を一晩にして変えてしまうような政策変更や排出量の突発的大規模変動を予測することはできません。

これらの知見の影響は、空気質のマップを利用するあらゆる人々にとって重大です。公衆衛生当局や研究者に対し、本研究は明確な進むべき道を提示しています。すなわち、汚染が高い場所とその測定の不確実性を理解するために空間的に妥当な手法を用いるべきだが、それらのマップが来年の出来事を正確に予測してくれるとは想定しないということです。この研究は、急速に変化する世界において、私たちが環境を測定するために用いる道具は、過去にいかに適合するかだけでなく、自らの限界がいかに正直に認められているかによってもテストされなければならないことを思い出させてくれます。新しい統計的アプローチと厳格で透明性の高いテストプロトコルを組み合わせることで、研究者は、私たちの健康を守るための地図が希望に基づく憶測ではなく、検証された信頼性という基盤の上に築かれるように、空気を可視化するためのより誠実な方法を提供したのです。