A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

大雨の探偵物語

地球を、巨大で呼吸する機械だと想像してみてください。その最も重要な器官の一つが、気象、特に地面に降り注ぐ雨です。科学の世界では、これを「水文学（ハイドロロジー）」と呼びます。これは、水が陸地、河川、そして雲の中をどのように移動するかを研究する学問です。この機械がどのように機能しているかを理解するために、科学者たちは、途切れることのない長い降雨の記録を必要としています。彼らはこれを「時系列（タイムシリーズ）」と呼びます。それは家族のフォトアルバムのようなものだと考えてください。もし100年間にわたって毎年写真があれば、家族がどのように成長し、誰が去り、大きな出来事の際に天候がどのようなものであったかを見ることができます。しかし、もし誰かがページを破り捨てたり、余白に間違った数字を書き込んだり、あるいは写真を撮るのを完全にやめてしまったらどうなるでしょうか？それが、西アフリカの科学者たちが直面している問題です。

数十年にわたり、この地域は減少する雨量計（雨を受ける装置）のネットワークと、誤字脱校正だらけの古い記録に苦しんできました。これが重要なのは、セネガル川流域が数百万人もの人々にとって命綱だからです。この川は、飲料水、農業、そして巨大な貯水池を満たし続けるための水を提供しています。もし雨の「日記」が壊れていたり、嘘で埋め尽くされていたりすれば、水を管理する人々は、洪水が起きそうな時にダムを開いたり、作物が枯れそうな時にダムを閉めたりといった、恐ろしい間違いを犯すかもしれません。大きな疑問はこうです。私たちは壊れた日記を直せるのでしょうか？現代のコンピュータ技術を使って、存在しない雨を捏造することなく、欠落したページを埋め、誤字を修正することができるのでしょうか？

世紀を超えた雨の救出ミッション

この論文は、ギニア、マリ、モーリタニア、セネガルが共有する広大なエリアであるセネガル川流域のための、大規模な救出ミッションです。著者たちのチームである研究者たちは、1895年から2020年までのあらゆる月間降水量記録を集めることに決めました。彼らはただ集めただけではありません。混乱を片付けるための、非常にスマートで自動化されたシステムを構築しました。それは、単に本を見つけるだけでなく、台帳に「10.00」と書くべきところを「1000」と書いていたり、あるいは二人の異なる人物が同じ日の出来事について異なる物語を書いていたりするのを察知する司書のようなものです。

チームは138の観測地点と8万件以上の観測データという図書室を組み立てました。しかし、このデータを使用する前に、彼らは「間違い探し」をしなければなりませんでした。彼らの自動システムは、記録の1.4%がめちゃくちゃであることを発見しました。エラーの中には常軌を逸したものもありました。マリのある観測所では、一ヶ月に111,622.8 mmの雨を記録していました（これは111メートル以上の雨量であり、物理的に不可能です！）。別の場所では90,120 mmを記録していました。システムはこれらが単なる小数点のミスであることを見抜き、100で割ることで修正しました。ここでの教訓は恐ろしくも重要です。これらのエラーを一つでも修正せずに残しておくと、その地域の降水履歴全体が数十標準偏差も狂ってしまう可能性があるのです。それは、100人の部屋にいる中で、たった一人が10トンの重さになったら、部屋全体の平均体重が全くデタラメに見えてしまうようなものです。

データが綺麗になった後、研究者たちは次の大きな問いを投げかけました。「欠落した部分をどうやって埋めるのか？」 長年の間に多くの雨量観測所が閉鎖され、特に1990年代以降、記録に大きな穴が開いてしまいました。著者たちは、欠落している月間の降水量を推測するために、6つの異なる手法をテストしました。彼らは、隣人がどうであったかを見る単純な数学から、高度な機械学習（パターンを学習するコンピュータプログラム）まで、あらゆるものを用いました。

ここから物語は面白くなります。研究者たちは、データをわざと隠して、どの手法が最も上手く推測できるかを見るために、何千回ものシミュレーションを行いました。

• ランダムな欠落（あちこちに数ヶ月の欠落がある場合）やブロック状の欠落（数年間の丸ごとの欠落がある場合）については、最も単純な手法が勝利しました。古典的な手法である「ノーマル・レシオ法（正規比法）」と単純な線形回帰がチャンピオンとなりました。彼らは欠落した降水量を、0.90に近いスキルスコア（クリング・グプタ効率）で復元しました。ランダムフォレストやXGBoostのような高度な機械学習モデルも、単純な手法と同等の成果を出しましたが、決してそれを超えることはありませんでした。結局のところ、密な近隣ネットワークがある場合、スーパーコンピュータは必要ありません。ただ、隣に誰が住んでいるかを示す優れた地図があれば十分なのです。
• しかし、落とし穴があります。 論文は、記録の末尾で欠落が発生した場合（気候変動の時期に観測所が閉鎖されたため）、単純な手法は失敗することを発見しました。それらは、実際よりも湿潤であると推測し始めてしまいます。これは「湿潤バイアス」と呼ばれます。モデルが過去の湿った年に基づいて学習されていたため、干ばつが始まっている時でさえ、「雨が降っている！」と推測し続けてしまったのです。これらの特定の「ターミナル・ギャップ（末端の欠落）」において、単純な手法によるバイアスは月あたり9.4 mmに達することがありました。

しかし、機械学習モデルはこの特定のシナリオにおいて救世主となりました。研究者たちがすべての観測地点を統合し、コンピュータに「暦年」というヒントを与えたとき（「おい、今は1990年代だ、乾燥が進んでいるぞ」と伝えたとき）、機械学習モデルはバイアスを修正することができました。彼らはエラーをわずか2.0 mm/月にまで抑え込みました。つまり、機械学習はあらゆる問題に対する魔法ではありませんが、気候が変化し、データネットワークが崩壊している時に機能する唯一の道具なのです。

チームはまた、衛星データを用いて自分たちの作業を検証しました。衛星データは、この地域が1968年から1993年まで続いた長期的な干ばつから、実際に回復していることを裏付けました。しかし、衛星データは、雨量計のデータが示唆していたよりも、回復は緩やかであることを示しました。これは、観測所のネットワークの縮小が、最近の降雨を実際よりも強く見せていたことを証明しています。これは典型的な「アトリション・バイアス（摩耗バイアス）」の事例です。

結局のところ、この論文はセネガル川流域のための、修正されたクリーンな世紀にわたる降雨の日記を提供しています。それは、日常的な欠落データについては、単純な隣接ベースの数学がいまだに王座に君臨していることを教えてくれます。しかし、ネットワークが縮小し、気候が変化する時には、自分たちを欺かないために、よりスマートな統合機械学習モデルが必要になります。著者たちは、この整理されたデータベースを公開しており、川を共有する4カ国が、水を管理し、洪水を計画し、平和を交渉するための信頼できる基盤を提供しています。これは、科学において、過去を整理することは未来を予測することと同じくらい重要であるということを思い出させてくれます。