Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

ネパールの丘陵地帯や谷間では、何百万もの世帯が、煙や煤（すす）を使った調理から脱却しようと数十年にわたり試行錯誤を続けてきました。何世代にもわたり、家族は薪や農作物の残渣、あるいは家畜の糞を利用してきましたが、この習慣は健康を害し、森林を枯渇させます。これを支援するため、政府や国際団体は長年、バイオガスプラントの設置に資金を投じてきました。これらのシステムは、動物の排泄物をクリーンな調理用ガスへと変え、より清潔で健康的な生活という約束を提示しています。しかし、庭に清潔なストーブがあることが、必ずしも台所での清潔な火を保証するわけではありません。技術を導入したとしても、水が不足していたり、家畜の糞が足りなくなったり、あるいは機械が故障して修理できる人がいなかったりする場合、家族はその利用を止めてしまうことがあります。技術を持つことと、実際にそれを使用することの間のこの乖離こそが、エネルギー転換が実際にどのように機能するかを理解しようとする者にとっての中心的な謎なのです。

この進展を追跡するために、研究者たちはしばしば、数千世帯に対して燃料の選択について尋ねる大規模な国家調査に頼ります。近年、科学者たちは、機械学習として知られる強力なコンピュータプログラムを使用して、これらの調査を分析し始めています。これらのプログラムはデータ内のパターンを探り、どの世帯がバイオガスを使用する可能性が高いかを予測します。その期待は、これらの予測が地図のように機能し、エネルギー転換が成功している場所と停滞している場所を当局に示すことです。しかし、国全体のために描かれた地図は、特定の村には適合しないかもしれませんし、ある年のために描かれた地図は翌年には合わないかもしれません。問題は、これらの国家的なコンピュータモデルが、異なる場所や異なる時期に適用された際にも依然として有用であり続けるのか、それとも単に時代遅れの推測になってしまうのか、ということです。

ある研究チームは、まさにこのことを検証するために立ち上がりました。彼らはネパールの国家データから構築された機械学習モデルを取り、それを特定の地域であるチトワン渓谷において、数年間にわたってバイオガス利用を予測するために使用しました。彼らは、時間が経過し現地の状況が変化しても、モデルがバイオガスを利用する世帯と利用しない世帯を依然として区別できるかどうかを確認したいと考えました。また、モデルが異なる社会グループを公平に扱っているか、あるいは特定のコミュニティに対して一貫して的外れな予測をしていないかも検証しました。

研究者たちは、ネパール全土をカバーする2011年、2016年、2022年の3つの国家調査からデータを収集しました。そして、それらの国家的な予測を、彼らが自身で行ったチトワン渓河における2014年、2017年、2023年の独立した調査と比較しました。テストを公正にするため、彼らは各ローカル調査が行われる前に利用可能であった情報のみを使用しました。例えば、2014年のローカル調査を予測する際には、2011年の国家データのみを使用しました。これにより、単に既知の事実を繰り返すのではなく、モデルが時間の経過とともにどのように維持されるかをテストすることができました。

結果は、これらのモデルのパフォーマンスにおける興味深い分裂を明らかにしました。研究者が、モデルが世帯を正しくランク付けできるか（つまり、他の家族よりもバイオガスを使用する可能性が高い家族を特定できるか）を見たとき、モデルは驚くほど強力なままでした。数年が経過しても、コンピュータプログラムは依然としてバイオガスを利用する可能性が高い世帯を見つけ出すことに長けていました。しかし、実際の数値を見たとき、モデルの精度は低下していました。モデルは、実際よりも多くの家族がバイオガスを使用すると予測し続けていたのです。時間が経つにつれ、モデルの予測と現実の観察値との間のギャップは広がっていきました。最新の比較では、モデルはほぼ3パーセントの世帯が主要な燃料としてバイオガスを使用すると予測しましたが、実際には約1パーセントでした。

この不一致は、研究者がバイオガスの利用段階に着目したとき、より明確になりました。プラントを設置することは、単なる第一歩に過ぎません。プラントは1年間稼働した後、停止することもあります。家族がガスを時々使うこともあれば、それを主要な燃料として使うこともあります。国家モデルは、最も進んだ段階である「主要な調理燃料としての使用」を予測するように設計されていました。研究者がこれらの予測をローカルデータと比較したところ、モデルは、その特定の高度な段階を見るときに最もよく機能することがわかりました。しかし、単にプラントを設置しているだけの段階など、より単純な段階を見たとき、モデルは実際に技術を使用している家族の数を大幅に過大評価していました。例えば2023年には、13パーセントの世帯がプラントを所有していた一方で、それが稼働していると報告したのはわずか6パーセントであり、それを主要な燃料として使用しているのは3パーセント未満でした。主要な利用という国家目標に基づいて訓練されたモデルは、部分的な利用や設備の故障といった、混沌とした現実へと容易に翻訳することができなかったのです。

研究はまた、社会的アイデンティティに基づく重要な違いも明らかにしました。ネパールでは、社会はカーストによって構造化されており、これは歴史的に資源や機会へのアクセスを決定してきました。研究者がモデルの予測を異なるカースト・グループの実績と比較したところ、疎外されたコミュニティに対する過小予測という一貫したパターンが見られました。具体的には、長年の差別を受けてきたダリット（Dalit）階級の世帯は、国家モデルが予測するよりも大幅にバイオガスを使用する可能性が低いことがわかりました。広範な国家平均に基づいて構築されたモデルは、これらの家族が直面している特定の障壁を考慮できていませんでした。対照的に、コミュニティ森林グループに関わる世帯については、モデルに同様の乖離は見られませんでした。このことは、社会的地位が予測誤差の主要な要因であった一方で、現地の制度的メンバーシップはこの特定の文脈においては差別化要因ではなかったことを示唆しています。

研究者たちは、これらの国家モデルを、特定の年にどれだけの人がバイオガスを使用するかを正確に告げる固定された予測として扱うべきではないと結論付けました。代わりに、これらは適応的なベンチマークとして見なされるべきです。これらは相対的な差異を特定する（どの世帯が他の世帯よりもテクノロジーを採用する可能性が高いかを教える）ための有用なツールですが、正確な数値を予測することに関しては、ずれが生じます。この研究は、エネルギー転換を真に理解するためには、当局がこれらの国家的な予測を繰り返し現地の現実と照らし合わせる必要があることを示唆しています。そうすることで、特定の社会グループや特定の技術利用段階においてモデルがどこで失敗しているかを特定し、最も支援が必要な場所にターゲットを絞ることができるのです。

結局のところ、この研究は、テクノロジーを世帯に届けることはできても、それを稼働させ続けるには、現地の生活に対するより深い理解が必要であることを示しています。コンピュータプログラムは、誰がバイオガスプラントを使用する可能性が高いかを教えることはできますが、壊れたポンプや水の不足、あるいは家族の利用を阻む社会的障壁を容易に見ることはできません。ネパール、そしておそらく他の場所におけるクリーンエネルギーへの道は、単にストーブを増設することではなく、私たちの予測を絶えず再評価し、それが対象となる人々の複雑で変化し続ける生活を確実に反映するようにすることにあるのです。