Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

In den Hügeln und Tälern Nepals versuchen Millionen von Haushalten seit Jahrzehnten, sich vom Kochen mit Rauch und Ruß zu lösen. Seit Generationen verlassen sich Familien auf das Verbrennen von Holz, Ernterückständen oder Dung – eine Praxis, die die Gesundheit schädigt und Wälder dezimiert. Um zu helfen, haben die Regierung und internationale Gruppen jahrelang Biogasanlagen installiert. Diese Systeme nehmen tierische Abfälle und verwandeln sie in ein sauberes Gas zum Kochen, was das Versprechen eines saubereren, gesünderen Lebens in sich trägt. Doch ein sauberer Herd im Hof garantiert keinen sauberen Brand in der Küche. Familien mögen die Technologie installieren, aber die Nutzung einstellen, wenn es ihnen an Wasser mangelt, wenn den Tieren der Mist ausgeht oder wenn die Maschine kaputtgeht und niemand sie reparieren kann. Diese Lücke zwischen dem Besitz der Technologie und der tatsächlichen Nutzung ist das zentrale Rätsel für jeden, der verstehen will, wie Energiewendungen wirklich funktionieren.

Um diesen Fortschritt zu verfolgen, verlassen sich Forscher oft auf große nationale Erhebungen, die tausende Familien nach ihrer Brennstoffwahl fragen. In den letzten Jahren haben Wissenschaftler begonnen, leistungsstarke Computerprogramme, bekannt als maschinelles Lernen, einzusetzen, um diese Umfragen zu analysieren. Diese Programme suchen in den Daten nach Mustern, um vorherzusagen, welche Haushalte wahrscheinlich Biogas nutzen werden. Die Hoffnung ist, dass diese Vorhersagen als Landkarte dienen können, die Beamten zeigt, wo die Energiewende erfolgreich ist und wo sie stagniert. Eine Landkarte, die für ein ganzes Land gezeichnet wurde, passt jedoch möglicherweise nicht zu einem spezifischen Dorf, und eine Landkarte, die für ein Jahr gezeichnet wurde, passt vielleicht nicht zum nächsten. Die Frage ist, ob diese nationalen Computermodelle nützlich bleiben, wenn sie auf verschiedene Orte oder verschiedene Zeiten angewendet werden, oder ob sie einfach zu veralteten Vermutungen werden.

Ein Team von Forschern setzte sich genau dazu zum Ziel, dies zu testen. Sie nahmen auf nationalen Daten basierende maschinelle Lernmodelle aus Nepal und versuchten, die Biogasnutzung in einem spezifischen lokalen Gebiet, dem Chitwan-Tal, über mehrere verschiedene Jahre hinweg vorherzusagen. Sie wollten sehen, ob die Modelle immer noch unterscheiden konnten, welche Haushalte Biogas nutzen würden und welche nicht, selbst als die Zeit verging und sich die lokale Situation änderte. Sie wollten auch sehen, ob die Modelle verschiedene soziale Gruppen fair behandelten oder ob sie bei bestimmten Gemeinschaften konsequent danebenlagen.

Die Forscher sammelten Daten aus drei nationalen Erhebungen, die in den Jahren 2011, 2016 und 2022 durchgeführt wurden und das gesamte Land abdeckten. Dann verglichen sie diese nationalen Vorhersagen mit unabhängigen Erhebungen, die sie selbst im Chitwan-Tal in den Jahren 2014, 2017 und 2023 durchgeführt hatten. Um den Test fair zu gestalten, verwendeten sie nur Informationen, die vor jeder lokalen Erhebung verfügbar waren. So nutzten sie beispielsweise für die Vorhersage der lokalen Erhebung von 2014 nur die nationalen Daten von 2011. Dies stellte sicher, dass sie testeten, wie gut die Modelle über die Zeit Bestand hatten, anstatt nur das zu wiederholen, was sie bereits wussten.

Die Ergebnisse offenbarten eine faszinierende Spaltung in der Leistung dieser Modelle. Wenn die Forscher betrachteten, ob die Modelle Haushalte korrekt rangieren konnten – also identifizierten, welche Familien mit höherer Wahrscheinlichkeit Biogas nutzen würden als andere –, blieben die Modelle überraschend stark. Selbst Jahre später waren die Computerprogramme immer noch gut darin, die Haushalte mit einer höheren Chance auf die Nutzung der Technologie zu entdecken. Wenn die Forscher jedoch die tatsächlichen Zahlen betrachteten, wurden die Modelle weniger genau. Die Modelle sagten beständig voraus, dass mehr Familien Biogas nutzen würden, als dies tatsächlich der Fall war. Im Laufe der Zeit wurde die Lücke zwischen dem, was die Modelle vorhersagten, und dem, was in der Realität beobachtet wurde, immer größer. Im jüngsten Vergleich sagten die Modelle voraus, dass fast drei Prozent der Haushalte Biogas als Hauptbrennstoff nutzen würden, während die tatsächliche Zahl nur bei etwa einem Prozent lag.

Diese Diskrepanz wurde noch deutlicher, als die Forscher die verschiedenen Stadien der Biogasnutzung untersuchten. Eine Anlage zu besitzen, ist nur der erste Schritt. Eine Anlage kann ein Jahr lang aktiv sein und dann aufhören zu funktionieren. Eine Familie nutzt das Gas vielleicht gelegentlich oder verwendet es als ihren Hauptbrennstoff. Die nationalen Modelle waren darauf ausgelegt, das fortgeschrittenste Stadium vorherzusagen: die Nutzung von Biogas als primären Kochbrennstoff. Als die Forscher diese Vorhersagen mit den lokalen Daten verglichen, stellten sie fest, dass die Modelle am besten funktionierten, wenn sie auf dieses spezifische, fortgeschrittene Stadium blickten. Aber wenn sie einfachere Stadien betrachteten, wie etwa nur das Vorhandensein einer Anlage, überschätzten die Modelle die Anzahl der Familien, die die Technologie tatsächlich nutzten, massiv. Im Jahr 2023 beispielsweise hatten dreizehn Prozent der Haushalte eine Anlage, aber nur sechs Prozent gaben an, dass diese aktiv sei, und weniger als drei Prozent nutzten sie als ihren Hauptbrennstoff. Die Modelle, die auf dem nationalen Ziel der Primärnutzung trainiert wurden, konnten diesen Erfolg nicht ohne Weiteres auf die unordentliche Realität der Teilnutzung oder defekter Ausrüstung übertragen.

Die Studie deckte auch wichtige Unterschiede basierend auf der sozialen Identität auf. In Nepal ist die Gesellschaft durch das Kastensystem strukturiert, das historisch über den Zugang zu Ressourcen und Chancen bestimmt hat. Als die Forscher die Vorhersagen des Modells mit den tatsächlichen Ergebnissen für verschiedene Kastengruppen verglichen, stellten sie ein konsistentes Muster der Unterprognose für marginalisierte Gemeinschaften fest. Insbesondere Haushalte der Dalit-Kaste, die seit langem Diskriminierung erfahren, nutzten deutlich seltener Biogas, als die nationalen Modelle vorhersagten. Die Modelle, die auf breiten nationalen Durchschnittswerten basierten, konnten die spezifischen Barrieren, mit denen diese Familien konfrontiert sind, nicht berücksichtigen. Im Gegensatz dazu zeigten die Modelle nicht die gleiche Art von Lücke für Haushalte, die in Gemeinschaftsforstgruppen organisiert sind, was darauf hindeutet, dass der soziale Status ein wesentlicher Faktor für den Vorhersagefehler war, die lokale institutionelle Mitgliedschaft jedoch in diesem spezifischen Kontext ein geringerer Differenzierer war.

Die Forscher kamen zu dem Schluss, dass diese nationalen Modelle nicht als feste Prognosen betrachtet werden sollten, die uns exakt sagen, wie viele Menschen in einem bestimmten Jahr Biogas nutzen werden. Stattdessen sollten sie als adaptive Benchmarks betrachtet werden. Sie sind nützliche Werkzeuge, um relative Unterschiede aufzuzeigen – also zu sagen, welche Haushalte mit höherer Wahrscheinlichkeit die Technologie annehmen werden als andere –, aber sie driften ab, wenn es um die Vorhersage exakter Zahlen geht. Die Studie legt nahe, dass Beamte, um die Energiewende wirklich zu verstehen, diese nationalen Vorhersagen wiederholt mit der lokalen Realität abgleichen müssen. Durch dies können sie identifizieren, wo die Modelle versagen, etwa bei spezifischen sozialen Gruppen oder bei bestimmten Stadien der Technologie Nutzung, und ihre Unterstützung dort gezielt einsetzen, wo sie am dringendsten benötigt wird.

Letztendlich zeigt die Arbeit, dass man zwar Technologie zu einem Haushalt liefern kann, aber um sie am Laufen zu halten, ein viel tieferes Verständnis des lokalen Lebens erforderlich ist. Ein Computerprogramm kann Ihnen sagen, wer wahrscheinlich eine Biogasanlage nutzen wird, aber es kann nicht ohne Weiteres die defekte Pumpe, den Wassermangel oder die sozialen Barrieren sehen, die eine Familie daran hindern, sie zu nutzen. Der Weg zu einer sauberen Energiezukunft in Nepal, und vielleicht auch anderswo, liegt nicht nur in der Installation von mehr Herden, sondern in der ständigen Neubewertung unserer Vorhersagen, um sicherzustellen, dass sie die komplexen, sich verändernden Leben der Menschen widerspiegeln, denen sie dienen sollen.