Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

In de heuvels en valleien van Nepal hebben miljoenen huishoudens decennia lang geprobeerd om weg te bewegen van koken met rook en roet. Generaties lang vertrouwden families op het verbranden van hout, gewasresten of mest, een praktijk die de gezondheid schaadt en bossen uitput. Om te helpen, hebben de overheid en internationale groepen jarenlang biogasinstallaties geïnstalleerd. Deze systemen nemen dierlijke afvalstoffen en zetten deze om in een schoon gas voor het koken, wat een belofte biedt van een schoner, gezonder leven. Maar een schone kachel in de tuin garandeert geen schoon vuur in de keuken. Families kunnen de technologie wel installeren, maar stoppen met het gebruik ervan als ze een tekort aan water hebben, als de dieren opraken met mest, of als de machine kapot gaat en niemand het kan repareren. Deze kloof tussen het bezitten van de technologie en het daadwerkelijk gebruiken ervan is het centrale raadsel voor iedereen die probeert te begrijpen hoe energietransities echt werken.

Om deze voortgang te volgen, vertrouwen onderzoekers vaak op grote nationale enquêtes die duizenden families vragen naar hun brandstofkeuzes. In de afgelopen jaren zijn wetenschappers begonnen met het gebruik van krachtige computerprogramma's, bekend als machine learning, om deze enquêtes te analyseren. Deze programma's zoeken naar patronen in de data om te voorspellen welke huishoudens waarschijnlijk biogas zullen gebruiken. De hoop is dat deze voorspellingen kunnen fungeren als een kaart, die ambtenaren laten zien waar de energietransitie slaagt en waar deze stilvalt. Echter, een kaart getekend voor een heel land past misschien niet bij een specif으로 dorp, en een kaart getekend voor één jaar past misschien niet bij het volgende jaar. De vraag is of deze nationale computermodellen nuttig blijven wanneer ze worden toegepast op verschillende plaatsen of verschillende tijden, of dat ze simpelweg verouderde gissingen worden.

Een team van onderzoekers zette zich af om precies dit te testen. Ze namen machine-learningmodellen die gebouwd waren op nationale data in Nepal en probeerden deze te gebruiken om het biogasgebruik in een specifiek lokaal gebied, de Chitwan-vallei, over verschillende jaren heen te voorspellen. Ze wilden zien of de modellen nog steeds het verschil konden zien tussen huishoudens die biogas zouden gebruiken en diegenen die dat niet zouden doen, zelfs terwijl de tijd verstreek en de lokale situatie veranderde. Ze wilden ook zien of de modellen verschillende sociale groepen eerlijk behandelden, of dat ze consequent de plank misslaan bij bepaalde gemeenschappen.

De onderzoekers verzamelden gegevens uit drie nationale enquêtes die in 2011, 2016 en 2022 werden uitgevoerd en die het hele land besloegen. Vervolgens vergeleken ze deze nationale voorspellingen met onafhankelijke enquêtes die zij zelf hadden uitgevoerd in de Chitwan-vallei in 2014, 2017 en 2023. Om de test eerlijk te maken, gebruikten ze alleen informatie die beschikbaar was vóór elke lokale enquête plaatsvond. Bijvoorbeeld, bij het voorspellen voor de lokale enquête van 2014, gebruikten ze alleen de nationale data van 2011. Dit zorgde ervoor dat ze testten hoe goed de modellen standhielden over de tijd, in plaats van simpelweg te herhalen wat ze al wisten.

De resultaten onthulden een fascinerende splitsing in hoe deze modellen presteren. Wanneer de onderzoekers keken naar de vraag of de modellen huishoudens correct konden rangschikken—het identificeren van welke families een grotere kans hadden om biogas te gebruiken dan anderen—bleven de modellen verrassend sterk. Zelfs jaren later waren de computerprogramma's nog steeds goed in het opsporen van de huishoudens met een hogere kans op het gebruik van de technologie. Echter, wanneer de onderzoekers naar de werkelijke aantallen keken, werden de modellen minder nauwkeurig. De modellen bleven voorspellen dat meer families biogas zouden gebruiken dan in werkelijkheid het geval was. Naarmere tijd werd de kloof tussen wat de modellen voorspelden en wat er in de werkelijkheid werd waargenomen, groter. In de meest recente vergelijking voorspelden de modellen dat bijna drie procent van de huishoudens biogas als hun belangrijkste brandstof zou gebruiken, terwijl het werkelijke aantal slechts ongeveer één procent was.

Deze discrepantie werd nog duidelijker toen de onderzoekers naar de verschillende stadia van het gebruik van biogas keken. Het hebben van een installatie is slechts de eerste stap. Een installatie kan een jaar actief zijn, en dan stoppen met werken. Een familie kan de gas soms gebruiken, of het als hun primaire brandstof gebruiken. De nationale modellen waren ontworpen om het meest geavanceerde stadium te voorspellen: het gebruik van biogas als de primaire kookbrandstof. Toen de onderzoekers deze voorspellingen vergeleken met lokale gegevens, merkten ze op dat de modellen het beste werkten wanneer ze naar dat specifieke, geavanceerde stadium keken. Maar wanneer ze naar eenvoudigere stadia keken, zoals alleen het hebben van een installatie, overschatten de modellen de hoeveelheid families die de technologie daadwerkelijk gebruikten enorm. In 2023 bijvoorbeeld, terwijl dertien procent van de huishoudens een installatie had, rapporteerde slechts zes procent dat deze actief was, en minder dan drie procent gebruikte het als hun primaire brandstof. De modellen, getraind op het nationale doel van primair gebruik, konden dat succes niet gemakkelijk vertalen naar de rommelige realiteit van gedeeltelijk gebruik of defecte apparatuur.

De studie bracht ook belangrijke verschillen aan het licht op basis van sociale identiteit. In Nepal is de samenleving gestructureerd door kaste, een systeem dat historisch gezien de toegang tot middelen en kansen heeft bepaald. Wanneer de onderzoekers de voorspellingen van het model vergeleken met de werkelijke uitkomsten voor verschillende kastengroepen, vonden ze een consistent patroon van ondervoorspelling voor gemarginaliseerde gemeenschappen. Specifiek waren huishoudens uit de Dalit-kaste, die te maken hebben gehad met langdurige discriminatie, aanzienlijk minder waarschijnlijk om biogas te gebruiken dan de nationale modellen voorspelden. De modellen, gebouwd op brede nationale gemiddelden, slaagden er niet in om rekening te houden met de specifieke barrières die deze families ervaren. In contrast hiermee vertoonden de modellen niet hetzelfde soort gat voor huishoudens die betrokken waren bij gemeenschapsbossen, wat suggereert dat hoewel de sociale status een belangrijke factor was in de voorspellingsfout, lokaal institutioneel lidmaatschap minder van een differentiator was in deze specifieke context.

De onderzoekers concludeerden dat deze nationale modellen niet moeten worden beschouwd als vaste prognoses die ons precies vertellen hoeveel mensen er in een bepaald jaar biogas zullen gebruiken. In plaats daarvan moeten ze worden beschouwd als adaptieve benchmarks. Ze zijn nuttige instrumenten voor het opsporen van relatieve verschillen—het vertellen ons welke huishoudens een grotere kans hebben om de technologie te adopteren dan anderen—maar ze wijken af als het gaat om het voorspellen van exacte aantallen. De studie suggereert dat om de energietransitie echt te begrijpen, functionarissen deze nationale voorspellingen herhaaldelijk moeten controleren tegen de lokale realiteiten. Door dit te doen, kunnen ze identificeren waar de modellen falen, zoals in specifieke sociale groepen of op specifieke stadia van technologiegebruik, en hun ondersteuning richten waar dat het hardst nodig is.

Uiteindelijk laat het werk zien dat hoewel technologie aan een huishouden kan worden geleverd, het draaiende houden ervan een veel dieper begrip van het lokale leven vereist. Een computerprogramma kan je vertellen wie waarschijnlijk een biogasinstallatie zal gebruiken, maar het kan niet gemakkelijk de kapotte pomp, het gebrek aan water, of de sociale barrières zien die een familie ervan weerhouden het te gebruiken. De weg naar een schone toekomst voor energie in Nepal, en misschien elders, ligt niet alleen in het installeren van meer kachels, maar in het voortdurend herevalueren van onze voorspellingen om ervoor te zorgen dat ze de complexe, veranderende levens weerspiegelen van de mensen die ze bedoeld zijn te dienen.