Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

Nelle colline e nelle valli del Nepal, milioni di famiglie hanno trascorso decenni cercando di allontanarsi dalla cucina con fumo e fuliggine. Per generazioni, le famiglie si sono affidate alla combustione di legna, residui agricoli o sterco, una pratica che danneggia la salute e impoverisce le foreste. Per aiutare, il governo e i gruppi internazionali hanno trascorso anni installando impianti di biogas. Questi sistemi trasformano i rifiuti animali in un gas pulito per cucinare, offrendo la promessa di una vita più pulita e sana. Ma una stufa pulita nel cortile non garantisce un fuoco pulito in cucina. Le famiglie potrebbero installare la tecnologia ma smettere di usarla se mancano l'acqua, se gli animali finiscono il letame o se la macchina si rompe e nessuno sa come ripararla. Questo divario tra l'avere la tecnologia e l'usarla realmente è il puzzle centrale per chiunque voglia capire come funzionano davvero le transizioni energetiche.

Per tracciare questo progresso, i ricercatori si affidano spesso a grandi indagini nazionali che interrogano migliaoli di famiglie sulle loro scelte di combustibile. Negli ultimi anni, gli scienziati hanno iniziato a utilizzare potenti programmi informatici, noti come machine learning, per analizzare queste indagini. Questi programmi cercano schemi nei dati per prevedere quali famiglie sono probabili utilizzatrici di biogas. La speranza è che queste previsioni possano fungere da mappa, mostrando ai funzionari dove la transizione energetica ha successo e dove invece ristagna. Tuttavia, una mappa disegnata per un intero paese potrebbe non adattarsi a un villaggio specifico, e una mappa disegnata per un anno potrebbe non adattarsi al successivo. La domanda è se questi modelli informatici nazionali rimangano utili quando applicati a luoghi o tempi diversi, o se diventino semplicemente supposizioni superate.

Un team di ricercatori si è posto l'obiettivo di testare esattamente questo. Hanno preso modelli di machine learning costruiti su dati nazionali in Nepal e hanno cercato di usarli per prevedere l'uso del biogas in un'area locale specifica, la Valle di Chitwan, attraverso diversi anni. Volevano vedere se i modelli fossero ancora in grado di distinguere tra le famiglie che avrebbero usato il biogas e quelle che non lo avrebbero fatto, anche con il passare del tempo e il mutare della situazione locale. Volevano anche vedere se i modelli trattassero in modo equo i diversi gruppi sociali, o se mancassero costantemente il bersaglio per determinate comunità.

I ricercatori hanno raccolto dati da tre indagini nazionali condotte nel 2011, 2016 e 2022, che coprivano l'intero paese. Hanno poi confrontato le previsioni nazionali con indagini indipendenti che avevano condotto loro stessi nella Valle di Chitwan nel 2014, 2017 e 2023. Per rendere il test equo, hanno utilizzato solo le informazioni che erano disponibili prima di ciascuna indagine locale. Ad esempio, per prevedere l'indagine locale del 2014, hanno usato solo i dati nazionali del 2011. Ciò ha garantito che stessero testando quanto i modelli resistessero nel tempo, piuttosto che limitarsi a ripetere ciò che già sapevano.

I risultati hanno rivelato una divisione affascinante nel modo in cui questi modelli operano. Quando i ricercatori hanno osservato se i modelli potessero classificare correttamente le famiglie — identificando quali famiglie avrebbero avuto maggiori probabilità di usare il biogas rispetto ad altre — i modelli sono rimasti sorprendentemente forti. Anche anni dopo, i programmi informatici erano ancora bravi a individuare le famiglie con una maggiore probabilità di utilizzare la tecnologia. Tuttavia, quando i ricercatori hanno guardato i numeri effettivi, i modelli sono diventati meno accurati. I modelli continuavano a prevedere che più famiglie avrebbero usato il biogas di quanto non accadesse in realtà. Con il passare del tempo, il divario tra ciò che i modelli prevedevano e ciò che veniva osservato nella vita reale si è ampliato. Nell'ultimo confronto, i modelli prevedevano che quasi il tre per cento delle famiglie avrebbe usato il biogas come combustibile principale, ma il numero reale era di circa l'uno per cento.

Questa discrepanza è diventata ancora più evidente quando i ricercatori hanno esaminato le diverse fasi dell'uso del biogas. Avere un impianto installato è solo il primo passo. Un impianto può essere attivo per un anno, poi smettere di funzionare. Una famiglia può usarlo occasionalmente, o può usarlo come combustibile principale. I modelli nazionali erano progettati per prevedere la fase più avanzata: l'uso del biogas come combustibile primario per cucinare. Quando i ricercatori hanno confrontato queste previsioni con i dati locali, hanno scoperto che i modelli funzionavano meglio quando osservavano quella fase specifica e avanzata. Ma quando hanno guardato fasi più semplici, come il solo avere un impianto installato, i modelli hanno sovrastimato enormemente quante famiglie stessero effettivamente usando la tecnologia. Nel 2023, ad esempio, mentre il tredici per cento delle famiglie aveva un impianto, solo il sei per cento dichiarava che fosse attivo, e meno del tre per cento lo usava come combustibile principale. I modelli, addestrati sull'obiettivo nazionale dell'uso primario, non riuscivano facilmente a tradurre quel successo nelle fasi di uso parziale o di attrezzatura guasta, che rappresentano la realtà disordinata.

Lo studio ha inoltre svelato importanti differenze basate sull'identità sociale. In Nepal, la società è strutturata in base alle caste, un sistema che ha storicamente determinato l'accesso alle risorse e alle opportunità. Quando i ricercatori hanno confrontato le previsioni del modello con i risultati reali per i diversi gruppi di casta, hanno trovato un pattern costante di sottostima per le comunità marginalizzate. Nello specifico, le famiglie appartenenti alla casta Dalit, che hanno affrontato una discriminazione di lunga data, erano significativamente meno propense a usare il biogas rispetto a quanto previsto dai modelli nazionali. I modelli, costruiti su medie nazionali generali, non riuscivano a tenere conto delle barriere specifiche che queste famiglie affrontano. Al contrario, i modelli non hanno mostrato lo stesso tipo di divario per le famiglie coinvolte in gruppi di gestione forestale comunitaria, suggerendo che, mentre lo status sociale era un fatto determinante nell'errore di previsione, l'appartenenza istituzionale locale era un fattore meno differenziante in questo specifico contesto.

I ricercatori hanno concluso che questi modelli nazionali non dovrebbero essere trattati come previsioni fisse che dicono esattamente quante persone useranno il biogas in un dato anno. Invece, dovrebbero essere visti come parametri di riferimento adattivi. Sono strumenti utili per individuare le differenze relative — dicendo quali famiglie sono più propense ad adottare la tecnologia rispetto ad altre — ma perdono precisione quando si tratta di prevedere numeri esatti. Lo studio suggerisce che, per comprendere veramente la transizione energetica, i funzionari devono controllare ripetutamente queste previsioni nazionali rispetto alle realtà locali. Facendo così, possono identificare dove i modelli stanno fallendo, come in specifici gruppi sociali o in specifiche fasi dell'uso della tecnologia, e indirizzare il supporto dove è più necessario.

In definitiva, il lavoro dimostra che, sebbene la tecnologia possa essere consegnata a una famiglia, mantenerla in funzione richiede una comprensione molto più profonda della vita locale. Un programma informatico può dirti chi è probabile che utilizzi un impianto di biogas, ma non può facilmente vedere la pompa rotta, la mancanza di acqua o le barriere sociali che impediscono a una famiglia di usarlo. Il percorso verso un futuro di energia pulita in Nepal, e forse altrove, non risiede solo nell'installare più stufe, ma nel rivalutare costantemente le nostre previsioni per garantire che riflettano le vite complesse e mutevoli delle persone che intendono servire.