Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

Nas colinas e vales do Nepal, milhões de famílias passaram décadas tentando se afastar do cozimento com fumaça e fuligem. Por gerações, as famílias dependeram da queima de madeira, resíduos agrícolas ou esterco, uma prática que prejudica a saúde e esgota as florestas. Para ajudar, o governo e grupos internacionais passaram anos instalando plantas de biogás. Esses sistemas pegam resíduos animais e os transformam em um gás limpo para cozinhar, oferecendo a promessa de uma vida mais limpa e saudável. Mas um fogão limpo no quintal não garante um fogo limpo na cozinha. As famílias podem instalar a tecnologia, mas deixarem de usá-la se faltar água, se os animais ficarem sem esterco ou se a máquina quebrar e ninguém conseguir consertá-la. Essa lacuna entre ter a tecnologia e realmente usá-la é o enigma central para qualquer pessoa que tente entender como as transições energéticas realmente funcionam.

Para acompanhar esse progresso, pesquisadores frequentemente dependem de grandes levantamentos nacionais que perguntam a milhares de famílias sobre suas escolhas de combustível. Nos últimos anos, cientistas começaram a usar programas de computador poderosos, conhecidos como aprendizado de máquina (machine learning), para analisar esses levantamentos. Esses programas procuram padrões nos dados para prever quais domicílios têm maior probabilidade de usar o biogás. A esperança é que essas previsões possam atuar como um mapa, mostrando aos oficiais onde a transição energética está tendo sucesso e onde está estagnada. No entanto, um mapa desenhado para um país inteiro pode não servir para uma aldeia específica, e um mapa desenhado para um ano pode não servir para o próximo. A questão é se esses modelos computacionais nacionais permanecem úteis quando aplicados a diferentes lugares ou diferentes tempos, ou se tornam apenas suposições desatualizadas.

Uma equipe de pesquisadores partiu para testar exatamente isso. Eles pegaram modelos de aprendizado de máquina construídos a partir de dados nacionais no Nepal e tentaram usá-los para prever o uso de biogás em uma área local específica, o Vale de Chitwan, ao longo de vários anos diferentes. Eles queriam ver se os modelos ainda conseguiam distinguir entre os domicílios que usariam o biogás e aqueles que não usariam, mesmo conforme o tempo passava e a situação local mudava. Eles também queriam ver se os modelos tratavam diferentes grupos sociais de forma justa, ou se falhavam consistentemente para certas comunidades.

Os pesquisadores reuniram dados de três levantamentos nacionais realizados em 2011, 2016 e 2022, que cobriram todo o país. Eles então compararam essas previsões nacionais com levantamentos independentes que realizaram eles próprios no Vale de Chitwan em 2014, 2017 e 2023. Para tornar o teste justo, eles usaram apenas informações que estavam disponíveis antes de cada levantamento local ocorrer. Por exemplo, ao prever para o levantamento local de 2014, eles usaram apenas os dados nacionais de 2011. Isso garantiu que eles estivessem testando o quão bem os modelos resistiam ao tempo, em vez de apenas repetir o que já sabiam.

Os resultados revelaram uma divisão fascinante no desempenho desses modelos. Quando os pesquisadores observaram se os modelos conseguiam classificar corretamente os domicílios — identificando quais famílias tinham maior probabilidade de usar o biogás do que outras — os modelos permaneceram surpreendentemente fortes. Mesmo anos depois, os programas de computador ainda eram bons em identificar os domicílios com uma chance maior de usar a tecnologia. No entanto, quando os pesquisadores observaram os números reais, os modelos tornaram-se menos precisos. Os modelos continuavam prevendo que mais famílias usariam o biogás do que realmente usavam. Com o tempo, a lacuna entre o que os modelos previam e o que era observado na vida real aumentou. Na comparação mais recente, os modelos previram que quase três por cento dos domicílios usariam o biogás como seu combustível principal, mas o número real era de apenas cerca de um por cento.

Essa discrepância tornou-se ainda mais clara quando os pesquisadores observaram as diferentes etapas do uso do biogás. Ter uma planta instalada é apenas o primeiro passo. Uma planta pode ser ativa por um ano e depois parar de funcionar. Uma família pode usar o gás ocasionalmente, ou pode usá-lo como seu combustível principal. Os modelos nacionais foram projetados para prever o estágio mais avançado: o uso do biogás como o combustível primário para cozinhar. Quando os pesquisadores compararam essas previsões com os dados locais, descobriram que os modelos funcionavam melhor ao observar esse estágio específico e avançado. Mas, quando observaram estágios mais simples, como apenas ter uma planta instalada, os modelos superestimaram vastamente quantos domicílios estavam realmente usando a tecnologia. Em 2023, por exemplo, embora treze por cento dos domicílios tivessem uma planta, apenas seis por cento relatavam que ela estava ativa, e menos de três por cento a utilizavam como seu combustível principal. Os modelos, treinados no objetivo nacional de uso primário, não consegravam traduzir facilmente esse sucesso para a realidade desordenada do uso parcial ou do equipamento quebrado.

O estudo também revelou diferenças importantes baseadas na identidade social. No Nepal, a sociedade é estruturada pelo sistema de castas, um sistema que historicamente determinou o acesso a recursos e oportunidades. Quando os pesquisadores compararam as previsões do modelo com os resultados reais para diferentes grupos de castas, encontraram um padrão consistente de subprevisão para comunidades marginalizadas. Especificamente, os domicílios da casta Dalit, que enfrentam discriminação de longa data, eram significativamente menos propensos a usar o biogás do que os modelos nacionais previam. Os modelos, construídos sobre médias nacionais amplas, falharam em considerar as barreiras específicas que essas famílias enfrentam. Em contraste, os modelos não mostraram o mesmo tipo de lacuna para domicílios envolvidos em grupos de floresta comunitária, sugerindo que, enquanto o status social foi um fator importante para o erro de previsão, a participação institucional local foi um diferencial menor neste contexto específico.

Os pesquisadores concluíram que esses modelos nacionais não devem ser tratados como previsões fixas que dizem exatamente quantas pessoas usarão o biogás em um determinado ano. Em vez disso, devem ser vistos como marcos de referência adaptáveis. Eles são ferramentas úteis para identificar diferenças relativas — dizendo quais domicílios têm maior probabilidade de adotar a tecnologia do que outros — mas derivam quando se trata de prever números exatos. O estudo sugere que, para entender verdadeiramente a transição energética, os oficiais precisam verificar repetidamente essas previsões nacionais contra as realidades locais. Ao fazer isso, eles podem identificar onde os modelos estão falhando, como em grupos sociais específicos ou em estágios específicos de uso da tecnologia, e direcionar o apoio onde ele é mais necessário.

Em última análise, o trabalho mostra que, embora a tecnologia possa ser entregue a um domicílio, mantê-la funcionando exige uma compreensão muito mais profunda da vida local. Um programa de computador pode dizer quem provavelmente usará uma planta de biogás, mas não consegue facilmente enxergar a bomba quebrada, a falta de água ou as barreiras sociais que impedem uma família de usá-la. O caminho para um futuro de energia limpa no Nepal, e talvez em outros lugares, reside não apenas em instalar mais fogões, mas em reavaliar constantemente nossas previsões para garantir que elas reflitam as vidas complexas e em constante mudança das pessoas que pretendem servir.