Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

En las colinas y valles de Nepal, millones de hogares han pasado décadas intentando alejarse de la cocina con humo y hollín. Durante generaciones, las familias dependieron de la quema de madera, residuos de cultivos o estiércol, una práctica que daña la salud y agota los bosques. Para ayudar, el gobierno y grupos internacionales han pasado años instalando plantas de biogás. Estos sistemas toman los desechos animales y los convierten en un gas limpio para cocinar, ofreciendo la promesa de una vida más limpia y saludable. Pero una estufa limpia en el patio no garantiza un fuego limpio en la cocina. Las familias pueden instalar la tecnología, pero dejar de usarla si les falta agua, si los animales se quedan sin estiércol o si la máquina se rompe y nadie puede repararla. Esta brecha entre tener la tecnología y realmente usarla es el rompecabezas central para cualquiera que intente entender cómo funcionan realmente las transiciones energéticas.

Para rastrear este progreso, los investigadores suelen confiar en grandes encuestas nacionales que preguntan a miles de familias sobre sus elecciones de combustible. En años recientes, los científicos han comenzado a utilizar potentes programas informáticos, conocidos como aprendizaje automático (machine learning), para analizar estas encuestas. Estos programas buscan patrones en los datos para predecir qué hogares tienen probabilidades de usar biogás. La esperanza es que estas predicciones puedan actuar como un mapa, mostrando a los funcionarios dónde la transición energética está teniendo éxito y dónde se está estancando. Sin embargo, un mapa dibujado para todo un país puede no ajustarse a un pueblo específico, y un mapa dibujado para un año puede no ajustarse al siguiente. La pregunta es si estos modelos computacionales nacionales siguen siendo útiles cuando se aplican a diferentes lugares o diferentes tiempos, o si simplemente se convierten en conjeturas obsoletas.

Un equipo de investigadores se propuso probar exactamente esto. Tomaron modelos de aprendizaje automático construidos a partir de datos nacionales en Nepal e intentaron usarlos para predecir el uso de biogás en un área local específica, el valle de Chitwan, a través de varios años diferentes. Querían ver si los modelos aún podían distinguir entre los hogares que usarían biogás y aquellos que no lo harían, incluso a medida que pasaba el tiempo y la situación local cambiaba. También querían ver si los modelos trataban de manera justa a los diferentes grupos sociales, o si fallaban sistemáticamente con ciertas comunidades.

Los investigadores recopilaron datos de tres encuestas nacionales realizadas en 2011, 2016 y 2022, que cubrieron todo el país. Luego compararon estas predicciones nacionales con encuestas independientes que ellos mismos habían realizado en el valle de Chitwan en 2014, 2017 y 2023. Para que la prueba fuera justa, solo utilizaron información que estuviera disponible antes de que cada encuesta local tuviera lugar. Por ejemplo, al predecir para la encuesta local de 2014, solo usaron los datos nacionales de 2011. Esto aseguró que estuvieran probando qué tan bien resistían los modelos a través del tiempo, en lugar de simplemente repetir lo que ya sabían.

Los resultados revelaron una división fascinante en cómo se desempeñan estos modelos. Cuando los investigadores observaron si los modelos podían clasificar correctamente a los hogares —identificando qué familias tenían más probabilidades de usar biogás que otras—, los modelos se mantuvieron sorprendentemente sólidos. Incluso años después, los programas informáticos seguían siendo buenos detectando los hogares con una mayor probabilidad de usar la tecnología. Sin embargo, cuando los investigadores observaron los números reales, los modelos se volvieron menos precisos. Los modelos seguían prediciendo que más familias usarían biogás de lo que realmente hacían. Con el tiempo, la brecha entre lo que los modelos predecían y lo que se observaba en la vida real se hizo más amplia. En la comparación más reciente, los modelos predijeron que casi el tres por ciento de los hogares usarían biogás como su combustible principal, pero el número real era de apenas un uno por ciento.

Esta discrepancia se hizo aún más clara cuando los investigadores observaron los diferentes estadios del uso del biogás. Tener una planta instalada es solo el primer paso. Una planta puede estar activa durante un año y luego dejar de funcionar. Una familia puede usar el gas ocasionalmente, o puede usarlo como su combustible principal. Los modelos nacionales fueron diseñados para predecir el estadio más avanzado: usar el biogás como el combustible de cocción primario. Cuando los investigadores compararon estas predicciones con los datos locales, encontraron que los modelos funcionaban mejor cuando se enfocaban en ese estadio específico y avanzado. Pero cuando observaron estadios más simples, como tener solo una planta instalada, los modelos sobreestimaron enormemente cuántas familias estaban realmente usando la tecnología. En 2023, por ejemplo, mientras que el trece por ciento de los hogares tenía una planta, solo el seis por ciento reportó que estaba activa, y menos del tres por ciento la usaba como su combustible principal. Los modelos, entrenados con el objetivo nacional del uso primario, no podían traducir fácilmente ese éxito hacia la realidad desordenada del uso parcial o el equipo averiado.

El estudio también descubrió diferencias importantes basadas en la identidad social. En Nepal, la sociedad está estructurada por castas, un sistema que histómente ha determinado el acceso a los recursos y las oportunidades. Cuando los investigadores compararon las predicciones del modelo con los resultados reales para diferentes grupos de castas, encontraron un patrón constante de subestimación para las comunidades marginadas. Específicamente, los hogares de la casta Dalit, que han enfrentado una discriminación de larga data, tenían significativamente menos probabilidades de usar biogás de lo que los modelos nacionales predecían. Los modelos, construidos sobre promedios nacionales amplios, no lograron contabilizar las barreras específicas que estas familias enfrentan. En contraste, los modelos no mostraron el mismo tipo de brecha para los hogares involucrados en grupos de gestión forestal comunitaria, lo que sugiere que, si bien el estatus social fue un factor importante en el error de predicción, la membresía institucional local fue un diferenciador menor en este contexto específico.

Los investigadores concluyeron que estos modelos nacionales no deben tratarse como pronósticos fijos que nos digan exactamente cuántas personas usarán biogás en un año determinado. En cambio, deben verse como puntos de referencia adaptativos. Son herramientas útiles para detectar diferencias relativas —diciendo qué hogares tienen más probabilidades de adoptar la tecnología que otros—, pero se desvían cuando se trata de predecir números exactos. El estudio sugiere que, para comprender verdaderamente la transición energética, los funcionarios necesitan verificar repetidamente estas predicciones nacionales frente a las realidades locales. Al hacerlo, pueden identificar dónde están fallando los modelos, como en grupos sociales específicos o en estadios específicos del uso de la tecnología, y dirigir su apoyo hacia donde más se necesita.

En última instancia, el trabajo muestra que, si bien la tecnología puede entregarse a un hogar, mantenerla funcionando requiere una comprensión mucho más profunda de la vida local. Un programa informático puede decirte quién es probable que use una planta de biogás, pero no puede ver fácilmente la bomba rota, la falta de agua o las barreras sociales que impiden que una familia la utilice. El camino hacia un futuro de energía limpia en Nepal, y quizás en otros lugares, reside no solo en instalar más estufas, sino en reevaluar constantemente nuestras predicciones para asegurar que reflejen las vidas complejas y cambiantes de las personas a las que pretenden servir.