Evaluating national machine-learning predictions of household biogas use across time and local contexts in Nepal

Dans les collines et les vallées du Népal, des millions de ménages passent depuis des décennies à essayer de s'éloigner de la cuisine au feu de bois et à la suie. Depuis des générations, les familles dépendent de la combustion du bois, des résidus de récolte ou du bouse, une pratique qui nuit à la santé et épuise les forêts. Pour aider, le gouvernement et des groupes internationaux ont passé des années à installer des centrales de biogaz. Ces systèmes transforment les déchets animaux en un gaz propre pour la cuisson, offrant la promesse d'une vie plus saine et plus propre. Mais un poêle propre dans la cour ne garantit pas un feu propre dans la cuisine. Les familles peuvent installer la technologie, mais cesser de l'utiliser par manque d'eau, si les animaux manquent de fumier, ou si la machine tombe en panne et que personne ne peut la réparer. Ce fossé entre la possession de la technologie et son utilisation réelle est le puzzle central pour quiconque tente de comprendre comment fonctionnent réellement les transitions énergétiques.

Pour suivre ces progrès, les chercheurs s'appuient souvent sur de vastes enquêtes nationales qui interrogent des milliers de familles sur leurs choix de combustibles. Ces dernières années, des scientifiques ont commencé à utiliser de puissants programmes informatiques, connus sous le nom d'apprentissage automatique (machine learning), pour analyser ces enquêtes. Ces programmes recherchent des modèles dans les données afin de prédire quels ménages sont susceptibles d'utiliser le biogaz. L'espoir est que ces prédictions puissent servir de carte, montrant aux responsables où la transition énergétique réussit et où elle stagne. Cependant, une carte dessinée pour un pays entier peut ne pas convenir à un village spécifique, et une carte dessinée pour une année peut ne pas convenir à la suivante. La question est de savoir si ces modèles informatiques nationaux restent utiles lorsqu'ils sont appliqués à différents lieux ou à différentes époques, ou s'ils ne deviennent pas simplement des suppositions obsolètes.

Une équipe de chercheurs s'est donné pour mission de tester précisément cela. Ils ont pris des modèles d'apprentissage automatique construits à partir de données nationales au Népal et ont tenté de les utiliser pour prédire l'utilisation du biogaz dans une zone locale spécifique, la vallée de Chitwan, à travers plusieurs années différentes. Ils voulaient voir si les modèles pouvaient toujours faire la distinction entre les ménages qui utiliseraient le biogaz et ceux qui ne l'utiliseraient pas, même au fil du temps et malgré l'évolution de la situation locale. Ils voulaient également voir si les modèles traitaient les différents groupes sociaux de manière équitable, ou s'ils manquaient systématiquement la cible pour certaines communautés.

Les chercheurs ont rassemblé les données de trois enquêtes nationales menées en 2011, 2016 et 2022, qui couvraient l'ensemble du pays. Ils ont ensuite comparé ces prédictions nationales à des enquêtes indépendantes qu'ils avaient eux-mêmes menées dans la vallée de Chitwan en 2014, 2017 et 2023. Pour que le test soit équitable, ils n'ont utilisé que les informations disponibles avant chaque enquête locale. Par exemple, pour prédire l'enquête locale de 2014, ils ont utilisé uniquement les données nationales de 2011. Cela garantissait qu'ils testaient la capacité des modèles à résister au temps, plutôt que de simplement répéter ce qu'ils savaient déjà.

Les résultats ont révélé une division fascinante dans la performance de ces modèles. Lorsque les chercheurs ont examiné si les modèles pouvaient classer correctement les ménages — en identifiant les familles qui étaient plus susceptibles d'utiliser le biogaz que d'autres — les modèles sont restés étonnamment solides. Même des années plus tard, les programmes informatiques étaient toujours capables de repérer les ménages ayant une plus grande probabilité d'utiliser la technologie. Cependant, lorsque les chercheurs ont examiné les chiffres réels, les modèles se sont révélés moins précis. Les modèles prédisaient que plus de familles utiliseraient le biogaz qu'en réalité. Au fil du temps, l'écart entre ce que les modèles prédisaient et ce qui était observé dans la vie réelle s'est creusé. Dans la comparaison la plus récente, les modèles prédisaient que près de trois pour cent des ménages utiliseraient le biogaz comme combustible principal, alors que le chiffre réel n'était que d'environ un pour cent.

Cette divergence est devenue encore plus claire lorsque les chercheurs ont examiné les différentes étapes de l'utilisation du biogaz. Avoir une installation est seulement la première étape. Une centrale peut être active pendant un an, puis s'arrêter de fonctionner. Une famille peut utiliser le gaz occasionnellement, ou bien l'utiliser comme combustible principal. Les modèles nationaux ont été conçus pour prédire l'étape la plus avancée : l'utilisation du biogaz comme combustible de cuisson primaire. Lorsque les chercheurs ont comparé ces prédictions aux données locales, ils ont constaté que les modèles fonctionnaient le mieux lorsqu'ils examinaient cette étape spécifique et avancée. Mais lorsqu'ils examinaient des étapes plus simples, comme le simple fait d'avoir une installation, les modèles surestimaient largement le nombre de familles utilisant réellement la technologie. En 2023, par exemple, alors que treize pour cent des ménages possédaient une installation, seulement six pour cent déclaraient qu'elle était active, et moins de trois pour cent l'utilisaient comme combustible principal. Les modèles, entraînés sur l'objectif national de l'usage primaire, ne pouvaient pas facilement se traduire dans la réalité désordonnée de l'usage partiel ou du matériel en panne.

L'étude a également mis en lumière des différences importantes basées sur l'identité sociale. Au Népal, la société est structurée par les castes, un système qui a historiquement déterminé l'accès aux ressources et aux opportunités. Lorsque les chercheurs ont comparé les prédictions du modèle aux résultats réels pour différents groupes de castes, ils ont trouvé un schéma constant de sous-prédiction pour les communautés marginalisées. Plus précisément, les ménages appartenant à la caste Dalit, qui font face à une discrimination de longue date, étaient nettement moins susceptibles d'utiliser le biogaz que ne le prédisaient les modèles nationaux. Les modèles, fondés sur des moyennes nationales larges, n'ont pas réussi à prendre en compte les barrières spécifiques auxquelles ces familles sont confrontées. En revanche, les modèles n'ont pas montré le même type d'écart pour les ménages impliqués dans les groupes de gestion forestière communautaire, suggérant que si le statut social était un facteur majeur de l'erreur de prédiction, l'appartenance institutionnelle locale était un différenciateur moindre dans ce contexte spécifique.

Les chercheurs ont conclu que ces modèles nationaux ne devraient pas être traités comme des prévisions fixes indiquant exactement combien de personnes utiliseront le biogaz au cours d'une année donnée. Au contraire, ils doivent être considérés comme des références adaptatives. Ils sont des outils utiles pour repérer les différences relatives — nous indiquant quels ménages sont plus susceptibles d'adopter la technologie que d'autres — mais ils dérivent lorsqu'il s'agit de prédire des chiffres exacts. L'étude suggère que pour véritablement comprendre la transition énergétique, les responsables doivent vérifier de manière répétée ces prédictions nationales par rapport aux réalités locales. Ce faisant, ils peuvent identifier là où les modèles échouent, comme dans certains groupes sociaux ou à certaines étapes de l'utilisation de la technologie, et cibler leur soutien là où il est le plus nécessaire.

En fin de compte, ce travail montre que si l'on peut livrer une technologie à un ménage, la maintenir en fonctionnement nécessite une compréhension beaucoup plus profonde de la vie locale. Un programme informatique peut vous dire qui est susceptible d'utiliser une installation de biogaz, mais il ne peut pas facilement voir la pompe cassée, le manque d'eau ou les barrières sociales qui empêchent une famille de l'utiliser. Le chemin vers un avenir énergétique propre au Népal, et peut-être ailleurs, ne réside pas seulement dans l'installation de nouveaux poêles, mais dans la réévaluation constante de nos prédictions pour garantir qu'elles reflètent les vies complexes et changeantes des personnes qu'elles sont censées servir.