🤖 machine learning

GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

Ce papier présente GHGbench, un benchmark unifié et ouvert pour la prédiction des émissions de carbone au niveau des entreprises et des bâtiments, qui remédie à la fragmentation des données en fournissant des ensembles de données à grande échelle et harmonisés, et révèle que la généralisation hors distribution constitue le défi principal, où les modèles de base tabulaires et les embeddings multimodaux de télédétection surpassent nettement les références traditionnelles.

Auteurs originaux : Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire la quantité de pollution produite par deux choses très différentes : une gigantesque entreprise et un seul immeuble de bureaux.

Pendant longtemps, tenter de faire cela avec des ordinateurs a été comparable à essayer de comparer des pommes et des oranges en utilisant des balances différentes, des unités de mesure différentes, et des données dispersées dans mille tiroirs de classeurs verrouillés. Certaines données étaient cachées derrière des paywalls, d'autres étaient dans différentes langues, et certaines manquaient tout simplement.

GHGbench est le nouveau « traducteur universel » et « terrain d'essai » que les auteurs ont construit pour régler ce chaos. Imaginez-le comme un niveau de jeu vidéo open-source géant où différents modèles d'IA peuvent s'affronter pour voir qui est le meilleur pour prédire les émissions de carbone.

Voici un résumé simple de ce qu'ils ont fait et de ce qu'ils ont découvert :

1. Les deux « pistes » du jeu

Le benchmark possède deux niveaux distincts, car les entreprises et les bâtiments sont des bêtes très différentes.

La piste Entreprise (Le Géant Corporatif) : Ce niveau utilise des données provenant de plus de 12 000 entreprises. C'est comme essayer de deviner la pollution d'une entreprise en fonction de sa taille, du secteur dans lequel elle opère (comme la banque ou la technologie), et de ses rapports financiers. Les auteurs ont rassemblé 32 000 enregistrements de ces données.
La piste Bâtiment (Le Bloc de Béton) : Ce niveau est beaucoup plus difficile. Il utilise des données provenant de près de 100 000 bâtiments individuels répartis dans 26 villes aux États-Unis, en Australie et à Singapour. C'est comme essayer de deviner la quantité d'électricité consommée par une maison spécifique en regardant simplement son adresse, sa taille et la météo. Ils ont harmonisé des données provenant de 13 portails de villes différents en un seul format unique et propre.

2. Les règles de la course

Les auteurs n'ont pas simplement laissé les modèles d'IA deviner au hasard. Ils ont établi des règles strictes pour voir si les modèles étaient réellement intelligents ou s'ils se contentaient de mémoriser les réponses :

Le test « Même quartier » : Le modèle peut-il prédire les émissions pour des bâtiments qu'il a déjà vus ? (Mode facile).
Le test « Nouvelle ville » : Le modèle peut-il prédire les émissions pour une ville qu'il n'a jamais vue auparavant ? (Mode difficile). C'est comme enseigner à un élève à New York, puis le tester à Sydney.
Le test « Voyage dans le temps » : Le modèle peut-il prédire les émissions de l'année prochaine en se basant sur les données de cette année ?

3. Les grandes surprises (Ce qu'ils ont découvert)

Les auteurs ont fait fonctionner de nombreux types d'IA différents (des modèles mathématiques simples aux « modèles de base » sophistiqués qui sont comme des cerveaux sur-intelligents) et ont découvert trois choses majeures :

Surprise n°1 : Les bâtiments sont plus difficiles que les entreprises.
Prédire la pollution d'une entreprise est comme deviner le poids d'une personne en fonction de sa taille et de son titre professionnel ; c'est assez prévisible. Prédire la pollution d'un bâtiment est comme deviner le poids d'une personne en fonction de son adresse, car cela dépend de choses invisibles comme le nombre de personnes à l'intérieur, l'heure à laquelle ils allument les lumières, et l'âge du réfrigérateur. Les données ne vous disent pas ces choses, donc l'IA lutte davantage.
Surprise n°2 : Le problème de la « Nouvelle ville » est énorme.
Le plus grand écart de performance ne se situait pas entre les différents modèles d'IA ; il se situait entre « avoir vu les données auparavant » et « les voir pour la première fois ».
- L'analogie : Imaginez un élève qui a mémorisé les réponses à un test de mathématiques. Il obtient 100 % à ce test. Mais si vous lui donnez un test avec les mêmes problèmes de mathématiques mais dans la devise d'un autre pays, il pourrait échouer.
- Le résultat : La plupart des modèles ont échoué lamentablement lorsqu'ils ont été déplacés vers une nouvelle ville. Cependant, un modèle spécifique appelé TabPFN (un « modèle de base pour tableaux ») a été le premier à montrer qu'il pouvait réellement apprendre les règles du jeu plutôt que de simplement mémoriser les réponses, battant les anciens modèles standards lors du déplacement vers de nouvelles villes.
Surprise n°3 : Les photos satellites sont l'arme secrète pour les nouvelles villes.
Lorsque les modèles d'IA étaient bloqués en essayant de deviner les émissions dans une nouvelle ville, l'ajout d'images satellites des bâtiments a aidé.
- L'analogie : Si vous n'avez qu'une liste d'adresses (du texte), vous pourriez deviner qu'une maison dans une ville enneigée est chauffée différemment d'une maison dans une ville chaude. Mais si vous pouvez voir le toit sur une photo satellite, vous pouvez dire s'il est couvert de neige, s'il possède des panneaux solaires, ou s'il est entouré d'arbres. Les images satellites ont donné à l'IA un « indice visuel » qui l'a aidée à se généraliser à des endroits qu'elle n'avait jamais vus auparavant.

4. Les échecs « catastrophiques »

Le papier met également en évidence les endroits où l'IA s'effondre complètement.

Le crash du « Transfert de ville » : Lorsqu'on passe d'une ville avec beaucoup de données à une ville avec très peu de données, certains modèles ne se sont pas simplement un peu détériorés ; ils se sont effondrés complètement, donnant des prédictions totalement erronées (comme prédire qu'un bâtiment émet une pollution négative).
Le plafond du « Facteur secteur » : Tenter de deviner les émissions simplement en consultant un « chiffre standard de pollution » pour un secteur (par exemple, « Toutes les banques émettent X quantité ») est trop grossier. Cela manque les détails spécifiques des entreprises individuelles, entraînant d'énormes erreurs.

Résumé

GHGbench est une boîte à outils qui permet enfin aux chercheurs de comparer les modèles d'IA équitablement. Il montre que si l'IA devient bonne pour prédire la pollution des entreprises qu'elle connaît bien, prédire la pollution pour de nouveaux bâtiments dans de nouvelles villes reste très difficile. Cependant, l'utilisation d'un type spécifique de « modèle de base » combiné à des photos satellites est la voie la plus prometteuse pour résoudre ce puzzle.

Les auteurs ont rendu tout leur code, leurs recettes de données et leurs résultats accessibles à tous, afin que d'autres scientifiques puissent s'appuyer sur ce travail sans avoir à repartir de zéro.

Résumé technique de GHGbench : un benchmark unifié multi-entités et multi-tâches pour la prédiction des émissions de carbone

Énoncé du problème
La prédiction quantitative des émissions de gaz à effet de serre (GES) au niveau des entités est cruciale pour les politiques climatiques, la finance et les opérations urbaines. Cependant, le domaine manque d'un écosystème de benchmarking unifié et ouvert. Les ressources existantes sont fragmentées : les études au niveau des entreprises s'appuient souvent sur des flux de données sous licence (par exemple, CDP, Bloomberg) avec des schémas incompatibles, tandis que les données au niveau des bâtiments sont dispersées à travers des portails municipaux avec des normes de rapport variables. Par conséquent, il est difficile de comparer des modèles sur des tâches ouvertes et reproductibles qui reflètent les changements réels de géographie, de temps et de schéma de données. De plus, les benchmarks actuels évaluent généralement soit les entreprises, soit les bâtiments de manière isolée, ne parvenant pas à traiter les différences structurelles dans la difficulté de prédiction entre ces deux types d'entités ni à tester la généralisation sous des décalages de distribution (par exemple, transfert inter-régional ou inter-municipal).

Méthodologie
Les auteurs présentent GHGbench, un jeu de données ouvert et un benchmark conçus pour évaluer conjointement la prédiction des émissions de carbone au niveau des entreprises et des bâtiments dans le cadre d'une suite de tâches partagée.

Construction du jeu de données :
- Piste Entreprise : Contient 32 830 enregistrements entreprise-année provenant de 12 087 sociétés (2018–2023). Il intègre les déclarations publiques de GES (Scope 1+2 et Scope 3) avec des signaux financiers (chiffre d'affaires, EBITDA, capitalisation boursière) et des données sectorielles (facteurs ExioML/EXIOBASE). Les données sont publiées sous forme de script de reconstruction utilisant des API publiques gratuites pour respecter les conditions des sources.
- Piste Bâtiment : Harmonise 491 591 enregistrements bâtiment-année provenant de 13 sources ouvertes réparties sur 26 zones métropolitaines aux États-Unis, en Australie et à Singapour. Il unifie les taxonomies immobilières, les coordonnées et les objectifs annuels de GES. Le jeu de données est enrichi de covariables climatiques NASA POWER et d'embeddings multimodaux de télédétection Sentinel-2 + Clay.
Conception du benchmark :
- Tâches : Le benchmark définit des splits canoniques pour la régression in-distribution, le transfert inter-régional/inter-municipal (leave-one-out), le hold-out temporel, le test de stress inter-type de propriété et la prévision à court horizon.
- Protocole d'évaluation : Tous les résultats principaux sont rapportés comme la moyenne sur plusieurs graines avec des intervalles de confiance à 95 % dérivés de tests de bootstrap appariés sur 1 000 rééchantillonnages appliqués aux lignes de test partagées. Cela assure une rigueur statistique dans les affirmations de classement des modèles.
- Lignes de base : L'évaluation couvre des références naïves, des apprentissages automatiques classiques (Ridge, Random Forest, XGBoost, LightGBM), des réseaux de neurones (MLP, FT-Transformer), des modèles de fondation de séries temporelles (Chronos, TimesFM, Moirai) et un modèle de fondation tabulaire (TabPFN v2). Un panel de LLM est également évalué pour la piste entreprise.

Contributions clés

Jeu de données ouvert unifié : Le premier jeu de données et benchmark ouvert pour évaluer conjointement les émissions des entreprises et des bâtiments à travers 26 métropoles et plus de 12 000 sociétés, présentant des splits canoniques et des signaux multimodaux.
Cadre d'évaluation rigoureux : Une suite multi-tâches avec des protocoles statistiques stricts (tests de signification par bootstrap apparié) pour distinguer les véritables améliorations de modèles de la variance, en particulier dans les contextes hors distribution (OOD).
Publication open-source : Inclut le code, les recettes de reconstruction des données et un kit de démarrage rapide pour assurer la reproductibilité sans nécessiter l'accès à des flux de données propriétaires.

Résultats et découvertes clés
L'article rapporte trois découvertes principales au niveau du benchmark :

Asymétrie de difficulté inter-entités : Les émissions des bâtiments sont structurellement plus difficiles à prédire que celles des entreprises. Alors que les émissions des entreprises sont dominées par la taille de l'entreprise (le chiffre d'affaires est le meilleur prédicteur), les émissions des bâtiments dépendent de facteurs non observés tels que les horaires d'occupation, la durée de fonctionnement et le comportement des occupants. Par conséquent, le meilleur modèle pour les bâtiments (TabPFN v2, $R^2 \approx 0,48$ ) sous-performe significativement le meilleur modèle pour les entreprises (XGBoost, $R^2 \approx 0,88$ ).
Dominance de l'écart ID-vers-OOD : L'écart de performance entre les contextes in-distribution (ID) et hors distribution (OOD) écrase toute différence de performance entre les modèles au sein d'un même contexte.
- Dans la piste bâtiment, le transfert inter-municipal provoque un effondrement de la performance pour les modèles basés sur des arbres (par exemple, LightGBM $R^2$ chute d'environ 0,41 à environ 0,03).
- Notamment, TabPFN v2 est la première ligne de base à ouvrir un écart significatif par bootstrap apparié par rapport aux arbres de gradient boostés ajustés sur une tâche d'émissions de bâtiments multi-villes et multi-sources dans un contexte OOD ( $R^2 = 0,482$ contre $0,401$ pour LightGBM). Cet avantage est attribué au pré-entraînement in-context plutôt qu'à l'architecture seule.
Gain multimodal dans les contextes de transfert : Les embeddings multimodaux de télédétection (Sentinel-2 + Clay) apportent des gains négligeables dans les contextes in-distribution (où des caractéristiques tabulaires comme la latitude/longitude suffisent) mais offrent des améliorations mesurables dans le transfert inter-municipal. Ils agissent comme un prior géographique généralisable là où la généralisation tabulaire échoue.

Modes d'échec systématiques
Le benchmark expose des modes d'échec spécifiques :

Transfert catastrophique par ville : La performance varie considérablement selon la ville ; certaines villes (par exemple, Seattle, Hobart) affichent un $R^2$ négatif pour les modèles arborescents, indiquant des décalages de distribution sévères.
Plafond de recherche par facteur sectoriel : Les recherches simples par facteur sectoriel (par exemple, ExioML) échouent à capturer l'ampleur au niveau de l'entreprise, surestimant souvent d'ordres de grandeur pour des sous-secteurs spécifiques (par exemple, les services financiers).

Signification et affirmations
Les auteurs positionnent GHGbench comme une étape nécessaire vers une évaluation ouverte et comparable de la prédiction des émissions de carbone, éloignant le domaine de la dépendance aux données payantes. L'article affirme modestement que le benchmark révèle où les modèles d'apprentissage profond et de fondation actuels réussissent (apprentissage tabulaire in-context) et où ils échouent (généralisation inter-municipale sans priors multimodaux). Il identifie le « plafond de recherche par facteur sectoriel » et le « transfert catastrophique par ville » comme des défis systématiques que la recherche future doit aborder. L'ouvrage ne prétend pas résoudre la prédiction du carbone mais fournit l'infrastructure pour mesurer les progrès de manière rigoureuse.