🤖 machine learning

GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

Dit artikel introduceert GHGbench, een unificerend open benchmark voor het voorspellen van koolstofemissies op bedrijfs- en gebouwniveau dat datafragmentatie aanpakt door middel van grootschalige, geharmoniseerde datasets, en aantoont dat generalisatie buiten de trainingsverdeling de belangrijkste uitdaging is, waarbij tabulaire foundation-modellen en multimodale remote-sensing-embeddings traditionele basismodellen aanzienlijk overtreffen.

Oorspronkelijke auteurs: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen hoeveel vervuiling twee zeer verschillende dingen produceren: een gigantisch bedrijf en een enkel kantoorgebouw.

Lange tijd was het proberen dit met computers te doen, als het proberen appels en peren te vergelijken met verschillende weegschalen, verschillende meeteenheden en gegevens die verspreid liggen over duizenden verschillende afgesloten archiefkasten. Sommige gegevens waren verborgen achter betalingsmuren, sommige waren in verschillende talen, en sommige ontbraken gewoon.

GHGbench is de nieuwe "universele vertaler" en "testomgeving" die de auteurs hebben gebouwd om deze rommel op te lossen. Denk er als een gigantisch, open-source videospel-niveau waar verschillende AI-modellen kunnen racen om te zien wie het beste is in het voorspellen van koolstofemissies.

Hier is een eenvoudige uiteenzetting van wat ze deden en wat ze ontdekten:

1. De twee "banen" van het spel

De benchmark heeft twee verschillende niveaus, omdat bedrijven en gebouwen zeer verschillende wezens zijn.

De Company Track (Het Corporate Reuzen): Dit niveau gebruikt gegevens van meer dan 12.000 bedrijven. Het is als het proberen het vervuilingsniveau van een bedrijf te raden op basis van zijn omvang, de sector waarin het actief is (zoals bankwezen of technologie), en zijn financiële verslagen. De auteurs verzamelden 32.000 records van deze gegevens.
De Building Track (Het Betonnen Blokken): Dit niveau is veel moeilijker. Het gebruikt gegevens van bijna 100.000 individuele gebouwen in 26 steden in de VS, Australië en Singapore. Het is als het proberen te raden hoeveel elektriciteit een specifiek huis verbruikt, alleen door te kijken naar zijn adres, zijn grootte en het weer. Ze harmoniseerden gegevens van 13 verschillende stadsportalen tot één enkel, schoon formaat.

2. De regels van de race

De auteurs lieten de AI-modellen niet zomaar willekeurig gokken. Ze stelden strenge regels op om te zien of de modellen echt slim waren of gewoon de antwoorden uit het hoofd leerden:

De "Zelfde Buurt" Test: Kan het model emissies voorspellen voor gebouwen die het eerder heeft gezien? (Moeilijkheidsgraad: makkelijk).
De "Nieuwe Stad" Test: Kan het model emissies voorspellen voor een stad die het nooit eerder heeft gezien? (Moeilijkheidsgraad: moeilijk). Dit is als het onderwijzen van een student in New York en hen vervolgens testen in Sydney.
De "Tijdsreizen" Test: Kan het model de emissies van volgend jaar voorspellen op basis van de gegevens van dit jaar?

3. De grote verrassingen (Wat ze ontdekten)

De auteurs draaiden veel verschillende soorten AI (van simpele wiskundige modellen tot geavanceerde "foundation models" die lijken op super-intelligente hersenen) en ontdekten drie belangrijke dingen:

Verrassing #1: Gebouwen zijn moeilijker dan bedrijven.
Het voorspellen van de vervuiling van een bedrijf is als het raden van het gewicht van een persoon op basis van zijn lengte en functietitel; het is vrij voorspelbaar. Het voorspellen van de vervuiling van een gebouw is als het raden van het gewicht van een persoon op basis van zijn adres, omdat het afhangt van onzichtbare dingen zoals hoeveel mensen zich binnen bevinden, op welk tijdstip ze het licht aanzetten en hoe oud de koelkast is. De gegevens vertellen je deze dingen niet, dus de AI heeft meer moeite.
Verrassing #2: Het "Nieuwe Stad" probleem is enorm.
Het grootste gat in prestaties zat niet tussen de verschillende AI-modellen, maar tussen "de gegevens eerder hebben gezien" en "ze voor het eerst zien".
- De Analogie: Stel je een student voor die de antwoorden op een wiskundetoets uit het hoofd leert. Hij haalt 100% op die toets. Maar als je hem een toets geeft met dezelfde wiskundeproblemen, maar dan in de valuta van een ander land, kan hij falen.
- Het Resultaat: De meeste modellen faalden jammerlijk wanneer ze naar een nieuwe stad werden verplaatst. Echter, één specifiek model genaamd TabPFN (een "table foundation model") was het eerste dat liet zien dat het eigenlijk de regels van het spel kon leren in plaats van alleen de antwoorden uit het hoofd te leren, en versloeg de oude standaardmodellen bij verplaatsing naar nieuwe steden.
Verrassing #3: Satellietfoto's zijn het geheime wapen voor nieuwe steden.
Toen de AI-modellen vastliepen bij het raden van emissies in een nieuwe stad, hielp het toevoegen van satellietbeelden van de gebouwen.
- De Analogie: Als je alleen een lijst met adressen hebt (tekst), kun je misschien raden dat een huis in een besneeuwde stad anders wordt verwarmd dan een huis in een warme stad. Maar als je het dak in een satellietfoto kunt zien, kun je vertellen of het bedekt is met sneeuw, zonnepanelen heeft of omringd is door bomen. De satellietbeelden gaven de AI een "visuele aanwijzing" die hem hielp om te generaliseren naar plaatsen die hij nooit eerder had gezien.

4. De "catastrofale" mislukkingen

Het artikel benadrukt ook waar de AI volledig uit elkaar valt.

De "Stadsoverdracht" Crash: Bij het verplaatsen van een stad met veel gegevens naar een stad met zeer weinig gegevens, vielen sommige modellen niet alleen een beetje slechter uit; ze crashten volledig en gaven voorspellingen die enorm verkeerd waren (zoals het voorspellen dat een gebouw negatieve vervuiling uitstoot).
Het "Sector Factor" Plafond: Het proberen emissies te raden door alleen te kijken naar een "standaard vervuilingsgetal" voor een sector (bijvoorbeeld: "Alle banken stoten X hoeveelheid uit") is te grof. Het mist de specifieke details van individuele bedrijven, wat leidt tot enorme fouten.

Samenvatting

GHGbench is een toolkit die onderzoekers eindelijk in staat stelt AI-modellen eerlijk met elkaar te vergelijken. Het toont aan dat AI weliswaar goed wordt in het voorspellen van vervuiling voor bedrijven die het goed kent, maar dat het voorspellen van vervuiling voor nieuwe gebouwen in nieuwe steden nog steeds zeer moeilijk is. Het gebruik van een specifiek type "foundation model" in combinatie met satellietfoto's is echter de meest veelbelovende weg vooruit om deze puzzel op te lossen.

De auteurs hebben al hun code, gegevensrecepten en resultaten voor iedereen openbaar gemaakt, zodat andere wetenschappers kunnen voortbouwen op dit werk zonder opnieuw vanaf nul te hoeven beginnen.

Technische Samenvatting van GHGbench: Een Gecombineerde Benchmark voor Meerdere Entiteiten en Taken voor de Voorspelling van Koolstofemissies

Probleemstelling
Kwantitatieve voorspelling van broeikasgasemissies (GHG) op entiteitsniveau is cruciaal voor klimaatbeleid, financiën en stedelijke operaties. Het vakgebied mist echter een geünificeerd, open ecosysteem voor benchmarking. Bestaande bronnen zijn gefragmenteerd: studies op bedrijfsniveau vertrouwen vaak op gelicentieerde datafeeds (bijv. CDP, Bloomberg) met incompatibele schema's, terwijl data op gebouwniveau verspreid ligt over stadsportals met uiteenlopende rapportagestandaarden. Bijgevolg is het moeilijk om modellen te vergelijken op open, reproduceerbare taken die werkelijke verschuivingen in geografie, tijd en dataschema weerspiegelen. Bovendien evalueren huidige benchmarks doorgaans ofwel bedrijven ofwel gebouwen geïsoleerd, waardoor ze niet ingaan op de structurele verschillen in voorspellingmoeilijkheid tussen deze twee entiteitstypen of generalisatie testen onder distributieveranderingen (bijv. overdracht tussen regio's of steden).

Methodologie
De auteurs introduceren GHGbench, een open dataset en benchmark ontworpen om gezamenlijk de voorspelling van koolstofemissies op bedrijfs- en gebouwniveau te evalueren binnen een gedeelde reeks taken.

Datasetconstructie:
- Bedrijfstrack: Bevat 32.830 bedrijfs-jaarrapporten van 12.087 bedrijven (2018–2023). Het integreert openbare GHG-declaraties (Scope 1+2 en Scope 3) met financiële signalen (omzet, EBITDA, beurswaarde) en sectorale data (ExioML/EXIOBASE-factoren). De data wordt vrijgegeven als een reconstructiescript met gebruik van gratis openbare API's om de voorwaarden van de bronnen te respecteren.
- Gebouwtrack: Harmoniseert 491.591 gebouw-jaarrapporten van 13 open bronnen verspreid over 26 metropolitane gebieden in de VS, Australië en Singapore. Het verenigt eigendomstaxonomieën, coördinaten en jaarlijkse GHG-doelen. De dataset is verrijkt met NASA POWER-klimaatcovariaten en Sentinel-2 + Clay multimodale remote-sensing-embeddings.
Benchmarkontwerp:
- Taken: De benchmark definieert canonieke splitsingen voor regressie binnen de verdeling, overdracht tussen regio's/steden (leave-one-out), tijdelijke hold-out, stress testen over eigendomstypen en voorspelling op korte termijn.
- Evaluatieprotocol: Alle hoofdresultaten worden gerapporteerd als het gemiddelde over meerdere seeds met 95% betrouwbaarheidsintervallen, afgeleid van 1.000-resample gepaarde bootstrap-tests op gedeelde testrijen. Dit waarborgt statistische strengheid bij claims over modelrangschikking.
- Baselines: De evaluatie omvat naïeve referenties, klassiek machine learning (Ridge, Random Forest, XGBoost, LightGBM), neurale netwerken (MLP, FT-Transformer), tijdreeksfoundationmodellen (Chronos, TimesFM, Moirai) en een tabulaire foundationmodel (TabPFN v2). Ook een LLM-panel wordt geëvalueerd voor de bedrijfstrack.

Belangrijkste Bijdragen

Gecombineerde Open Dataset: De eerste open dataset en benchmark die gezamenlijk emissies van bedrijven en gebouwen evalueert over 26 metropolen en meer dan 12.000 bedrijven, met canonieke splitsingen en multimodale signalen.
Strenge Evaluatiekader: Een reeks met meerdere taken met strikte statistische protocollen (gepaarde bootstrap-significantietesten) om echte modelverbeteringen te onderscheiden van variatie, met name in settings buiten de verdeling (OOD).
Open-Source Release: Omvat code, recepten voor data-reconstructie en een quickstart-kit om reproduceerbaarheid te waarborgen zonder toegang tot propriëtaire datafeeds.

Belangrijkste Resultaten en Bevindingen
Het artikel rapporteert drie primaire bevindingen op benchmarkniveau:

Asymmetrie in Moeilijkheid tussen Entiteiten: Gebouweemissies zijn structureel moeilijker te voorspellen dan bedrijfsemissies. Terwijl bedrijfsemissies worden gedomineerd door bedrijfsgrootte (omzet is de belangrijkste voorspeller), hangen gebouweemissies af van niet-gesignaleerde factoren zoals bezettingsplannen, runtime en gedrag van bewoners. Bijgevolg presteert het beste gebouwmodel (TabPFN v2, $R^2 \approx 0,48$ ) significant slechter dan het beste bedrijfsmodel (XGBoost, $R^2 \approx 0,88$ ).
Dominantie van de ID-naar-OOD-Gap: De prestatiegap tussen settings binnen de verdeling (ID) en buiten de verdeling (OOD) is veel groter dan welke prestatieverschillen dan ook tussen modellen binnen dezelfde setting.
- In de gebouwtrack veroorzaakt overdracht tussen steden een ineenstorting van de prestaties voor boomgebaseerde modellen (bijv. LightGBM $R^2$ daalt van ~0,41 naar ~0,03).
- Opmerkelijk is dat TabPFN v2 de eerste baseline is die een gepaarde-bootstrap-significante gap opent ten opzichte van afgestemde gradient-boosted bomen op een multi-stad, multi-bron taak voor gebouweemissies in de OOD-setting ( $R^2 = 0,482$ versus $0,401$ voor LightGBM). Dit voordeel wordt toegeschreven aan pretraining in context in plaats van alleen aan de architectuur.
Multimodale Opwaartse Beweging in Overdrachtsettings: Multimodale remote-sensing-embeddings (Sentinel-2 + Clay) bieden verwaarloosbare winst in settings binnen de verdeling (waar tabulaire kenmerken zoals breedte-/lengtegraad volstaan), maar bieden meetbare verbeteringen bij overdracht tussen steden. Ze fungeren als een generaliseerbaar geografisch prior waar tabulaire generalisatie faalt.

Systematische Falingsmodi
De benchmark blootlegt specifieke falingsmodi:

Catastrofale Stadsoverdracht: Prestaties variëren enorm per stad; sommige steden (bijv. Seattle, Hobart) vertonen negatieve $R^2$ -waarden voor boommodellen, wat wijst op ernstige distributieveranderingen.
Plafond van Sector-Factor Opzoeken: Eenvoudige opzoektabellen voor sectorfactoren (bijv. ExioML) slagen er niet in de omvang op bedrijfsniveau vast te leggen en voorspellen vaak met ordes van grootte te hoog voor specifieke subsectoren (bijv. financiële diensten).

Betekenis en Claims
De auteurs positioneren GHGbench als een noodzakelijke stap naar open, vergelijkbare evaluatie van koolstofemissievoorspelling, waardoor het vakgebied zich verwijdert van afhankelijkheid van betaalmuurdata. Het artikel bescheiden claimt dat de benchmark blootlegt waar huidige deep learning- en foundationmodellen slagen (tabulair leren in context) en waar ze falen (generalisatie over steden zonder multimodale prioren). Het identificeert het "plafond van sector-factor opzoeken" en "catastrofale stadsoverdracht" als systematische uitdagingen die toekomstig onderzoek moet aanpakken. Het werk claimt niet om koolstofvoorspelling op te lossen, maar biedt de infrastructuur om vooruitgang rigoureus te meten.