Intrinsic predictability rather than urban structure governs machine learning forecast skill for electricity demand
Dit artikel betoogt dat de voorspellingsvaardigheid van machine learning-modellen voor de stedelijke elektriciteitsvraag primair wordt bepaald door de intrinsieke voorspelbaarheid van de historische belastingpatronen van een stad (specifiek seizoensgebonden variatie en temperatuurgevoeligheid) in plaats door de structurele kenmerken of de geografische locatie van de stad.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Steden wenden zich steeds vaker tot kunstmatige intelligentie om hun elektriciteitsbehoeften te beheren, in de hoop dat slimme algoritmen precies kunnen voorspellen hoeveel stroom mensen volgende maand zullen gebruiken. Deze belofte van precisie staat centraal in de moderne stedelijke planning, waarbij functionarissen het net moeten balanceren, kosten moeten verlagen en emissies moeten verminderen. De logica lijkt eenvoudig: als een computer de vraag nauwkeurig kan voorspellen, bewijst dat dat het energiesysteem van de stad goed begrepen wordt; als de voorspelling faalt, suggereert dat dat er iets verborgen of kapot is binnen de specifieke infrastructuur of het gedrag van die stad. Deze aanname heeft geleid tot een golf van investeringen in machine learning-tools voor het openbaar bestuur, waarbij voorspellingsfouten worden behandeld als directe aanwijzingen voor lokale problemen die opgelost moeten worden. Dit benaderingswijze rust echter op een kritische, vaak ononderzochte overtuiging: dat het vermogen van een model om de toekomst te voorspellen afhangt van de unieke structuur van de stad zelf.
Een nieuwe studie daagt deze fundamentele overtuiging uit door naar de elektriciteitsvraag naar zestien grote steden in de Verenigde Staten te kijken. De onderzoekers, onder leiding van Mahyar Hassani en collega's, bouwden niet simpelweg een betere voorspellingsmotor; ze bouwden een diagnostisch instrument om te testen of het succes of falen van de motor ons daadwerkelijk iets vertelt over de stad. Ze analyseerden twaalf jaar aan maandelijkse elektriciteitsgegevens, van 2007 tot 2018, waarbij ze een strikte testmethode toepasten die voorkomt dat de computer toekomstige gegevens gebruikt. Hun doel was om te zien of de nauwkeurigheid van de voorspellingen varieerde omdat van de grootte van een stad, de rijkdom ervan, of de manier waarop de gebouwen waren gerangschikt, of dat de variatie voortkwam uit iets heel anders.
De resultaten waren verrassend. De studie toonde aan dat de bekwaamheid van het machine learning-model bijna niets te maken had met de omvang van de stad, de populatie of de specifieke stedelijke lay-out. Een stad met een miljoen inwoners was niet inherent makkelijker of moeilijker te voorspellen dan een stad met een kwart miljoen. In plaats daarvan werd het vermogen om de vraag te voorspellen bijna volledig bepaald door de eigen geschiedenis van de elektriciteitsconsumptie van de stad, specifiek twee eenvoudige patronen: hoe sterk de vraag de seizoenen volgde en hoe nauw deze de temperatuur volgde. Steden met een sterk, voorspelbaar ritme van verwarming in de winter en koeling in de zomer waren gemakkelijk te voorspellen, ongeacht of ze in de woestijn of in het Midwesten lagen. Steden met mildere klimaten, waar het weer en het elektriciteitsverbruik niet drastisch schommelden van maand tot maand, waren veel moeilijker te voorspellen. De onderzoekers ontdekten dat deze twee factoren — het seizoensritme en de temperatuurgevoeligheid — bijna alle verschillen in de nauwkeurigheid van de voorspellingen tussen de steden verklaarden.
Om tot deze conclusie te komen, moest het team verschillende lagen van mogelijke verwarring wegnemen. Ze vergeleken hun geavanceerde machine learning-modellen met een zeer eenvoudige regel: voorspellen dat het elektriciteitsverbruik van volgende maand hetzelfde zou zijn als diezelfde maand vorig jaar. In bijna de helft van de steden presteerde deze eenvoudige "seizoensgebonden-naïeve" regel net zo goed als de complexe kunstmatige intelligentie. In sommige gevallen was de eenvoudige regel zelfs beter. Dit toonde aan dat voor veel steden het "signaal" van de seizoenen zo sterk was dat geen enkele hoeveelheid computerkracht veel waarde kon toevoegen. Voor de steden waar de complexe modellen beter presteerden, was de verbetering vaak marginaal. De studie demonstreerde dat wanneer een model faalt in het voorspellen van de vraag van een stad, dit zelden komt doordat de stad chaotisch of slecht bestuurd is. In plaats daarvan komt de mislukking meestal doordat de elektriciteitsvraag van de stad simpelweg geen sterk, voorspelbaar patroon bezit om mee te beginnen.
De onderzoekers ontdekten ook een verborgen gevaar in de manier waarop gegevens worden verwerkt. Ze toonden aan dat een veelvoorkomende, routinematige praktijk van het invullen van ontbrekende gegevenspunten met een herhaalde waarde, een vals geografisch patroon kan creëren. Als een paar steden toevallig ontbrekende gegevens hadden die op deze manier waren ingevuld, zouden de modellen plotseling lijken te falen in een specifiek gebied, wat de illusie van een regionaal probleem creëert waar dat er niet is. Deze bevinding dient als een scherpe waarschuwing: wat lijkt op een diep inzicht in stedelijk bestuur, kan ook een artefact zijn van de manier waarop de cijfers zijn opgeschoond. Door deze datakwaliteiten en de intrinsieke voorspelbaarheid van de vraag te controleren, vond de studie geen bewijs dat de vaardigheid van de voorspelling clustert per regio of dat het verborgen lokale falen onthult.
De praktische les voor stadsbestuurders is een verschuiving in hoe zij deze voorspellingen interpreteren. Een slechte voorspelling is op zichzelf geen bewijs van een defect systeem of een verborgen lokale crisis die onderzoek waard is. Het wordt pas bewijs van een probleem nadat de intrinsieke voorspelbaarheid van de stad is meegewogen. Als een stad een vlak, niet-seizoensgebonden vraagpatroon heeft, is een lage voorspellingsscore te verwachten. Als een stad een sterk seizoensgebonden patroon heeft maar het model nog steeds faalt, dan is dat het moment dat het alarm moet afgaan. De studie suggereert dat voordat er geld wordt uitgegeven aan audits of nieuwe programma's om "slechte" voorspellingen te herstellen, bestuurders eerst moeten controleren of de geschiedenis van de vraag van de stad een goede voorspelling wel echt mogelijk maakt. Door zich te richten op de intrinsieke aard van de gegevens in plaats van op de complexiteit van het algoritme, kunnen overheidsfunctionals voorkomen dat ze achter spoken aanjagen en hun middelen richten op de steden en systemen waar werkelijke problemen bestaan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.