Data Leakage Inflates Generalizability of Power Outage Prediction Models
Dit artikel toont aan dat gangbare evaluatiepraktijken bij voorspellingsmodellen voor stroomuitval, met name willekeurige train-testsplits, de generaliseerbaarheid kunstmatig opblazen door geen rekening te houden met ruimtelijke en temporele autocorrelatie, wat onthult dat deze modellen vaak een gebrekkige operationele waarde hebben onder realistische implementatieomstandigheden en verbeterde datacoverage en evaluatieprotocollen vereisen om structurele beperkingen aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een storm opsteekt, valt het licht uit. Voor nutsbedrijven en hulpdiensten is weten precies waar en wanneer die lichten zullen uitgaan een kwestie van openbare veiligheid. Stroomuitval verstoort watertoevoer, communicatienetwerken en ziekenhuizen, waardoor een dag met slecht weer verandert in een crisis die dagen of zelfs weken kan duren. Om dit te voorkomen, hebben wetenschappers de afgelopen vijftien jaar computer modellen gebouwd die ontworpen zijn om deze blackouts te voorspellen. Deze modellen fungeren als weersvoorspellers voor het elektriciteitsnet, waarbij ze gegevens over wind, regen, boombedekking en bevolkingsdichtheid gebruiken om te raden welke wijken de stroom zullen verliezen. De hoop is dat deze modellen kunnen leren van eerdere stormen om zich voor te bereiden op toekomstige, vooral nu klimaatverandering extreem weer frequenter en heviger maakt.
Echter, een nieuwe studie suggereert dat het vertrouwen dat we hebben in deze voorspellingen mogelijk ongegrond is. Onderzoekers van de Universiteit van Toronto en North Carolina State University onderzochten of deze modellen werkelijk het onbekende aankunnen. Ze ontdekten dat veel van de indrukwekkende succesverhalen die in de wetenschappelijke literatuur worden gerapporteerd, waarschijnlijk illusies zijn, veroorzaakt door een fout in de manier waarop de modellen worden getest. Het kernprobleel is dat de tests de modellen vaak toestaan "informatie te gebruiken die ze niet zouden mogen hebben", waardoor de voorspellingen veel beter lijken dan ze in werkelijkheid zijn. Wanneer de onderzoekers de modellen dwongen een echt nieuwe situatie onder ogen te komen — zoals een storm in een staat die ze nog nooit hadden gezien, of een type storm dat ze nog nooit waren tegengekomen — stortte hun vermogen om uitval te voorspellen in, waarbij ze vaak niet beter presteerden dan een eenvoudige gok.
De onderzoekers richtten zich op de oostkust van de Verenigde Staten, een regio die geteisterd wordt door orkanen, winterstormen en onweersbuien. Ze verzamelden gegevens over stroomuitval van 2018 tot 20_23, waarbij elke gemelde blackout koppelde aan weersomstandigheden en landkenmerken. Om de modellen te testen, probeerden ze drie verschillende manieren om de gegevens te splitsen in trainings- en testgroepen. De eerste methode, die de standaard is in de meeste eerdere studies, is een willekeurige gehusselde volgorde (random shuffle). Stel je een kaartspel voor, waarbij je de kaarten grondig mengt en de helft aan het model geeft om van te leren en de andere helft om te testen. Omdat weerpatronen verbonden zijn over ruimte en tijd, plaatst een willekeurige shuffle vaak zeer vergelijkbare dagen of nabijgelegen graafschappen in zowel de leer- als de testgroepen. Het model onthoudt in feite de buurt in plaats van de regels van de storm te leren.
De tweede en derde methoden waren veel strenger. In de eerste strenge test verwijderden de onderzoekers een volledige staat uit de trainingsdata en vroegen het model om de stroomuitval alleen voor die staat te voorspellen. Dit simuleert een scenario waarin een model dat in één regio is getraind, wordt ingezet in een volledig nieuwe regio. In de tweede strenge test verwijderden ze een volledige stormgebeurtenis uit de trainingsdata, waarbij ze het model vroegen de impact van een specifieke orkaan of winterstorm te voorspellen die het nog nooit had gezien. Deze tests bootsen de echte wereld na, waarin een nutsbedrijf geconfronteerd kan worden met een nieuw type ramp in een nieuwe locatie zonder eerdere geschiedenis van dat specifieke evenement.
Wanneer de modellen werden getest met de willekeurige shuffle-methode, presteerden ze goed en verklaarden ze ongeveer 45 procent van de variatie in uitvalpercentages. Dit resultaat komt overeen met wat andere studies beweren. Maar toen de onderzoekers de strengere tests toepasten, daalde de prestatie drastisch. In de staat-voor-staat-testen presteerden de modellen vaak niet beter dan een "null model", een baseline die simpelweg telkens het gemiddelde aantal uitvallen voor dat gebied voorspelt. Voor het voorspellen van het absolute aantal klanten zonder stroom, presteerden de modellen bijna in elk geval niet beter dan deze eenvoudige gok. Zelfs voor het voorspellen van het percentage getroffen klanten hadden de modellen grote moeite, waarbij hun nauwkeurigheid sterk varieerde afhankelijk van de staat of de storm.
De studie onderzocht ook of het gebruik van geavanceerde kunstmatige intelligentie het probleem kon oplossen. De onderzoekers probeerden de modellen te voeden met "embeddings" van een krachtig foundation model genaamd Prithvi WxC. Dit model is getraind op wereldwijde weergegevens en is ontworpen om complexe patronen in de atmosfeer te begrijpen. De hoop was dat deze hoogtechnologische aanpak zou helpen om de modellen beter te laten generaliseren. Hoewel het foundation model een lichte verbetering bood in sommige ruimtelijke tests, loste het het fundamentele probleem niet op. Wanneer ze werden geconfronteerd met een nieuwe stormgebeurtenis, presteerde het geavanceerde model net zo slecht als de eenvoudigere modellen, en in sommige gevallen presteerde het zelfs slechter. De onderzoekers ontdekten dat de hoge complexiteit van de data van het foundation model het de modellen juist moeilijker maakte om de specifieke patronen te leren die nodig zijn voor nieuwe gebeurtenissen, wat leidde tot overfitting, waarbij het model de trainingsdata memoriseerde in plaats van de onderliggende fysica te begrijpen.
De bevindingen suggereren dat de huidige generatie voorspellingsmodellen voor stroomuitval, wanneer ze getraind worden op publiek beschikbare gegevens, beperkte waarde biedt voor de echte rampenplanning. De modellen falen niet omdat ze geen geavanceerde algoritmen missen; ze falen omdat de gegevens waarop ze getraind zijn niet genoeg diverse voorbeelden bevatten van extreme gebeurtenissen om hen te leren hoe ze met het onbekende om moeten gaan. De relatie tussen een storm en een stroomuitval is geen eenvoudige regel die overal geldt. Een orkaan die de stroom in Florida doet uitvallen, gedraagt zich anders dan een winterstorm in New Jersey, en een model dat op de één is getraind, kan de ander niet gemakkelijk voorspellen. De studie geeft aan dat zonder betere gegevensdekking, meer realistische testmethoden en een verschuiving weg van het proberen uit te persen van marginale verbeteringen uit bestaande datasets, deze modellen onbetrouwbaar zullen blijven voor de cruciale taak van het beschermen van gemeenschappen tegen de volgende grote storm.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.