Data Leakage Inflates Generalizability of Power Outage Prediction Models

Wenn ein Sturm aufzieht, fällt das Licht aus. Für Versorgungsunternehmen und Rettungskräfte ist das Wissen darüber, genau wo und wann das Licht ausfallen wird, eine Frage der öffentlichen Sicherheit. Stromausfälle unterbrechen die Wasserversorgung, Kommunikationsnetze und Krankenhäuser, wodurch aus einem schlechten Wettertag eine Krise werden kann, die Tage oder sogar Wochen andauern kann. Um dies zu verhindern, haben Wissenschaftler in den letzten fünfzehn Jahren Computermodelle entwickelt, die darauf ausgelegt sind, diese Blackouts vorherzusagen. Diese Modelle fungieren wie Wettervorhersagen für das Stromnetz und nutzen Daten über Wind, Regen, Baumbestand und Bevölkerungsdichte, um zu schätzen, welche Stadtteile den Strom verlieren werden. Die Hoffnung war, dass diese Modelle aus vergangenen Stürmen lernen können, um sich auf zukünftige vorzubereiten, insbesondere da der Klimawandel extreme Wetterereignisse häufiger und heftiger macht.

Ein neuer Bericht legt jedoch nahe, dass das Vertrauen, das wir in diese Vorhersagen setzen, fehl am Platz sein könnte. Forscher der University of Toronto und der North Carolina State University untersuchten, ob diese Modelle tatsächlich mit dem Unbekannten umgehen können. Sie fanden heraus, dass viele der beeindruckenden Erfolgsgeschichten, die in der wissenschaftlichen Literatur berichtet werden, wahrscheinlich Illusionen sind, die durch einen Fehler in der Art und Weise entstehen, wie die Modelle getestet werden. Das Kernproblem besteht darin, dass die Tests das Modell oft dazu zulassen, „Informationen zu nutzen, die es eigentlich nicht haben sollte“, was die Vorhersagen viel besser aussehen lässt, als sie tatsächlich sind. Als die Forscher die Modelle zwangen, sich wahrhaft neuen Situationen zu stellen – wie etwa einem Sturm in einem Bundesstaat, den sie noch nie gesehen hatten, oder einer Sturmart, die sie noch nie erlebt hatten –, brach ihre Fähigkeit, Ausfälle vorherzusagen, zusammen und sie waren oft nicht besser als eine einfache Vermutung.

Die Forscher konzentrierten sich auf die Ostküste der Vereinigten Staaten, eine Region, die von Hurrikanen, Winterstürmen und Gewittern heimgesucht wird. Sie sammelten Daten über Stromausfälle von 2018 bis 2023 und verknüpften jeden gemeldeten Blackout mit Wetterbedingungen und Geländemerkmalen. Um die Modelle zu testen, probierten sie drei verschiedene Wege aus, die Daten in Trainings- und Testgruppen aufzuteilen. Die erste Methode, die in den meisten bisherigen Studien Standard ist, ist ein zufälliges Mischen. Stellen Sie sich vor, man nimmt ein Kartenspiel, mischt es gründlich durch und teilt der Hälfte des Decks zur Lernphase zu und der anderen Hälfte zum Testen. Da Wetterlagen räumlich und zeitlich miteinander verbunden sind, führt ein zufälliges Mischen oft dazu, dass sehr ähnliche Tage oder benachbarte Landkreise sowohl in die Lern- als auch in die Testgruppen gelangen. Das Modell lernt im Wesentlichen die Nachbarschaft auswendig, anstatt die Regeln des Sturms zu verstehen.

Die zweite und dritte Methode waren wesentlich strenger. Beim ersten strengen Test entfernten die Forscher einen gesamten Bundesstaat aus den Trainingsdaten und baten das Modell, Ausfälle nur für diesen Staat vorherzusagen. Dies simuliert ein Szenario, in dem ein in einer Region trainiertes Modell in einer völlig neuen Region eingesetzt wird. Im zweiten strengen Test entfernten sie ein gesamtes Sturmereignis aus den Trainingsdaten und baten das Modell, die Auswirkungen eines spezifischen Hurrikans oder Wintersturms vorherzusagen, den es noch nie gesehen hatte. Diese Tests ahmen die reale Welt nach, in der ein Versorgungsunternehmen mit einer neuen Art von Katastrophe an einem neuen Ort konfrontiert werden könnte, für den es keine bisherige Erfahrung mit diesem spezifischen Ereignis hat.

Als die Modelle mit der Methode des zufälligen Mischens getestet wurden, schnitten sie gut ab und erklärten etwa 45 Prozent der Variation in den Prozentsätzen der Ausfälle. Dieses Ergebnis stimmt mit den Behauptungen anderer Studien überein. Doch als die Forscher die strengeren Tests anwandten, sank die Leistung drastisch. Bei den Tests auf Bundesstaatsebene schnitten die Modelle oft nicht besser ab als ein „Nullmodell“, einem Basismodell, das jedes Mal einfach die durchschnittliche Anzahl der Ausfälle für dieses Gebiet rät. Bei der Vorhersage der absolellen Anzahl der Kunden ohne Strom waren die Modelle in fast jedem Fall nicht besser als diese einfache Vermutung. Selbst bei der Vorhersage des Prozentsatzes der betroffenen Kunden hatten die Modelle große Schwierigkeiten, wobei ihre Genauigkeit je nach Bundesstaat oder Sturm stark schwankte.

Die Studie untersuchte auch, ob der Einsatz fortschrittlicher künstlicher Intelligenz das Problem lösen könnte. Die Forscher versuchten, den Modellen „Embeddings“ aus einem leistungsstarken Foundation-Modell namens Prithvi WxC zuzuführen. Dieses Modell wurde auf globalen Wetterdaten trainiert und ist darauf ausgelegt, komplexe Muster in der Atmosphäre zu verstehen. Die Hoffnung war, dass dieser hochtechnologische Ansatz den Modellen helfen würde, besser zu generalisieren. Während das Foundation-Modell in einigen räumlichen Tests eine leichte Verbesserung bot, löste es das grundlegende Problem nicht. Wenn mit einem neuen Sturmereignis konfrontiert, war das fortschrittliche Modell genauso schlecht wie die einfacheren Modelle, und in einigen Fällen schnitt es sogar schlechter ab. Die Forscher fanden heraus, dass die hohe Komplexität der Daten des Foundation-Modells es dem Modell tatsächlich erschwerte, die spezifischen Muster für neue Ereignisse zu lernen, was zu Overfitting führte – das Modell lernte die Trainingsdaten auswendig, anstatt die zugrunde liegende Physik zu verstehen.

Die Ergebnisse legen nahe, dass die aktuelle Generation von Modellen zur Vorhersage von Stromausfällen, wenn sie mit öffentlich verfügbaren Daten trainiert werden, einen begrenzten Nutzen für die reale Katastrophenplanung bietet. Die Modelle scheitern nicht, weil ihnen anspruchsvolle Algorithmen fehlen; sie scheitern, weil die Daten, mit denen sie trainiert werden, nicht genügend vielfältige Beispiele für Extremereignisse enthalten, um sie zu lehren, wie sie mit dem Unbekannten umgehen sollen. Die Beziehung zwischen einem Sturm und einem Stromausfall ist keine einfache Regel, die überall gilt. Ein Hurrikan, der in Florida den Strom unterbricht, verhält sich anders als ein Wintersturm in New Jersey, und ein Modell, das für das eine trainiert wurde, kann das andere nicht ohne Weiteres vorhersagen. Die Studie deutet darauf hin, dass diese Modelle ohne eine bessere Datenabdeckung, realistischere Testmethoden und eine Abkehr vom Versuch, marginale Verbesserungen aus bestehenden Datensätzen herauszuquetschen, für die kritische Aufgabe, Gemeinschaften vor dem nächsten großen Sturm zu schützen, unzuverlässig bleiben werden.