⚡ electrical engineering

SmartMeterFM: Unifying Smart Meter Data Generative Tasks Using Flow Matching Models

Dieses Paper schlägt SmartMeterFM vor, ein einheitliches Flow-Matching-Modell, das effizient vielfältige Herausforderungen bei Smart-Meter-Daten – einschließlich synthetischer Generierung, Imputation und Super-Resolution – durch ein einziges konditionales Trainingsframework adressiert und dadurch die Notwendigkeit aufgabenspezifischer Modelle eliminiert, während es bestehende Baselines in Bezug auf Datenrealismus und Konsistenz übertrifft.

Ursprüngliche Autoren: Nan Lin, Yanbo Wang, Jacco Heres, Peter Palensky, Pedro P. Vergara

Veröffentlicht 2026-02-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nan Lin, Yanbo Wang, Jacco Heres, Peter Palensky, Pedro P. Vergara

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine Stadt Strom verbraucht. Sie haben ein riesiges Notizbuch voller Daten von Smart Metern, das genau zeigt, wie viel Energie jedes Gebäude alle 15 Minuten verbraucht. Diese Daten sind das „Lebenselixier“ für die Netzplanung, die Fehlerbehebung und die Zukunftsprognose.

Aber es gibt ein großes Problem: Das Notizbuch ist oft unvollständig, unordentlich oder es fehlen Seiten.

Privatsphäre: Manchmal werden Daten aufgrund von Datenschutzgesetzen verborgen.
Fehler: Manchmal gehen die Zähler kaputt oder die Internetverbindung bricht ab, wodurch Lücken in den Daten entstehen.
Unschärfe: Manchmal sind die Daten zu „verschwommen“ (wie ein Foto mit niedriger Auflösung) und müssen geschärft werden, um die Details sichtbar zu machen.

Traditionell mussten Ingenieure für jedes dieser Probleme einen anderen „Spezialisten“ engagieren. Ein Team reparierte die fehlenden Seiten, ein anderes schärfte die verschwommenen Fotos und ein drittes erfand neue, aber realistische Seiten, um die Lücken zu füllen. Das war langsam, teuer und ineffizient.

Hier kommt „SmartMeterFM“ ins Spiel: Das universelle Schweizer Taschenmesser.

Dieses Paper stellt ein neues KI-Modell namens SmartMeterFM vor. Betrachten Sie es nicht als Spezialisten, sondern als einen Meisterkoch, der jedes Gericht mit denselben Zutaten und derselben Küche zubereiten kann.

Wie es funktioniert: Die „Fluss“-Analogie

Das Geheimrezept hinter diesem Modell ist etwas namens Flow Matching.

Stellen Sie sich vor, Sie haben ein Glas klares Wasser (dies ist das zufällige Rauschen) und ein Glas Schokoladenmilch (dies sind echte Stromdaten).

Alte KI-Modelle (wie GANs oder VAEs) versuchen, das Rezept zu erraten, um Wasser in Schokoladenmilch zu verwandeln. Sie haben oft Schwierigkeiten, wodurch die Milch seltsam schmeckt oder sie stecken beim Versuch fest, das Rezept für jede einzelne Art von Schokolade zu lernen.
SmartMeterFM lernt den „Fluss“ oder die Strömung, die das Wasser natürlich in die Schokoladenmilch bewegt. Es lernt den Pfad. Sobald es den Pfad kennt, kann es an jedem beliebigen Punkt auf diesem Pfad beginnen und in Richtung des Ziels fließen.

Der magische Trick: Ein Modell, viele Aufgaben

Der eigentliche Durchbruch ist, dass SmartMeterFM nicht für jede neue Aufgabe neu trainiert werden muss. Es lernt einmalig die „Form“ der Elektrizitätsdaten und dann geben wir ihm am Ende einfach unterschiedliche Anweisungen (das nennt man Inference-Time Guidance).

So erledigt es drei verschiedene Aufgaben mit demselben Gehirn:

Lücken füllen (Imputation):
- Das Problem: Sie haben eine Grafik mit einem großen Stück, das in der Mitte fehlt, weil der Zähler defekt war.
- Der alte Weg: Man würde ein einfaches Lineal benutzen, um eine gerade Linie zwischen den Punkten zu ziehen. Das sieht zwar okay aus, aber es übergeht die Spitzen und Täler (die „Peaks“ des Stromverbrauchs).
- SmartMeterFM: Es betrachtet die umliegenden Daten und den gelernten „Fluss“. Es füllt die Lücke mit einer realistischen, welligen Linie, die die echten Stromspitzen erfasst – genau so, wie ein Mensch sie vermuten würde, aber mit mathematischer Präzision.
Das Bild schärfen (Super-Resolution):
- Das Problem: Sie haben nur Daten, die jede Stunde aufgezeichnet wurden, aber Sie müssen sehen, was alle 15 Minuten passiert ist.
- Der alte Weg: Man zieht die stündlichen Daten einfach in die Länge. Das sieht glatt und langweilig aus und lässt die schnellen Stromstöße vermissen.
- SmartMeterFM: Es nimmt die verschwommenen, langsamen Daten und „halluziniert“ die fehlenden schnellen Details hinzu. Es fügt die winzigen Wellen und Spitzen hinzu, die die Daten real aussehen lassen, basierend auf den Mustern, die es gelernt hat.
Regeln befolgen (Conditional Generation):
- Das Problem: Sie müssen gefälschte Daten für eine Fabrik erstellen, wissen aber genau, wie viel Gesamtleistung sie in diesem Monat verbraucht hat und wann ihre Spitzenzeit war.
- Der alte Weg: Sie müssten ein ganz neues Modell trainieren, das speziell auf die Einschränkungen dieser Fabrik zugeschnitten ist.
- SmartMeterFM: Sie sagen dem Modell: „Erstelle mir einen Monat voller Daten, aber stelle sicher, dass die Summe X und der Spitzenwert Y ist.“ Es passt seinen Fluss sofort an, um diesen Regeln zu entsprechen, ohne eine neue Lektion zu benötigen.

Warum das wichtig ist (laut dem Paper)

Die Forscher haben dieses Modell mit echten Daten von tausenden niederländischen Kunden getestet. Sie haben es mit den „Spezialisten-Modellen“ (wie GANs und VAEs) und einfachen mathematischen Tricks verglichen.

Bessere Genauigkeit: SmartMeterFM füllte fehlende Daten und schärfte verschwommene Daten wesentlich genauer als die Konkurrenz. Es hat die Daten nicht nur geglättet; es hat die wichtigen „Spitzen“ und „Täler“ beibehalten, die für die Netzsicherheit entscheidend sind.
Realismus: Als sie prüften, ob die generierten Daten wie echte Daten aussah, bestand SmartMeterFM den Test. Die anderen Modelle erzeugten oft Daten, die „falsch“ oder zu perfekt wirkten.
Effizienz: Anstatt fünf verschiedene Modelle für fünf verschiedene Probleme zu trainieren, haben sie ein Modell trainiert und es für alles verwendet.

Kurz gesagt: SmartMeterFM ist eine einzige, intelligente KI, die den „Rhythmus“ der Elektrizität gelernt hat. Ob Sie nun eine kaputte Aufnahme reparieren, ein verschwommenes Foto schärfen oder ein neues Lied erstellen müssen, das bestimmten Regeln folgt – diese KI kann all das, ohne noch einmal zur Schule gehen zu müssen.

Technisches Resümee: SmartMeterFM

Problemstellung

Smart-Meter-Daten sind grundlegend für die Planung und den Betrieb von Stromverteilungsnetzen. Der Nutzen dieser Daten wird jedoch häufig durch drei primäre Herausforderungen beeinträchtigt:

Datenverfügbarkeit: Datenschutzbestimmungen und kommerzielle Sensibilitäten verhindern oft die Weitergabe von Rohdaten, während eine begrenzte Sensordichte zu einer teilweisen Beobachtbarkeit führt.
Datenkorruption: Sensorausfälle, Übertragungsfehler und Kommunikationsabbrüche führen zu fehlenden Werten.
Unzureichende Auflösung: Viele nachgelagerte Anwendungen (z. B. Demand Response, Lastaggregation) erfordern hochfrequente Zeitreihendaten, welche die bestehende Messinfrastruktur nicht bereitstellen kann.

Aktuelle Lösungen adressieren diese Probleme typischerweise durch separate, aufgabenspezifische Modelle. Beispielsweise werden unterschiedliche Modelle für die synthetische Datengenerierung, die Imputation fehlender Daten und die Super-Resolution trainiert. Diese Fragmentierung führt zu Redundanz, Ineffizienz und mangelnder Anpassungsfähigkeit; ein Modell, das für ein bestimmtes Fehlermuster oder eine bestimmte Auflösskala trainiert wurde, kann oft nicht ohne erneutes Training auf ein anderes angewendet werden. Darüber hinaus haben bestehende tiefe generative Modelle (wie VAEs und GANs) oft Schwierigkeiten mit hochdimensionalen Zeitreihendaten, leiden unter Mode Collapse oder scheitern daran, komplexe Dynamiken und Extremwerte (Peaks) präzise zu erfassen.

Methodik

Das Paper schlägt SmartMeterFM vor, ein vereinheitlichtes Framework basierend auf Flow Matching (FM) Modellen, um diverse generative Aufgaben für Smart-Meter-Daten mit einem einzigen trainierten Modell zu adressieren.

Kern-Framework: Flow Matching mit Inference-Time Guidance

Im Gegensatz zu Diffusionsmodellen, die einen reversiblen stochastischen Prozess lernen, lernt Flow Matching eine probabilistische Fluss-Gewöhnliche Differentialgleichung (ODE), um eine einfache Prior-Verteilung (Gaußsches Rauschen) in die komplexe Datenverteilung zu transportieren.

Training: Das Modell wird ausschließlich auf bedingter Generierung (conditional generation) trainiert. Es lernt ein Geschwindigkeitsfeld $u_\theta(x_t, t, y)$ , das Rauschen auf Daten abbildet, die an Variablen $y$ gebunden sind (z. B. Kundenkategorie, Monat oder Peak-Beschränkungen).
Inference-Time Guidance: Die zentrale Innovation ist die Fähigkeit, das einzelne trainierte Modell ohne erneutes Training an neue Aufgaben (Imputation, Super-Resolution) anzupassen. Dies wird erreicht, indem diese Aufgaben als Randbedingungen auf den Generierungsprozess behandelt werden.
- Der Generierungsprozess wird durch einen Term $g_t$ gesteuert, der das geschätzte Ziel der ODE-Trajektorie auf eine zulässige Menge projiziert, die durch die spezifischen Aufgabenbeschränkungen definiert ist (z. B. Übereinstimmung mit beobachteten Werten bei der Imputation oder Übereinstimmung mit herunterskalierten Durchschnitten bei der Super-Resolution).
- Dies ermöglicht es dem Modell, harte Beschränkungen (wie spezifische Peak-Werte oder Masken für fehlende Daten) dynamisch während der Sampling-Phase zu erfüllen.

Modellarchitektur

Das Geschwindigkeitsnetzwerk $u_\theta$ nutzt eine Transformer-basierte Architektur, die speziell für Zeitreihendaten angepasst wurde:

Ausgerichtte Positions-Embeddings (Aligned Positional Embeddings): Um monatliche Profile unterschiedlicher Länge und unterschiedliche Wochentagsstarts zu handhaben, verwendet das Modell ein verschobenes sinusförmiges Positions-Embedding. Dies stellt sicher, dass das Modell die tägliche und wöchentliche Periodizität unabhängig vom Starttag des Monats beibehält.
Valid Step Masking: Um variable Monatslängen (28–31 Tage) innerhalb fester Batch-Längen (31 Tage) zu handhaben, wird ein binäres Maskierungsverfahren auf den Attention-Mechanismus angewendet. Dies verhindert, dass das Modell auf gepaddete Nullwerte achtet, und stellt sicher, dass es nur aus validen Datenschritten lernt.
Konditionierungsmechanismen: Das Modell integriert Bedingungen über:
1. Adaptive Normalisierung: Modulation der LayerNorm-Parameter basierend auf kategorialen Eingaben (z. B. Kundentyp).
2. Multi-Modal Attention (MMAttention): Konkatenierung von Konditionierungsvektoren mit der Zeitreihensequenz, um den Informationsaustausch zu erleichtern.

Aufgabenanpassung

Das Paper zeigt auf, wie dasselbe Modell vier verschiedene Szenarien handhabt, indem die funktionale Beziehung $y = f(x)$ für den Guidance-Term definiert wird:

Kategoriale Generierung: Generierung von Daten bedingt auf Kundentyp, Monat usw.
Numerische Beschränkungsgenerierung: Generierung von Daten, die spezifische Peak-, Minimum- und Gesamtverbrauchswerte erfüllen.
Imputation: Rekonstruktion fehlender Datenblöcke durch Projektion der Generierungstrajektorie auf den Unterraum der beobachteten Werte.
Super-Resolution: Hochskalierung von grober Auflösung (z. B. 4-Stunden) auf feine Auflösung (15 Min.), indem sichergestellt wird, dass die herunterskalierte generierte Datenmenge mit den groben Eingangsdaten übereinstimmt.

Zentrale Beiträge

Vereinheitlichtes Modell: Der Vorschlag von SmartMeterFM, der die synthetische Datengenerierung, Imputation und Super-Resolution in einem einzigen Conditional-Flow-Matching-Framework vereint und so die Notwendigkeit für aufgabenspezifische Neutrainings eliminiert.
Hochfrequente Generierung: Die Fähigkeit, hochdimensionale monatliche Profile (15-Minuten-Auflösung, ~3000 Zeitschritte) mit hoher Fidelität zu generieren und dabei spezialisierte überwachte Baselines übertreffen.
Anpassungsfähigkeit zur Inferenzzeit: Ein neuartiger Guidance-Mechanismus, der es einem rein auf bedingter Generierung trainierten Modell ermöglicht, komplexe inverse Probleme (wie Imputation und Super-Resolution) durch Injektion aufgabenspezifischer Beschränkungen zur Inferenzzeit zu lösen.
Architektonische Innovationen: Das Design eines Transformer-Backbones mit ausgerichtten Positions-Embeddings und Valid Step Masking, das speziell für die variable Länge und Periodizität monatlicher Smart-Meter-Daten optimiert ist.

Ergebnisse

Die Methode wurde auf einem Datensatz von ~350.000 monatlichen Smart-Meter-Segmenten eines niederländischen Verteilnetzbetreibers (DSO) evaluiert, der vier Kundenkategorien abdeckt (drei mit reinem Verbrauch, einer mit Solargenerierung).

Aufgabe 1 (Kategoriale Generierung): SmartMeterFM erreichte konsistent MMD-Permutationstest-p-Werte über 0,05, was darauf hindeutet, dass die generierte Verteilung statistisch nicht von den realen Daten unterscheidbar ist. Im Gegensatz dazu lieferten VAE- und GAN-Baselines p-Werte < 0,0001, was die Nullhypothese der Verteilungsgleichheit ablehnt.
Aufgabe 2 (Numerische Beschränkungen): Bei der Konditionierung auf Peak- und Gesamtverbrauch erreichte SmartMeterFM den niedrigsten Continuous Ranked Probability Score (CRPS) und den niedrigsten Root Mean Square Error (RMSE) für Peak- und Durchschnittswerte im Vergleich zu VAE, GAN und algebraischen Skalierungsmethoden. Es hielt die Beschränkungen ein und bewahrte gleichzeitig die Datenfidelität.
Aufgabe 3 (Imputation): In Szenarien mit fehlenden Daten (Missing Not at Random) übertraf SmartMeterFM spezialisierte Baselines wie LoadPIN und Masked Autoencoder signifikant und erreichte etwa die Hälfte des durchschnittlichen CRPS. Qualitative Ergebnisse zeigten, dass Baselines zwar überglättete Rekonstruktionen lieferten, die Peaks unterschätzten, SmartMeterFM jedoch hochfrequente Dynamiken und Extremwerte bewahrte.
Aufgabe 4 (Super-Resolution): Beim Hochskalieren von 4-Stunden-Daten auf 15-Minuten-Auflösung erreichte SmartMeterFM den niedrigsten durchschnittlichen und schlechtesten CRPS. Es demonstrierte zudem eine überlegene Leistung beim Peak Load Error (PLE) im Vergleich zu ProfileSR (einer GAN-basierten Baseline) und rekonstruierte effektiv kurzzeitige Peak-Ereignisse, die in niedrig auflösenden Daten oft verloren gehen.

Bedeutung

Das Paper behauptet, dass SmartMeterFM die Fragmentierung in der aktuellen Smart-Meter-Datenverarbeitung erfolgreich adressiert, indem es ein einzigartiges, vielseitiges Modell bereitstellt, das diverse generative Aufgaben bewältigen kann. Durch die Nutzung der mathematischen Eigenschaften von Flow Matching und der Guidance zur Inferenzzeit eliminiert der Ansatz die Redundanz des Trainings separater Modelle für Imputation, Super-Resolution und Generierung.

Die Bedeutung liegt in der Fähigkeit des Modells, realistische, hochdimensionale Zeitreihen zu generieren, die sowohl intrinsische Verbrauchsmuster als auch externe Beschränkungen (wie datenschutzkonforme Zusammenfassungen oder spezifische operative Grenzwerte) respektieren. Diese Fähigkeit ist entscheidend für Verteilungsnetzbetreiber (DSOs), die zuverlässige synthetische Daten für die Planung, Risikobewertung und die Entwicklung fortschrittlicher Steuerungsstrategien benötigen, wenn vollständige, hochauflösende oder teilbare Realdaten fehlen. Das Paper betont, dass diese Vereinigung erreicht wird, ohne die Qualität der generierten Daten zu beeinträchtigen, wobei das Modell spezialisierte State-of-the-Art-Methoden sowohl in quantitativen Metriken als auch in der qualitativen Realitätstreue oft übertrifft.