Lightweight and Scalable Transfer Learning Framework for Load Disaggregation

Das Paper stellt RefQuery vor, einen skalierbaren Transfer-Learning-Rahmen für die nicht-intrusive Lastzerlegung, der durch das Einfrieren eines vortrainierten Netzwerks und das Lernen kompakter Geräte-Embeddings eine präzise und ressourcenschonende Echtzeit-Analyse auf Edge-Geräten ermöglicht.

Das Wesentliche

Das Problem: Der große Strom-Verbrauchs-Salat

Stellen Sie sich vor, Sie schauen nur auf den Hauptstromzähler Ihres Hauses. Dieser zeigt Ihnen nur eine Zahl: „Insgesamt verbrauchen wir gerade 2000 Watt." Aber wer genau zieht diesen Strom? Ist es der Kühlschrank? Der Fernseher? Oder läuft gerade die Waschmaschine?

Das Ziel der Wissenschaftler ist es, diesen „Strom-Salat" zu entwirren und genau zu sagen: „Aha, der Kühlschrank braucht 150 Watt, der TV 100 Watt." Das nennt man Lasttrennung (oder englisch Load Disaggregation).

Das Schwierige daran: Jedes Haus ist anders. Der Kühlschrank in Haus A ist anders als in Haus B. Die Leute nutzen ihre Geräte zu unterschiedlichen Zeiten. Ein Computermodell, das in Haus A gelernt hat, funktioniert in Haus B oft nicht mehr gut. Es ist, als würde man einen Koch, der perfekt italienisch kocht, plötzlich in ein chinesisches Restaurant stellen und erwarten, dass er sofort die besten Nudeln macht, ohne sich anzupassen.

Die alte Lösung: Ein Koch pro Gericht

Bisher gab es zwei Hauptansätze:

1. Ein Modell pro Gerät: Man trainiert ein eigenes KI-Modell für den Kühlschrank, eines für die Waschmaschine, eines für den Herd. Das ist wie ein Restaurant, das für jeden Gang einen eigenen Koch hat. Das braucht aber viel Platz und Zeit, wenn man 20 Geräte hat.
2. Ein riesiges Modell für alles: Man baut ein Super-Modell, das alles kann. Das ist wie ein riesiger Koch, der alles kann, aber sehr langsam ist und viel Energie braucht. Zudem ist er oft zu starr: Wenn man ein neues Gerät hinzufügt, muss man den ganzen Koch neu ausbilden.

Beide Methoden sind für kleine, günstige Geräte (wie intelligente Stromzähler im Haus) oft zu schwerfällig und zu teuer.

Die neue Lösung: RefQuery – Der „Schlüssel" für jedes Gerät

Die Autoren dieses Papers haben eine clevere Idee namens RefQuery entwickelt. Stellen Sie sich das wie folgt vor:

1. Der erfahrene Koch (Das feste Grundmodell)

Stellen Sie sich einen sehr talentierten, aber frozen (eingefrorenen) Koch vor. Er hat in vielen verschiedenen Restaurants (Daten aus vielen Häusern) gelernt, wie Stromverbrauch im Allgemeinen aussieht. Er kennt die Grundmuster: Wie sieht ein Stromverbrauch aus, wenn ein Gerät an- oder ausgeht?

• Wichtig: Dieser Koch wird nicht mehr ausgebildet oder verändert. Er bleibt genau so, wie er ist. Das spart enorm viel Zeit und Rechenleistung.

2. Der kleine Schlüssel (Der „Fingerabdruck")

Jetzt kommt das Geniale: Um dem Koch zu sagen, welches Gerät er gerade beobachten soll, geben wir ihm keinen neuen Koch, sondern nur einen kleinen Schlüssel (einen sogenannten „Embedding" oder Fingerabdruck).

• Für den Kühlschrank gibt es einen kleinen Schlüssel.
• Für die Waschmaschine gibt es einen anderen kleinen Schlüssel.

Wenn Sie dem System sagen „Ich will den Kühlschrank sehen", stecken Sie den Kühlschrank-Schlüssel in das System. Der feste Koch liest den Schlüssel und weiß sofort: „Aha, jetzt achte ich auf die Muster des Kühlschranks."

3. Das Lernen vor Ort (Die Anpassung)

Wenn Sie das System in ein neues Haus bringen, kennt der feste Koch die spezifischen Geräte dort noch nicht genau. Aber er muss nicht neu lernen!

• Sie nehmen nur ein paar Tage Stromdaten aus dem neuen Haus.
• Das System berechnet für jedes Gerät (Kühlschrank, Waschmaschine) einfach den perfekten Schlüssel für dieses Haus.
• Das dauert nur Sekunden und braucht kaum Speicherplatz. Es ist, als würde man dem Koch nur sagen: „In diesem Haus ist der Kühlschrank etwas älter und träge, hier ist der passende Schlüssel dafür."

Warum ist das so toll? (Die Vorteile)

1. Platzsparend: Sie brauchen keinen riesigen Koch für jedes Gerät. Sie brauchen nur den einen festen Koch und viele kleine Schlüssel. Das passt auf jeden kleinen Computer (Edge Device).
2. Schnell: Wenn Sie ein neues Gerät hinzufügen (z. B. eine neue Kaffeemaschine), müssen Sie das ganze System nicht neu trainieren. Sie berechnen einfach nur den neuen Schlüssel für die Kaffeemaschine.
3. Robust: Selbst wenn nur sehr wenige Daten im neuen Haus verfügbar sind (vielleicht nur ein Tag), funktioniert die Methode besser als die alten Methoden. Der feste Koch ist schon sehr erfahren, er muss sich nur kurz auf die neue Umgebung einstellen.

Zusammenfassung in einem Satz

RefQuery ist wie ein erfahrener, unveränderlicher Detektiv, der mit einem kleinen, anpassbaren Schlüssel für jedes Gerät ausgerüstet wird, um in jedem neuen Haus sofort zu wissen, wer gerade den Strom verbraucht – schnell, effizient und ohne das ganze Team neu einstellen zu müssen.

Das macht es möglich, dass auch einfache, günstige Smart-Meter in Zukunft genau sagen können, was in Ihrem Haus passiert, ohne dass Ihre Daten die Cloud verlassen müssen (Datenschutz!).

Technische Zusammenfassung

1. Problemstellung

Das Ziel der nicht-intrusiven Lastüberwachung (NILM), auch bekannt als Energie-Disaggregation, ist die Schätzung des Verbrauchs einzelner Geräte aus einem aggregierten elektrischen Signal, das an einem einzigen Messpunkt erfasst wird. Trotz Fortschritten durch Deep-Learning-Ansätze bestehen weiterhin erhebliche Herausforderungen:

• Domain-Shift: Modelle, die in einer Quelle (z. B. einem bestimmten Datensatz) trainiert wurden, leiden unter Generalisierungsproblemen, wenn sie in Zielhäusern mit unterschiedlichen Geräteeigenschaften, Nutzungsmustern und Hintergrundlasten eingesetzt werden.
• Ressourcenbeschränkungen: Viele State-of-the-Art-Modelle sind zu komplex für den Einsatz auf Edge-Geräten (begrenzter Speicher, Rechenleistung), was eine lokale Verarbeitung und Datenschutz gefährdet.
• Skalierbarkeit: Bestehende Multi-Geräte-Ansätze erfordern oft eine feste Geräteauswahl oder skalieren schlecht, da sie entweder pro Gerät ein separates Modell benötigen (linearer Speicherbedarf) oder komplexe Feinabstimmungen erfordern.
• Datenknappheit: Die Anpassung an ein neues Zielhaus erfordert oft zu viele gelabelte Daten, die in der Praxis schwer zu beschaffen sind.

2. Methodik: RefQuery Framework

Die Autoren stellen RefQuery vor, ein skalierbares, multi-taskfähiges NILM-Framework, das auf Transfer-Learning und kompakten „Geräte-Fingerabdrücken" (Embeddings) basiert. Das Framework besteht aus drei Stufen:

• Stufe I: Training im Quelldomain (Source Domain):

  • Ein gemeinsames, vortrainiertes Modell wird auf mehreren Gebäuden mit vollständig gelabelten Daten trainiert.
  • Die Architektur besteht aus einem gemeinsamen Feature-Extraktor (ein leichter 1D-CNN) und einem Multi-Task-Prediction-Head.
  • Das Modell lernt, sowohl die Leistung (Power) als auch den Ein/Aus-Zustand (State) basierend auf einem aggregierten Signal (Query) und einem Referenzsignal (Reference) eines Geräts zu schätzen.
  • Der Verlust ist eine Kombination aus Mean Squared Error (MSE) für die Leistung und Binary Cross-Entropy (BCE) für den Zustand.

• Stufe II: Anpassung im Zieldomain (Target Domain Adaptation):

  • Dies ist der Kern des Transfer-Learnings. Das vortrainierte Netzwerk (Feature-Extraktor und Head) wird vollständig eingefroren.
  • Für jedes neue Gerät im Zielhaus wird nur ein spezifisches Referenz-Embedding ($\tilde{e}_r$) gelernt.
  • Dieser Prozess ist extrem leichtgewichtig: Es werden nur $E$ Parameter (die Dimension des Embeddings) pro Gerät optimiert, nicht das gesamte Netzwerk. Dies ermöglicht eine schnelle Anpassung mit sehr wenigen gelabelten Daten (z. B. 1 Tag).

• Stufe III: Inferenz im Zieldomain:

  • Bei der Inferenz wird das aggregierte Signal (Query) durch den eingefrorenen Encoder kodiert.
  • Das gelernte, gerätespezifische Embedding wird als Bedingung (Condition) in den Prediction-Head eingespeist, um die Leistung und den Zustand des spezifischen Geräts vorherzusagen.
  • Dies ermöglicht eine „Plug-and-Play"-Erweiterung: Neue Geräte können hinzugefügt werden, ohne das Hauptmodell neu zu trainieren.

Architektur-Details:

• Encoder: Ein flacher Stack aus fünf 1D-Convolutional-Layern mit kleinen Kernen (k=3), ReLU-Aktivierungen und Max-Pooling, der auf Edge-Geräte optimiert ist.
• Head: Verarbeitet die Verkettung von Query- und Reference-Embeddings sowie deren Differenz und Produkt, um eine gemeinsame Repräsentation zu bilden, die dann in zwei Zweige (Klassifikation für Status, Regression für Leistung) aufgeteilt wird.

3. Wichtige Beiträge

1. Geräte-konditioniertes Framework: Entwicklung eines einzigen geteilten Modells, das durch kompakte Embeddings für viele Geräte adaptiert werden kann, was die Starrheit fester Geräteauswahlen überwindet.
2. Leichtgewichtige Anpassungsstrategie: Einführung einer neuen Methode, bei der nur die Geräte-Embeddings gelernt werden, während das Hauptnetzwerk eingefroren bleibt. Dies reduziert Speicherbedarf und Rechenzeit für die Anpassung drastisch.
3. Validierung: Umfassende Experimente auf drei öffentlichen Datensätzen (REDD, UK-DALE, REFIT), die zeigen, dass RefQuery eine überlegene Balance zwischen Genauigkeit und Effizienz bietet, insbesondere unter Datenknappheit und auf ressourcenbeschränkter Hardware.

4. Ergebnisse

Die Evaluation erfolgte im Vergleich zu drei Baselines: SA-S2P (Single-Appliance), MA-CNN (Multi-Appliance CNN) und MA-TRF (Transformer-basiert).

• Genauigkeit:

  • RefQuery erreicht auf UK-DALE und REDD-Datensätzen eine wettbewerbsfähige bis führende Genauigkeit (MAE und F1-Score).
  • Besonders stark ist die Leistung bei Mehrzustandsgeräten (z. B. Waschmaschine, Geschirrspüler), wo RefQuery oft den höchsten F1-Score liefert.
  • Unter limitierten Daten-Szenarien (nur 1 Tag Anpassungsdaten) zeigt RefQuery die größte Robustheit. Während andere Methoden stark an Genauigkeit verlieren, bleibt RefQuery stabil (z. B. nur -3,7% F1-Verlust im Vergleich zu -15% bei MA-TRF).

• Effizienz und Skalierbarkeit:

  • Speicher: RefQuery reduziert den Speicherbedarf pro Gerät um ca. 99,6% im Vergleich zu SA-S2P und um 90% im Vergleich zu MA-TRF.
  • Anpassungszeit: Die Anpassung ist ca. 70-85-mal schneller als bei den Baselines, da nur ein kleines Embedding optimiert wird.
  • Inferenz: Die Inferenzzeit ist signifikant niedriger (bis zu 9,2-mal schneller als SA-S2P).
  • Skalierung: RefQuery skaliert linear und inkrementell mit der Anzahl der Geräte ($K$), ohne das gemeinsame Netzwerk zu aktualisieren. Der zusätzliche Rechenaufwand pro neuem Gerät ist minimal.

5. Bedeutung und Fazit

RefQuery adressiert die kritischen Hindernisse für den praktischen Einsatz von NILM auf Edge-Geräten:

• Es ermöglicht skalierbare, Echtzeit-Disaggregation auf ressourcenbeschränkter Hardware.
• Durch die Trennung des globalen Modells von den gerätespezifischen Embeddings wird die Datenschutz- und Privatsphäre gewahrt, da die Anpassung lokal und mit minimalen Daten erfolgen kann.
• Das Framework bietet einen praktischen Weg, um NILM-Systeme flexibel an neue Haushalte und sich ändernde Gerätekonfigurationen anzupassen, ohne teure Neutraining-Prozesse.

Zusammenfassend stellt RefQuery einen bedeutenden Schritt hin zu effizienten, generalisierbaren und auf Edge-Geräten lauffähigen NILM-Lösungen dar, die die Lücke zwischen hoher Modellkomplexität und praktischen Einsatzanforderungen schließen.