Lightweight and Scalable Transfer Learning Framework for Load Disaggregation

Dit paper introduceert RefQuery, een schaalbaar en lichtgewicht transfer learning-framework voor niet-intrusieve lastdisaggregatie dat een bevroren model combineert met compacte apparaatvingerafdrukken om nauwkeurige en efficiënte real-time schattingen op randapparaten mogelijk te maken zonder een vast aantal apparaten.

De kern

Titel: De Slimme Chef die Elke Keuken Kan Lezen (Zonder de Wasmachine te Veranderen)

Stel je voor dat je een elektriciteitsmeter hebt die alleen het totale verbruik van je hele huis ziet. Het is alsof je een grote, donkere kamer binnenloopt en alleen ziet dat het licht aan is, maar niet welke lampen branden of welke apparaten aan staan.

NILM (Non-Intrusive Load Monitoring) is de techniek die probeert uit dat ene grote lichtsignaal te raden: "Ah, de koelkast draait nu," of "De wasmachine staat op 'centrifugeer'."

Het probleem? Elke huis is anders. De koelkast in huis A maakt een ander geluid (in het elektrisch signaal) dan die in huis B. En de mensen gebruiken hun apparaten op verschillende tijden. Een slimme computer die is getraind in één huis, faalt vaak in een ander.

Hier komt RefQuery (de nieuwe methode uit dit paper) om de hoek kijken. Laten we het uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Eén Oplossing voor Alles" Fout

Vroeger (en bij veel huidige methoden) was het zo:

• Wil je de koelkast herkennen? Dan bouw je een speciale robot voor de koelkast.
• Wil je de wasmachine herkennen? Dan bouw je een tweede robot voor de wasmachine.
• Wil je de magnetron? Dan bouw je een derde robot.

Dit werkt, maar het is zwaar! Je moet elke robot apart trainen, en als je een nieuw apparaat koopt, moet je een hele nieuwe robot bouwen. Dat is te veel werk en te veel ruimte op je slimme meter (die vaak weinig rekenkracht heeft).

2. De Oplossing: RefQuery (De Slimme Chef)

RefQuery werkt heel anders. Het is alsof je één super-chef hebt in je keuken.

• De Chef (Het Model): Deze chef is al jarenlang getraind in een groot restaurant (het "bron-domein"). Hij weet precies hoe een koelkast, wasmachine of magnetron eruitziet in het algemeen. Hij is vastgezet (frozen); je verandert zijn receptenboek niet. Hij is de expert.
• De Stempel (De Embedding): Elke keer als je een nieuw apparaat in je huis hebt, geef je de chef een klein, specifiek stempel (een "vingerafdruk") van dat apparaat.

Hoe het werkt in drie stappen:

1. Stap 1: De Chef Leren (Training):
   De chef leert in het grote restaurant hoe apparaten werken. Hij leert het verschil tussen het geluid van een draaiende wasmachine en een brandende magnetron. Dit duurt even, maar gebeurt één keer.

2. Stap 2: De Chef Naar Jouw Huis Sturen (Aanpassing):
   Nu gaat de chef naar jouw huis. Hij mag zijn receptenboek niet aanpassen (dat is te zwaar en te langzaam). In plaats daarvan leert hij alleen één ding: wat is de specifieke "stempel" van jouw koelkast?

   • Hij kijkt een paar dagen naar jouw koelkast.
   • Hij maakt een heel klein kaartje (een "embedding") met de kenmerken van jouw koelkast.
   • Dat is alles! Hij past de rest van zijn brein niet aan. Hij past alleen dit ene kaartje aan.

3. Stap 3: De Chef aan het Werk (Gebruik):
   Nu de chef jouw "koelkast-kaartje" heeft, kan hij direct aan de slag. Als hij het totale stroomverbruik ziet, kijkt hij naar zijn kaartje en zegt: "Ah, dit patroon past bij de koelkast, dus dit is de koelkast."
   Wil je de wasmachine toevoegen? Geen nieuwe chef nodig! Je geeft de chef gewoon een nieuw kaartje voor de wasmachine. Hij gebruikt dezelfde brein-kracht, maar met een ander kaartje.

Waarom is dit zo cool?

• Snel en Licht: Omdat de chef zijn grote brein niet hoeft te herschrijven, maar alleen een klein kaartje aanpast, gaat het ontzettend snel. Het kost weinig rekenkracht. Je kunt dit zelfs op een kleine, goedkope slimme meter doen (een "edge device").
• Flexibel: Heb je morgen een nieuwe airco gekocht? Geen probleem. Je maakt een nieuw kaartje, en de chef kan hem direct herkennen. Je hoeft geen nieuwe software te installeren.
• Werkt overal: Omdat de chef al weet hoe apparaten algemeen werken, is hij niet bang voor een ander huis. Hij past zich snel aan aan jouw specifieke situatie.

De Resultaten (De Proef op de Som)

De auteurs hebben dit getest met echte data van honderden huizen. Ze hebben gekeken of het beter werkt dan de oude methoden (de aparte robots).

• Nauwkeurigheid: Het werkt net zo goed, en soms zelfs beter dan de zware methoden.
• Snelheid: Het is 70 tot 85 keer sneller om aan te passen aan een nieuw huis dan de bestaande methoden.
• Opslag: Het neemt 90% minder ruimte in beslag op je apparaat.

Conclusie

RefQuery is als het geven van een paspoort aan een wereldwijd reizende expert. De expert hoeft niet opnieuw te leren hoe de wereld werkt; hij krijgt alleen een paspoort voor jouw land (jouw huis) en kan dan direct zijn werk doen.

Dit maakt het mogelijk om in de toekomst op elke slimme meter in huis een systeem te hebben dat precies weet wat er aan de stroom staat, zonder dat je dure hardware nodig hebt of je privacy verliest (want alles gebeurt lokaal op het apparaat).

Technische samenvatting

Probleemstelling

Non-Intrusive Load Monitoring (NILM), ook wel energiedisaggregatie genoemd, heeft als doel het schatten van het verbruik van individuele apparaten op basis van het totale elektriciteitsverbruik dat op één meetpunt wordt geregistreerd. Hoewel diep leren (Deep Learning) de nauwkeurigheid heeft verbeterd, blijven er twee grote uitdagingen bestaan voor de praktische toepassing, vooral op randapparaten (edge devices):

1. Generalisatieprobleem: Modellen getraind op brondata (bijv. één dataset van huishoudens) presteren vaak slecht in doelwathomgevingen (andere huishoudens) vanwege verschillen in apparaatkenmerken, gebruikspatronen en achtergrondladingen.
2. Beperkingen van bestaande oplossingen:
   • Veel bestaande methoden gaan uit van een vast aantal apparaten of vereisen een apart model per apparaat, wat leidt tot lineaire schaalbaarheid en hoge opslagkosten.
   • State-of-the-art modellen (zoals Transformer-gebaseerde netwerken) zijn vaak te zwaar voor randapparaten met beperkt geheugen en rekenkracht.
   • Aanpassing (fine-tuning) aan een nieuwe omgeving vereist vaak het herschrijven van grote delen van het netwerk, wat veel data en rekenkracht kost.

Methodologie: RefQuery

Het paper introduceert RefQuery, een schaalbaar, multi-apparaat en multi-taken framework voor NILM. De kern van de methode is het conditioneren van de disaggregatie op compacte "apparaatvingerafdrukken" (embeddings), waardoor één gedeeld model kan dienen voor vele apparaten zonder een vast output-set.

Het framework werkt in drie fasen:

1. Fase I: Training in de Bron-Domein:

   • Een gedeelde feature extractor (een compacte 1D-CNN) en een voorspellingskop worden getraind op gelabelde data van meerdere brongebouwen.
   • Het model leert een functie die een referentie-embedding (een representatie van een specifiek apparaat) combineert met een query-embedding (van het totale stroomnet).
   • Het doel is het gezamenlijk voorspellen van het vermogen (regressie) en de aan/uit-status (classificatie) van een apparaat.

2. Fase II: Aanpassing in het Doel-Domein (Lightweight Adaptation):

   • Wanneer het model wordt ingezet in een nieuw, onbekend huis, worden de parameters van het gedeelde netwerk (feature extractor en kop) bevroren.
   • Voor elk nieuw apparaat wordt alleen een specifieke referentie-embedding geleerd (geoptimaliseerd) op basis van een kleine hoeveelheid gelabelde data uit dat specifieke huis.
   • Dit vereist het optimaliseren van slechts $E$ parameters per apparaat (de dimensie van de embedding), in plaats van het hele netwerk. Dit maakt personalisatie extreem lichtgewicht en snel.

3. Fase III: Inferentie:

   • Tijdens de operatie wordt het totale stroomsignaal (query) gecodeerd en gekoppeld aan de geleerde embedding van het specifieke apparaat om het verbruik en de status te voorspellen.

Architectuur:

• Encoder: Een lichte 1D-CNN met vijf convolutielagen, ontworpen voor lage latentie en geheugengebruik.
• Head: Een multi-task kop die de referentie- en query-embeddings combineert via elementsgewijze verschillen en producten, gevolgd door volledig verbonden lagen voor het voorspellen van vermogen en status.

Belangrijkste Bijdragen

1. Apparaat-geconditioneerd Framework: RefQuery maakt disaggregatie van meerdere apparaten mogelijk met één gedeeld model door te conditioneren op compacte embeddings. Dit elimineert de noodzaak voor aparte modellen per apparaat en maakt "plug-and-play" uitbreiding mogelijk.
2. Nieuwe Aanpassingsstrategie: Het introduceert een mechanisme waarbij apparaten kunnen worden gedisaggregeerd zonder de netwerkparameters bij te werken. Alleen de embedding wordt aangepast, wat de rekentijd en het risico op overfitting bij beperkte data drastisch verlaagt.
3. Validatie en Schaalbaarheid: Uitgebreide experimenten tonen aan dat de methode niet alleen nauwkeurig is, maar ook aanzienlijk minder opslag en aanpassingstijd vereist dan bestaande state-of-the-art baselines (inclusief Transformer-modellen).

Resultaten

De methode is getest op drie openbare datasets: REFIT (bron), REDD en UK-DALE (doel).

• Nauwkeurigheid: RefQuery levert een sterke afweging tussen nauwkeurigheid en efficiëntie.
  • Op UK-DALE behaalde het de beste gemiddelde MAE (Mean Absolute Error) en verbeterde het de Transformer-baseline (MA-TRF) met ongeveer 2,5%.
  • Het presteerde consistent beter op multi-toestel-apparaten (zoals wasmachines en vaatwassers) dan bestaande methoden.
• Beperkte Data Scenarios: Bij aanpassing met slechts 1 dag aan data (in plaats van 7 dagen) bleek RefQuery robuuster dan concurrenten. Het verlies in F1-score was minimaal vergeleken met andere methoden, wat cruciaal is voor praktische toepassingen waar gelabelde data schaars is.
• Efficiëntie en Schaalbaarheid:
  • Opslag: RefQuery reduceert de opslag met ongeveer 90% ten opzichte van Transformer-baselines en 99,6% ten opzichte van single-apparaat modellen.
  • Aanpassingstijd: Het is ongeveer 70 tot 85 keer sneller om aan te passen aan een nieuw apparaat dan bestaande methoden.
  • Inferentie: Het is aanzienlijk sneller in inferentie (tot 9x sneller dan SA-S2P), wat het geschikt maakt voor real-time toepassing op edge devices.
  • Schaalbaarheid: Het toevoegen van nieuwe apparaten vereist geen herscholing van het netwerk, alleen het leren van een nieuwe embedding, wat de rekencost per extra apparaat minimaal houdt.

Significantie

RefQuery biedt een praktische oplossing voor de implementatie van NILM op resource-beperkte randapparaten (zoals slimme meters of lokale hubs). Door de scheiding tussen een stabiel globaal model en lichte, apparaatspecifieke aanpassingen, overbrugt het de kloof tussen hoge nauwkeurigheid en de beperkte rekenkracht van edge computing. De methode maakt het mogelijk om NILM-systemen schaalbaar en real-time te laten draaien in diverse huishoudens zonder de privacy te schenden (door lokale verwerking) en zonder de complexiteit van het beheer van honderden aparte modellen. Dit is een belangrijke stap naar de bredere adoptie van slim energiebeheer.