CINDI: Conditional Imputation and Noisy Data Integrity with Flows in Power Grid Data

Dit paper introduceert CINDI, een onbewaakte probabilistisch raamwerk op basis van conditionele normaliserende flows dat detectie van anomalieën en imputatie van ruis in multivariate tijdsreeksen, zoals elektriciteitsnetwerkdata, verenigt tot één end-to-end systeem om de gegevensintegriteit te herstellen.

De kern

CINDI: De Slimme Restaurator voor Elektrische Netwerken

Stel je voor dat een elektriciteitsnetwerk een enorme, complexe orkest is. Elke muzikant (een sensor) speelt een noot (een meetwaarde) om het geluid van het net te beschrijven. Maar soms, door een defecte snaar, een dronken muzikant of een storing in de zaal, spelen ze valse tonen of vallen ze helemaal stil. Als je dit "ruis" in de muziek niet opruimt, klinkt het hele concert (de voorspellingen van het net) waardeloos.

Tot nu toe hebben mensen dit probleem opgelost door twee aparte teams in te huren:

1. De Detectie-agent: Kijkt naar de muziek en zegt: "Hé, die noot klinkt raar!"
2. De Reparateur: Kijkt naar die raar klinkende noot en probeert hem te vervangen door iets wat logisch klinkt, vaak door gewoon te raden of te middelen met de buren.

Het probleem? Deze twee teams praten niet met elkaar. De reparateur weet niet precies wat de agent dacht, en de agent heeft geen idee of zijn vervanging goed klinkt. Het resultaat is vaak een "pleister" die niet helemaal past.

CINDI (Conditional Imputation and Noisy Data Integrity) is een nieuw, slimme aanpak die deze twee teams samenvoegt tot één meester-restaurator.

Hoe werkt CINDI?

Stel je voor dat CINDI een kunstrestaurator is die een oud schilderij (de data) bekijkt. In plaats van alleen te raden wat er onder de vlekken zit, leert CINDI eerst perfect hoe het schilderij er had moeten uitzien als er geen schade was.

1. Het Leren van de "Normale" Wereld:
   CINDI kijkt naar de gezonde delen van de data en leert de complexe patronen. Het leert bijvoorbeeld: "Als de zon schijnt en de temperatuur stijgt, dan stijgt het stroomverbruik op een heel specifieke manier." Het bouwt een mentaal model van hoe het net moet werken.

2. Het Opsporen van de Vlekken:
   Vervolgens kijkt CINDI naar de hele dataset. Waar het model zegt: "Dit past niet bij wat ik heb geleerd!" (bijvoorbeeld: plotseling een enorme piek in de winter), markeert het die plek als verdacht. Dit is de "anomalie".

3. Het Slimme Vervangen (Imputatie):
   Nu komt de magie. In plaats van een simpele lijn te trekken tussen twee punten, gebruikt CINDI zijn mentale model om te dromen over wat er op die plek had moeten staan.

   • Het vraagt zichzelf: "Als ik dit stukje data zou vervangen, wat is dan de meest waarschijnlijke, logische waarde die past bij de rest van het schilderij?"
   • Het genereert een nieuwe, schone versie van die data.
   • Het slimme trucje: CINDI doet dit niet één keer, maar in een iteratief proces. Het vervangt de data, kijkt of het resultaat nog steeds logisch is, en past het eventueel weer aan. Het is alsof de restaurator steeds verder verfijnt tot het schilderij perfect harmonieert.

Waarom is dit zo belangrijk?

In de echte wereld, zoals bij de Noorse elektriciteitsnetwerken waar dit papier over gaat, zijn de data vaak vies. Sensoren gaan stuk, of er zijn storingen in de communicatie. Als je een AI-model traint op deze "vies" data, leert het de verkeerde regels. Het is alsof je een student leert wiskunde met een boek vol typefouten; de student zal de fouten leren, niet de wiskunde.

CINDI zorgt ervoor dat je eerst het boek corrigeert voordat je de student iets leert.

• Voorheen: Je probeerde de fouten te vinden en te repareren met losse tools.
• Met CINDI: Je gebruikt één krachtig systeem dat zowel de fouten ziet als de juiste oplossing bedenkt, gebaseerd op een diep begrip van hoe het systeem werkt.

De Resultaten in het Kort

De onderzoekers hebben CINDI getest op echte data van een Noors energienetwerk. Ze zagen dat:

• CINDI tot een bepaald punt (ongeveer 14% aan fouten in de data) uitstekend werk leverde.
• Het systeem de data zo schoon maakte dat andere modellen die daarop trainden veel beter presteerden.
• Zelfs als er veel ruis in de data zat, kon CINDI vaak nog een goede, logische "gissing" doen die beter was dan simpele rekenmethodes.

Kortom: CINDI is als een slimme, geduldige editor die niet alleen typos ziet, maar ook begrijpt wat de schrijver bedoelde, en het verhaal zo herschrijft dat het weer logisch en waardevol wordt. Dit zorgt voor betrouwbaardere voorspellingen over stroomverbruik en verlies, wat essentieel is voor een stabiel energienet.

Technische samenvatting

Probleemstelling

Real-world multivariate tijdsreeksen, met name in kritieke infrastructuur zoals elektriciteitsnetten, worden vaak aangetast door ruis en anomalieën (bijv. door sensorstoringen of transmissiefouten). Deze corrupties vertragen de prestaties van downstream-taken, zoals het voorspellen van netverliezen (grid loss).

• Huidige beperkingen: Standaard data-cleaning-methoden hanteren vaak een gefragmenteerde aanpak waarbij anomaliedetectie en data-imputatie (het invullen van ontbrekende of foutieve waarden) als twee gescheiden taken worden behandeld met verschillende modellen.
• Gevolg: Deze aanpak faalt vaak in het vangen van de volledige gezamenlijke verdeling (joint distribution) van de data en negeert voorspellingsonzekerheid. Bovendien kunnen rudimentaire methoden (zoals lineaire interpolatie) de onderliggende fysische en statistische eigenschappen van het systeem vernietigen, wat essentieel is voor betrouwbare voorspellingen.

Methodologie: CINDI Framework

De auteurs introduceren CINDI (Conditional Imputation and Noisy Data Integrity), een onbewaakte, probabilistische end-to-end framework dat anomaliedetectie en imputatie verenigt in één systeem.

Kerncomponenten:

1. Conditionele Normalizing Flows:

   • CINDI maakt gebruik van een enkel conditioneel normalizing flow-model (gebaseerd op RealNVP) om de verdeling van de verwachte netwerkgedragingen te modelleren.
   • Het model leert een reeks transformaties die de data afbeelden naar een bekende verdeling (meestal een standaard normale verdeling).
   • De invoer bestaat uit de huidige observatie ($x_t$) en een temporale context ($w_t$), bestaande uit de $k$ voorgaande observaties.

2. Iteratieve Cyclus (Detectie & Imputatie):

   • Detectie: Het model berekent de log-likelihood van datapunten. Punten met een significant lagere waarschijnlijkheid (hoge negatieve log-likelihood) dan de gemiddelde verwachte waarde worden gemarkeerd als anomalieën. De drempelwaarde ($\tau$) wordt dynamisch bepaald op basis van de gemiddelde likelihood plus twee standaardafwijkingen van bekende "normale" data.
   • Imputatie: Voor gemarkeerde secties genereert het model plausibele vervangingen. Dit gebeurt door te sampleen vanuit de basisverdeling (bijv. het middelpunt $\mu$) en de inverse transformatie van de flow toe te passen.
   • Zelf-regressie: Bij het imputeren van een reeks datapunten wordt de temporale context bij elke stap bijgewerkt met de zojuist gegenereerde waarde. Dit creëert een zelf-regressieve keten die statistisch consistente vervangingen garandeert.

3. Modelselectie:

   • Om het beste model te vinden, gebruikt CINDI een evolutionair algoritme (CMA-ES) om de hyperparameter-ruimte te doorzoeken.
   • Er worden twee objectief functies gebruikt:
     • $\phi$: Voor datasets met labels, die een balans zoekt tussen detectie (AUC-ROC, VUS-ROC) en reconstructie van normale gedragingen.
     • $\psi$: Voor datasets zonder labels, die zich baseert op negatieve log-likelihood scores en reconstructie-metrics.

Belangrijkste Bijdragen

• Unificatie: CINDI is een uniek end-to-end framework dat detectie, correctie en training integreert in één enkel probabilistisch model, in plaats van ze als losse stappen te behandelen.
• Efficiëntie: Door dezelfde geleerde informatie te hergebruiken voor zowel detectie als imputatie, wordt de statistische integriteit van de data behouden.
• Toepassing op Netverliezen: Het framework is succesvol toegepast op een real-world dataset van een Noorse netbeheerder voor het voorspellen van dag-tot-dag netverliezen, een taak die gevoelig is voor datakwaliteit.
• Scalabiliteit: Hoewel getest op energiedata, is de methodologie ontworpen om te generaliseren naar elk domein met multivariate tijdsreeksen.

Resultaten

De experimenten zijn uitgevoerd op een dataset van een Noorse netbeheerder (met verschillende niveaus van fouten: 0% tot 24,19%) en een synthetische benchmark (FSB).

• Prestaties: CINDI presteert robuust vergeleken met concurrenten, waaronder traditionele interpolatiemethoden (lineair, kubisch, nearest neighbor) en geavanceerde model-based methoden (zoals Dynamix en KnowImp).
• Foutniveaus:
  • Bij lage tot gematigde foutniveaus (tot ~13,69%) verbetert CINDI de downstream-taak (anomaliedetectie) aanzienlijk.
  • Bij zeer hoge foutniveaus (24,19%) neemt het voordeel af, maar blijft het competitief. Interessanterwijs bleek dat het simpelweg "overslaan" ('skip') van foutieve secties soms net zo goed presteert als imputatie, wat suggereert dat te veel ruis in de trainingsdata het model kan vertekenen.
• Metrieken: CINDI behaalde hoge scores op F1-score, VUS (Volume Under Surface) en AUC. Bijvoorbeeld, bij 1,04% fouten in de trainingsdata behaalde CINDI een F1-score van 0,93 en een VUS van 0,97.
• Reconstructie: Visuele inspectie toont aan dat CINDI in staat is om natuurlijke, statistisch consistente vervangingen te genereren die de fysische dynamiek van het net behouden, zelfs bij langere foutieve periodes.

Betekenis en Conclusie

Het paper demonstreert dat het verbeteren van de invoerkwaliteit via een geïntegreerd probabilistisch framework cruciaal is voor betrouwbare machine learning in kritieke infrastructuur. CINDI biedt een schaalbare oplossing voor het behoud van data-integriteit in ruisomgevingen.

Beperkingen en Toekomst:

• Het framework kan geen echte waarden reconstrueren als de onderliggende data volledig ontbreekt of extreem corrupt is.
• De auteurs wijzen op de noodzaak van verdere research in selectieve imputatie (alleen aangetaste kanalen aanpassen), adaptief gedrag en betere time-embedding technieken om de prestaties in nog complexere scenario's te verbeteren.

Samenvattend biedt CINDI een krachtige, eenheidlijke aanpak om de betrouwbaarheid van voorspellingen in slimme netten te waarborgen door de kwaliteit van de onderliggende data systematisch te herstellen.