🤖 machine learning

SPLICE: Latent Diffusion over JEPA Embeddings for Conformal Time-Series Inpainting

SPLICE is een modulair raamwerk dat latente diffusie over JEPA-embeddings combineert met Adaptieve Conformale Inferentie om state-of-the-art nauwkeurigheid voor tijdsreeks-imputatie en distributie-vrije, eindige-steekproef betrouwbaarheidsgaranties voor kritieke toepassingen in energiesystemen te bereiken.

Oorspronkelijke auteurs: Arnaud Zinflou

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arnaud Zinflou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert naar je favoriete liedje te luisteren, maar er ontbreekt een stuk van de opname. Misschien is de band opgekauwd, of viel de Wi-Fi een paar dagen uit. Je moet dat ontbrekende gedeelte invullen zodat het liedje soepel afspeelt, maar je moet ook weten: hoe zeker zijn we dat wat we invullen, ook echt wat er was?

Dit artikel introduceert SPLICE, een nieuw hulpmiddel dat is ontworpen om ontbrekende stukken elektriciteitsdata (zoals ontbrekende noten in een liedje) te herstellen, terwijl het ook een "vertrouwensscore" voor de correctie geeft. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. Het Probleem: De "ruis" in de Data

Elektriciteitsnetwerken moeten precies weten hoeveel stroom er elk uur wordt verbruikt om de lichten aan te houden. Maar soms breken sensoren, worden kabels doorgesneden of crashten computers, waardoor er enorme gaten in de data ontstaan (soms wel 91 dagen achter elkaar ontbrekend!).

Oude methoden probeerden deze gaten op te vullen door gewoon een rechte lijn te trekken tussen de punten "voor" en "na". Het is alsof je de ontbrekende teksten van een liedje raadt door alleen het deuntje te neuriën tussen de bekende woorden. Het ziet er prima uit, maar het mist de complexe ritmes en details die nodig zijn om een elektriciteitsnetwerk veilig te runnen.

Nieuwere AI-methoden kunnen de ontbrekende details beter raden, maar ze zijn als een zelfverzekerde artiest die de teksten perfect raadt maar weigert toe te geven: "Ik heb het misschien mis." In een elektriciteitsnetwerk kan het verkeerd hebben zonder dat je het weet, gevaarlijk zijn.

2. De Oplossing: SPLICE (De "Dromende" Architect)

De auteurs bouwden een systeem genaamd SPLICE dat werkt als een hoogopgeleide architect die niet alleen raadt; ze "verbeelden" zich hoe het ontbrekende gebouw eruit zou moeten zien, gebaseerd op de omliggende buurt.

Hier is het stap-voor-stap proces:

Stap 1: De Vertaler (JEPA-encoder)
Stel je voor dat de elektriciteitsdata een complexe taal is. Het eerste deel van SPLICE is een vertaler die een hele dag aan energieverbruik comprimeert tot een klein, 64-cijferig "samenvattingsnotitie". Het leert de sfeer van de dag (is het een hete zomerse dinsdag? een rustig winterweekend?) zonder vast te komen zitten in elk detail. Dit is gebaseerd op een concept genaamd JEPA (Joint Embedding Predictive Architecture), wat erop neerkomt dat je een computer leert het "verhaal" van de data te begrijpen in plaats van alleen de nummers uit het hoofd te leren.
Stap 2: De Brugbouwer (Conditionele Latente Brug)
Zodra het systeem de "samenvattingsnotities" heeft voor de dagen voor en na de gat, moet het een brug bouwen over de ontbrekende dagen.
- De Deterministische Brug: Dit is de "veilige" gok. Het bouwt het meest waarschijnlijke pad over de gat, alsof je de rechtste lijn tussen twee punten trekt.
- De Creatieve Brug (Flow Matching): Dit is het "dromende" deel. In plaats van alleen één lijn te trekken, genereert het vele mogelijke paden die het energieverbruik had kunnen nemen. Het is alsof je tien verschillende versies bedenkt van de ontbrekende liedtekst. Het artikel vond een nieuwe, snellere manier om dit te doen (genaamd Flow Matching) die 5 tot 10 keer sneller is dan oudere methoden, maar even nauwkeurig.
Stap 3: De Terugvertaler (Decoder)
Het systeem neemt die "samenvattingsnotities" en de "brug" die het heeft gebouwd en vertaalt ze terug naar echte, uurlijkse elektriciteitscijfers. Cruciaal is dat het kijkt naar het weer en de kalender (regent het? is het een feestdag?) om ervoor te zorgen dat de gok logisch is voor dat specifieke moment.

3. Het Veiligheidsnet: ACI (Het "Vertrouwensbandje")

Dit is de belangrijkste innovatie. Zelfs de beste gok kan verkeerd zijn.

Oude manier: Het systeem gaf je één getal en zei: "Dit is de ontbrekende data."
De manier van SPLICE: Het wikkelt het antwoord in een veiligheidsband. Het zegt: "Wij denken dat de ontbrekende data hier zit, maar we zijn 95% zeker dat het ergens binnen dit brede bandje zit."

Het systeem maakt gebruik van een techniek genaamd Adaptive Conformal Inference (ACI). Denk hierbij aan een zelfcorrigerende thermostaat.

Als het systeem te nauwkeurig begint te raden en de echte data mist, breidt de ACI het veiligheidsbandje automatisch uit.
Als het te voorzichtig is en het bandje is enorm, maakt het het strakker.
Het doet dit in real-time, leert van zijn fouten terwijl het gaat, en zorgt ervoor dat op de lange termijn de echte data 93–95% van de tijd binnen het bandje valt.

4. De Resultaten: Betere Gokken, Sneller en Veiliger

De auteurs testten dit op 13 verschillende elektriciteitsdatasets (van huishoudens, fabrieken en steden).

Nauwkeurigheid: SPLICE maakte de meest nauwkeurige gokken van ontbrekende data vergeleken met vijf andere toponderste methoden. Het won op 9 van de 12 datasets.
Snelheid: Door de nieuwe "Flow Matching"-methode te gebruiken, vulde het 91 dagen aan ontbrekende data in slechts een paar milliseconden in, wat 5 tot 10 keer sneller is dan de vorige beste methoden.
Betrouwbaarheid: Het loste het probleem van "onderdekking" op. Oudere methoden claimden vaak 95% zeker te zijn, maar waren in werkelijkheid slechts 86% van de tijd juist. SPLICE corrigeerde dit en haalde consistent het doel van 93–95%.

5. De "Eén-maat-voor-Allen"-Truc

Tot slot toonde het artikel aan dat de "Vertaler" (het deel dat de data begrijpt) getraind kon worden op negen verschillende steden en vervolgens gebruikt kon worden op vier nieuwe steden die het nog nooit had gezien. Het werkte bijna even goed alsof het specifiek op die nieuwe steden was getraind. Dit betekent dat het systeem flexibel is en snel ingezet kan worden zonder dat alles opnieuw vanaf nul getraind hoeft te worden.

Samenvattend: SPLICE is een slim, snel en eerlijk hulpmiddel. Het vult niet alleen de gaten van ontbrekende elektriciteitsdata in; het verbeeldt de meest waarschijnlijke scenario's, doet dit ongelooflijk snel en legt een veiligheidsnet om zijn antwoorden zodat ingenieurs precies weten hoeveel ze het resultaat kunnen vertrouwen.

1. Probleemstelling

Het paper adresseert de kritieke uitdaging van imputatie van tijdreeksen op lange horizon in energiesystemen, specifiek voor het reconstrueren van ontbrekende elektriciteitslastdata door sensorstoringen of communicatieuitval.

Het Gat: Bestaande diepe generatieve modellen (bijv. diffusiemodellen, VAE's) bereiken hoge reconstructienauwkeurigheid maar missen garanties voor betrouwbaarheid bij eindige steekproeven. In veiligheidskritieke infrastructuur zoals elektriciteitsnetten zijn puntsschattingen zonder kwantificering van onzekerheid ontoereikend voor dispatch en planning.
De Uitdaging: Traditionele interpolatie faalt in het vastleggen van fijnkorrelige temporele structuren, terwijl standaard methoden voor conformale voorspelling vaak falen onder niet-stationaire distributieveranderingen (bijv. seizoensgebonden veranderingen, verschuivingen in weersregimes) omdat ze uitgaan van uitwisselbaarheid van data.
Doel: Ontwikkeling van een raamwerk dat hoge-trouw reconstructie van ontbrekende data (tot 91 dagen) biedt, terwijl het distributie-vrije, adaptieve voorspellingsintervallen levert met rigoureuze dekkinggaranties.

2. Methodologie: Het SPLICE-raamwerk

SPLICE (Self-supervised Predictive Latent Inpainting with Conformal Envelopes) is een modulaire, vierfasige pijplijn:

A. JEPA-encoder (Representatieleren)

Architectuur: Gebruikt een Joint Embedding Predictive Architecture (JEPA) om dagelijkse multivariate segmenten (last, weer, kalender) af te beelden in een compacte 64-dimensionale latente ruimte.
Mechanisme: Een gemaskerde Transformer voorspelt de latente embedding van gemaskerde dagen op basis van waargenomen context.
Trainingsdoel: Combineert een cosine-predictieverlies met VICReg-achtige regularisatie (variantie- en covariantiebeperkingen) om ineenstorting van embeddings te voorkomen en verspreiding van informatie te waarborgen.
Voordeel: In tegenstelling tot VAE's leert JEPA een gestructureerde latente ruimte die temporele dynamiek behoudt zonder het "vervagende" effect van reconstructieverliezen, wat het ideaal maakt voor generatie op lange horizon.

B. Conditionele Latente Brug (Trajectiegeneratie)

Functie: Genereert kandidaat-trajecten voor het ontbrekende gat binnen de JEPA-late ruimte.
Modi: Ondersteunt vier niveaus van stochasticiteit:
1. Deterministisch: Directe voorspelling (laagste MSE).
2. Ruisontheerde: Voegt Gaussisch ruis toe aan de deterministische output om een ensemble te creëren voor onzekerheidskwantificering.
3. Generatief (DDIM): Standaard diffusie-sampling.
4. Generatief (Flow Matching): De voorkeursbackend. Het leert een snelheidsveld om steekproeven langs rechte ODE-paden te transporteren.
Efficiëntie: De Flow Matching-variant bereikt kwaliteit vergelijkbaar met DDIM in 5–10 Euler-stappen, wat een 5–10× snelheidswinst biedt ten opzichte van de 50-staps DDIM-sampler.

C. Uur-geconditioneerde Decoder

Functie: Kaart de gegenereerde latente trajecten terug naar de signaalsruimte (uurlijkse last).
Innovatie: In tegenstelling tot standaard decoders is deze geconditioneerd op uurlijkse covariaten (weer, kalender) tijdens het gat. Dit stelt het model in staat om de externe factoren (bijv. temperatuur) voor de ontbrekende dagen te "kennen", waardoor de informatiekloof tussen latente en observatieruimten wordt gedicht.
Training: Gebruikt een Last-gewogen MSE-verlies (5× gewicht op last) en ruisaugmentatie om robuustheid te verbeteren.

D. Adaptieve Conformale Inferentie (ACI)

Probleem: Standaard Conformale Voorspelling (CQR) gaat uit van uitwisselbaarheid, wat wordt geschonden in tijdreeksen.
Oplossing: SPLICE wikkelt de generatieve output in met Adaptieve Conformale Inferentie (ACI).
Mechanisme: ACI onderhoudt een lopend misdekkingniveau ( $\alpha_t$ ) dat online wordt bijgewerkt op basis van waargenomen fouten:
$\alpha_{t+1} = \alpha_t + \gamma(\alpha - \text{err}_t)$
Garantie: Dit zorgt voor dekking op lange termijn (bijv. 95%) zelfs onder distributieveranderingen, met zelfcorrectie zonder handmatige herkalibratie.

3. Belangrijkste Bijdragen

Modulaire Latente Pijplijn: Een nieuwe architectuur die JEPA-representatieleren koppelt aan een conditionele latente brug en een uur-geconditioneerde decoder.
Efficiëntie van Flow Matching: Demonstreert dat Flow Matching in JEPA-late ruimte een 5–10× inferentiesnelheidswinst biedt ten opzichte van DDIM met vergelijkbare of betere kwaliteit.
Distributie-vrije Onzekerheid: Eerste werk dat een diepe generatieve imputatiepijplijn omhult met ACI, waardoor onder-dekking-fouten tot 7,5 procentpunten worden gecorrigeerd in niet-stationaire omgevingen.
Transfer Learning: Toont aan dat een enkele gepoolde JEPA-encoder, getraind op negen diverse domeinen, kan worden overgedragen naar vier ongezette domeinen met minimale fine-tuning (alleen de brug en decoder), wat overeenkomt met of de per-dataset orakels overtreft.

4. Experimentele Resultaten

Geëvalueerd op 13 datasets (9 proprietary utility-feeds, 3 UCI Electricity, 1 ETTh1) met gaten van 91 dagen:

Nauwkeurigheid:
- Bereikte de laagste gemiddelde Last-only MSE (0,056), presterend beter dan sterke baselines zoals SAITS (0,064), BRITS (0,068) en CSDI (0,252).
- Won 9/12 niet-degenererende datasets tegen externe baselines.
- Flow Matching verlaagde de MSE met 8,7% ten opzichte van DDIM, terwijl 10× minder stappen werden gebruikt.
Kalibratie van Onzekerheid:
- ACI bereikte 93–95% empirische dekking over alle datasets, waarbij onder-dekking in volatiele datasets succesvol werd opgelost (bijv. RIInd1014 verbeterde van 86% naar 93,5%).
- CRPS (Continuous Ranked Probability Score): Het ruisontheerde ensemble bereikte de beste CRPS (0,161), een 18,3% verbetering ten opzichte van de sterkste deterministische baseline (SAITS).
Transferbaarheid:
- Een gepoolde encoder die alleen was gefine-tuned op de brug/decoder, kwam overeen met of overtrof per-dataset orakels op 3 van de 4 vastgehouden domeinen.
Ablatiestudies:
- JEPA-embeddings verlaagden de MSE met 53,2% ten opzichte van JEPA-only en met 25,1% ten opzichte van een legacy VAE+Bridge-baseline.
- De verbeterde decoder (Last-gewogen verlies + ruisaugmentatie) droeg een extra 9,3% MSE-reductie bij.

5. Betekenis en Impact

Netbetrouwbaarheid: Biedt exploitanten van elektriciteitsnetten niet alleen geïmputeerde waarden, maar statistisch gegarandeerde betrouwbaarheidsintervallen, cruciaal voor het voorkomen van ondervoorziening of gemiste vraagrespons-gebeurtenissen.
Schaalbaarheid en Efficiëntie: De Flow Matching-backend maakt imputatie op lange horizon computatieel haalbaar voor real-time of near-real-time toepassingen.
Generalisatie: De aanpak met een gepoolde encoder suggereert een weg naar universele tijdreeks-fundamentmodellen, waardoor de kosten van het trainen van nieuwe modellen voor elke nieuwe sensor of regio worden verlaagd.
Methodologische Vooruitgang: Overbrugt succesvol de kloof tussen generatieve modellering (voor hoge-trouw reconstructie) en conformale voorspelling (voor rigoureuze onzekerheid), waardoor een belangrijke beperking in het huidige door AI gedreven infrastructuurbeheer wordt aangepakt.

Concluderend vertegenwoordigt SPLICE een aanzienlijke stap voorwaarts in tijdreeks-imputatie door de representatieve kracht van JEPA, de efficiëntie van Flow Matching en de statistische strengheid van Adaptieve Conformale Inferentie te combineren om een kritiek probleem in energiesystemen op te lossen.