Calibrated uncertainty quantification for prosumer flexibility aggregation in ancillary service markets

Technische Samenvatting: Gecalibreerde Onzekerheidskwantificatie voor de Aggregatie van Prosumer-flexibiliteit

Probleemstelling
Onafhankelijke demand response-aggregators spelen een cruciale rol bij de integratie van gedistribueerde energiebronnen (DERs) in systemen voor aanvullende diensten, zoals de Deense mFRR-capaciteitsmarkt (manual frequency restoration reserve). Een centrale uitdaging voor deze aggregators is het nauwkeurig voorspellen van de prijsgevoeligheid van prosumers (consumenten die ook energie produceren) onder omstandigheden van significante epistemische onzekerheid. Deze onzekerheid ontstaat door beperkte historische gedragsdata, de afhankelijkheid van exogene voorspellingen (weer, belasting, prijzen) en heterogene prosumer-gedragingen.

In markten zoals de Deense mFRR worden deelnemers geconfronteerd met strikte betrouwbaarheidseisen, specifbest de P90-standaard, die voorschrijft dat gereserveerde capaciteit beschikbaar moet zijn met een maximale afwijkingskans van 10%. Deterministische modellen of slecht gekalibreerde probabilistische modellen zijn ongeschikt voor dergelijke omgevingen; ze leiden vaak tot overschatting van de beschikbare flexibiliteit, wat resulteert in non-compliance, financiële boetes of marktopschorting. Omgekeerd verminderen te conservatieve schattingen de marktcompetitiviteit en winstgevendheid. Dit artikel adresseert de behoefte aan een datagestuurd framework dat epistemische onzekerheid vastlegt en tegelijkertijd formele, finite-sample coverage-garanties biedt om aan regelgevende beperkingen te voldoen en economische resultaten te optimaliseren.

Methodologie
De studie stelt een hybride Uncertainty Quantification (UQ) framework voor dat Monte Carlo Dropout (MCD) integreert met Conformal Prediction (CP).

1. Hybride MCD–CP Framework:

   • Monte Carlo Dropout (MCD): Wordt gebruikt om epistemische onzekerheid te vangen door dropout-lagen tijdens de inferentie te behouden, wat een diepe Gaussische proces-benadering vormt. Dit levert een predictieve distributie op, maar levert vaak misgekalibreerde intervallen op.
   • Conformal Prediction (CP): Een distributievrije methode toegepast op de MCD-outputs om predictie-intervallen te construeren met finite-sample coverage-garanties onder de aanname van data-uitwisselbaarheid.
   • Integratie: Het framework gebruikt MCD om stochastische samples te genereren en CP om deze samples te kalibreren tot geldige predictiegebieden. De studie evalueert vier multivariate conformiteitsscores om het predictiegebied $\xi$ te definiëren:
     • MCP: Multivariate Conformal Prediction met kwantielbanden.
     • MMCP: Max-Mahalanobis Conformal Prediction, gebruikmakend van de maximale Mahalanobis-afstand over de outputs.
     • PCP: Probabilistic Conformal Prediction met behulp van de unie van hypersferen.
     • CCP: Copula Conformal Prediction, waarbij de gezamenlijke residu-afhankelijkheden worden gemodelleerd.

2. Aggregator Biedmodel:

   • Het framework wordt ingebed in een beslissingsafhankelijke chance-constrained optimalisatie.
   • De aggregator maximaliseert de winst door biedcapaciteiten en prijsprikkels (gebaseerd op een revenue-sharing mechanisme $\beta$) voor prosumers te bepalen.
   • De P90-betrouwbaarheidseis wordt afgedwongen door de ondergrens van het gekalibreerde predictie-interval ($l = \inf \xi$) te gebruiken als de deterministische capaciteitslimiet in de optimalisatie, waardoor wordt gegarandeerd dat $P[y \in \xi] \geq 1 - \alpha$.

3. Datageneratie:

   • Een grootschalige synthetische dataset (22.000 scenario's voor 100 prosumers) werd gegenereerd met behulp van een gemodificeerd, industrieel niveau Home Energy Management System (HEMS) van Watts A/S.
   • Inputs omvatten marktprijzen, activatiesignalen, belastingsprofielen, zonne-energieopwekking en apparaatspecificaties. Het model voorspelt geaggregeerde up-regulation flexibiliteit.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen ten opzichte van de state-of-the-art:

1. Schaalbaar Hybride Framework: In tegenstelling tot eerdere studies die steunen op computationeel dure Bayesian Neural Networks (BNNs) die beperkt zijn tot kortetermijnsettings, past dit werk de MCD–CP hybride toe op een multivariate aggregator-biedprobleem met meerdere tijdstappen. Het toont aan dat deze aanpak de P90-compliance kan waarborgen terwijl het economisch levensvatbaar blijft.
2. Systematische Vergelijking van Kalibratie: De studie zet standalone MCD systematisch in en vergelijkt dit met hybride MCD–CP methoden in een realistische multi-step optimalisatieomgeving. Het toont aan dat de inherente miskalibratie van standalone MCD (die systematisch de flexibiliteit overschat) effectief wordt gemitigeerd door de conformale kalibratie, wat intervallen oplevert die geschikt zijn voor marktbesluitvorming.
3. Realistisch Synthetisch Dataset: De auteurs hebben een uitgebreide synthetische dataset ontwikkeld met behulp van een gemodificeerd industrieel HEMS-algoritme gecombineerd met publieke data, wat een realistische evaluatie van zowel voorspellende betrouwbaarheid als economische prestaties onder real-world marktcondities mogelijk maakt.

Resultaten

• Voorspellende Betrouwbaarheid: Standalone MCD en niet-conformale baselines slaagden er niet in om aan de P90-eis te voldoen, waarbij ze een bijna nul joint prediction interval coverage probability (PICP) vertoonden en hoge overbiedingsfrequenties (tot wel ~100% schending). In contrast bereikten CP-gebaseerde methoden (MMCP, PCP, CCP) de beoogde 90% dekking. PCP was het meest conservatief (0,14% miscoverage), terwijl MMCP en MCP een balans boden tussen betrouwbaarheid en intervalbreedte.
• Economische Prestaties:
  • Ongekalibreerde methoden (bijv. het steekproefgemiddelde) leken aanvankelijk winstgevend, maar leden ernstige verliezen (tot -97% van de winst bij perfecte informatie) wanneer de P90-boetes werden toegepast vanwege frequente overbiedingen.
  • Het hybride MCD–CP framework verminderde het risico op overbieden aanzienlijk. De MCP en MMCP methoden behaalden de hoogste aangepaste winsten, waarbij zij ongeveer 68–71% van de winst bij perfecte informatie (PI) behielden terwijl zij aan de regelgevende restricties voldeden.
  • PCP en CCP, hoewel conservatiever, presteerden nog steeds beter dan alle niet-CP baselines onder sanctieregimes.
• Incentive Sensitiviteit: De analyse van de revenue-sharing parameter $\beta$ onthulde een zwakke aanbodelasticiteit (3–5%). Prosumers boden het grootste deel van hun beschikbare flexibiliteit aan, zelfs bij lage incentive-niveaus (optimale $\beta$ gevonden in 97% van de scenario's), wat suggereert dat het verhogen van incentives een afnemend marginaal rendement oplevert voor de aggregator.

Betekenis en Claims
Het artikel stelt dat het voorgestelde MCD–CP framework een praktische, computationeel efficiënte en marktconforme oplossing biedt voor de forecasting van aggregator-flexibiliteit. De betekenis ligt in het overbruggen van de kloof tussen statistische strengheid (finite-sample garanties) en economische levensvatbaarheid. Door misgekalibreerde probabilistische outputs te transformeren naar gekalibreerde predictie-intervallen, stelt het framework aggregators in staat om de afweging tussen agressief bieden en regelgevende naleving te navigeren.

De auteurs concluderen bescheiden dat hoewel het framework tot 70% van de winst bij perfecte informatie bereikt, het huidige marktontwerp een barrière vormt voor prosumer-betrokkenheid vanwege de lage marginale winsten bij hogere incentives. Zij suggereren dat toekomstig werk gedecentraliseerd leren (bijv. federated learning) en incentive-mechanismen moet verkennen die expliciet rekening houden met marktprijsonzekerheid, in plaats van te claimen directe oplossingen te bieden voor deze bredere beleidsvraagstukken. De studie claimt niet het fundamentele probleem van dataschaarste op te lossen, maar biedt een robuuste methode om de onzekerheid te beheren die inherent is aan bestaande, door data beperkte omgevingen.