Technische Samenvatting: Probabilistische Voorspellingmarkten met Onderbroken Bijdragen

Probleemstelling

Het artikel behandelt de uitdaging om de voorspellingnauwkeurigheid te verbeteren in domeinen zoals hernieuwbare energie, waar de beschikbaarheid van gegevens toeneemt maar samenwerking wordt gehinderd door gegevensbezit, concurrentiebelangen en privacyzorgen. Hoewel er bestaande coöperatieve speltheoretische kaders en privacybehoudende methoden voor gedistribueerd leren zijn, gaan deze vaak uit van rationele, waarheidsgetrouwe en continue deelname van agenten. In de praktijk kunnen belanghebbenden onwillig zijn om gegevens te delen, of kan hun deelname onderbroken zijn.

De auteurs stellen een voorspellingmarkt-kader voor waarbij onafhankelijke agenten (verkopers) probabilistische voorspellingen voor onzekere toekomstige gebeurtenissen verhandelen in ruil voor beloningen. De specifieke technische uitdagingen die worden aangepakt zijn:

1. Real-time implementatie: De noodzaak van online leren zonder een distincte trainingsfase.
2. Historische prestaties: Rekening houden met de langetermijninformatiewaarde van agenten, niet alleen met de momentane nauwkeurigheid.
3. Onderbroken deelname: Omgaan met scenario's waarbij agenten naar believen de markt betreden of verlaten, wat leidt tot ontbrekende voorspellingindieningen (een probleem met ontbrekende gegevens).
4. Eerlijke beloningsallocatie: Het ontwerpen van een uitbetalingsmechanisme dat in-sample consistentie (historische bijdrage) afweegt tegen out-of-sample nauwkeurigheid (echte voorspellingkwaliteit), terwijl het voldoet aan economische eigenschappen zoals begrotingsevenwicht en waarheidsgetrouwheid.

Methodologie

Het voorgestelde marktontwerp omvat een centrale Marktkoper die interageert met Klanten (aankopers van voorspellingen) en Verkopers (voorspellers). Het systeem werkt in discrete tijdstappen $t$, waarbij het niet-parametrische probabilistische voorspellingen verwerkt die worden weergegeven door kwantielen.

1. Voorspellingcombinatie via Adaptieve Robuuste Regressie

Om voorspellingen van meerdere verkopers te combineren, maken de auteurs gebruik van een lineair regressiekader dat wordt bijgewerkt via Online Gradient Descent (OGD).

• Doelfunctie: Het model minimaliseert de kwantielverlies (pinball loss) om gewichten te optimaliseren voor specifieke nominale kwantielniveaus $\tau$.
• Omgaan met ontbrekende gegevens: Om onderbroken deelname te accommoderen, breiden de auteurs een Robuuste Lineaire Regressie (RQR)-model uit. Ze introduceren een binaire beschikbaarheidsvector $\alpha_t$ en een lineaire correctiematrix $D_t$. Wanneer de voorspelling van een verkoper ontbreekt, past het model de combinatiegewichten dynamisch aan met behulp van de correctiematrix om het ontbrekende informatie te compenseren, waardoor effectief extra informatie wordt onttrokken aan de resterende beschikbare voorspellingen.
• Online bijwerking: De gewichten $w_t$ en de correctiematrix $D_t$ worden iteratief bijgewerkt met behulp van sub-gradienten van de kwantielverlies. De methode ondersteunt mini-batch-bijwerkingen om multi-stap voorspellingshorizons efficiënt te verwerken.

2. Uitbetalingsallocatiemechanisme

De totale beloning $U_t$ die door de klant wordt verstrekt, wordt voor elke verkoper $i$ en kwantiel $\tau$ opgesplitst in twee componenten:
$$r^{(\tau)}_{i,t} = U^{(\tau)}_t [\delta r^{is}_{i,t} + (1-\delta) r^{oos}_{i,t}]$$
waarbij $\delta$ een wegingsparameter is.

• In-sample allocatie ($r^{is}$): Ontworpen om consistentie en cumulatieve informatiewaarde te belonen.
  • Maakt gebruik van een online variant van de Shapley-waarde ($\phi^c_{i,t}$), die recursief in de tijd wordt bijgewerkt ($\phi^c_{i,t} = \lambda \phi^c_{i,t-1} + (1-\lambda)\phi^s_{i,t}$).
  • De Shapley-waarde wordt berekend op basis van de marginale bijdrage van een verkoper aan de geaggregeerde voorspelling met behulp van de gecorrigeerde gewichten.
  • Ontbrekende verkopers ontvangen geen in-sample beloning.
• Out-of-sample allocatie ($r^{oos}$): Ontworpen om momentane voorspellingnauwkeurigheid te belonen.
  • Gebaseerd op een scorefunctie afgeleid van de kwantielverlies.
  • Verkopers worden beloond evenredig aan hun nauwkeurigheid ten opzichte van andere aanwezige verkopers.
  • Ontbrekende verkopers ontvangen geen out-of-sample beloning.

3. Economische Eigenschappen

De auteurs definiëren en bewijzen formeel dat het allocatiemechanisme voldoet aan:

• Begrotingsevenwicht: De som van de verdeelde beloningen is gelijk aan de gegenereerde totale nutswaarde.
• Symmetrie: Identieke voorspellingen leveren identieke beloningen op.
• Nul-element: Niet-deelnemende verkopers ontvangen geen beloning.
• Individuele Rationaliteit: Beloningen zijn niet-negatief.
• Waarheidsgetrouwheid (Incentive Compatibility): Verkopers maximaliseren de verwachte beloningen door ware voorspellingen te rapporteren, omdat het wijzigen van voorspellingen de verliezen verhoogt en zowel de in-sample (via Shapley-waarde) als de out-of-sample beloningen verlaagt.

Resultaten

De methodologie werd geëvalueerd met synthetische gegevens en een real-world case study voor windenergievoorspelling.

Synthetische Case Studies

• Tijd-invariante scenario: Zowel standaard Kwantielregressie (QR) als Robuuste QR (RQR) convergeerden naar optimale gewichten. RQR slaagde erin om willekeurige ontbrekende gegevens (5% rate) te verwerken met stabiele convergentie.
• Tijd-variërende scenario: De methoden slaagden erin zich aan te passen aan evoluerende gewichtsverdelingen in een dynamische omgeving, door periodieke veranderingen in de optimale combinatie te volgen.
• Variërende ontbrekende gegevens: RQR vertoonde een lagere variantie en een vergelijkbare of superieure bias ten opzichte van benchmark-imputatiestrategieën (gemiddelde en laatste-waarde imputatie) over ontbrekende gegevenspercentages van 5% tot 90%.

Real-world Case Study (Windenergie)

• Opzet: Probabilistische voorspelling voor de dag van morgen voor een Belgisch offshore windpark met gebruik van negen invoermodellen (combinaties van drie NWP-bronnen: ECMWF, NOAA, DWD, en drie modeltypen: XGBoost, QRF, MLP).
• Prestaties:
  • De gecombineerde voorspelling (QR) presteerde beter dan alle individuele modellen, wat de waarde van heterogene informatiebronnen bevestigt.
  • RQR Robuustheid: Zelfs met 10–20% ontbrekende gegevens behaalde RQR kwantielverlieswaarden die zeer dicht bij de "orakel"-QR-benchmark (volledige informatie) lagen en aanzienlijk beter waren dan het beste individuele model.
  • Aanpasbaarheid: De voortschrijdende gemiddelde verlies van RQR bleef consistent lager dan die van de beste enkele expert, met name tijdens perioden waarin individuele experts onderpresteerden.
• Beloningsdynamiek: De beloningsverdeling benadrukte dat modellen met een distincte voorspellende waarde (bijv. ECMWF-MLP, ECMWF-XGB) de hoogste aanhoudende beloningen opeisden. Het systeem volgde succesvol tijd-variërende prestaties, zoals de toenemende bijdrage van DWD-MLP in de tweede helft van de testperiode.

Betekenis en Claims

Het artikel claimt een voorspellingmarktontwerp te introduceren dat effectief de kloof overbrugt tussen theoretische coöperatieve kaders en praktische, real-world beperkingen. De primaire betekenis ligt in:

1. Omgaan met onderbrokenheid: Het is de eerste uitbreiding van robuuste lineaire regressie voor voorspellingcombinatie naar een online leeromgeving, waardoor agenten vrij kunnen toetreden en vertrekken zonder de geaggregeerde voorspelling te degraderen.
2. Tweeledige beloning: Het stelt een nieuw uitbetalingsmechanisme voor dat tegelijkertijd historische consistentie (via tijd-variërende Shapley-waarden) en momentane nauwkeurigheid (via out-of-sample scoring) belooft, waarmee een beperking in bestaande literatuur wordt aangepakt die vaak uitsluitend focust op in-sample prestaties.
3. Economische haalbaarheid: Het mechanisme is bewezen te voldoen aan belangrijke economische eigenschappen, waardoor eerlijkheid wordt gewaarborgd en waarheidsgetrouwe rapportage wordt gestimuleerd.

De auteurs concluderen dat hoewel de voorgestelde markt effectiviteit toont in voorspelling van hernieuwbare energie, toekomstig werk volledig dynamische deelnemersgroepen en alternatieve allocatiemechanismen kan verkennen om de computationele complexiteit verder te verminderen en de schaalbaarheid te verbeteren.