Riepilogo Tecnico: Mercati di Previsione Probabilistici con Contributi Intermittenti

Enunciato del Problema

Il documento affronta la sfida di migliorare l'accuratezza delle previsioni in settori come le energie rinnovabili, dove la disponibilità di dati è in aumento ma la collaborazione è ostacolata dalla proprietà dei dati, da interessi competitivi e da preoccupazioni sulla privacy. Sebbene esistano framework teorico-giochi cooperativi e metodi di apprendimento distribuito che preservano la privacy, questi spesso presuppongono una partecipazione razionale, veritiera e continua da parte degli agenti. Nella pratica, gli stakeholder potrebbero non essere disposti a condividere i dati, o la loro partecipazione potrebbe essere intermittente.

Gli autori propongono un framework di mercato di previsione in cui agenti indipendenti (venditori) scambiano previsioni probabilistiche per eventi futuri incerti in cambio di ricompense. Le specifiche sfide tecniche affrontate sono:

1. Implementazione in tempo reale: La necessità di apprendimento online senza una fase di addestramento distinta.
2. Prestazioni storiche: Tenere conto del valore informativo a lungo termine degli agenti, non solo dell'accuratezza istantanea.
3. Partecipazione intermittente: Gestire scenari in cui gli agenti entrano o escono dal mercato a volontà, risultando in invii di previsioni mancanti (un problema di dati mancanti).
4. Allocazione equa delle ricompense: Progettare un meccanismo di pagamento che bilanci la coerenza nel campione (contributo storico) con l'accuratezza fuori dal campione (qualità genuina della previsione), soddisfacendo al contempo proprietà economiche come l'equilibrio di bilancio e la veridicità.

Metodologia

Il design del mercato proposto coinvolge un Operatore di Mercato centrale che interagisce con i Clienti (acquirenti di previsioni) e i Venditori (previdenti). Il sistema opera in passi temporali discreti $t$, gestendo previsioni probabilistiche non parametriche rappresentate da quantili.

1. Combinazione delle Previsioni tramite Regressione Robusta Adattiva

Per combinare le previsioni di più venditori, gli autori impiegano un framework di regressione lineare aggiornato tramite Discesa del Gradiente Online (OGD).

• Funzione Obiettivo: Il modello minimizza la perdita quantilica (perdita a pallino) per ottimizzare i pesi per specifici livelli nominali di quantile $\tau$.
• Gestione dei Dati Mancanti: Per accogliere la partecipazione intermittente, gli autori estendono un modello di Regressione Lineare Robusta (RQR). Introducono un vettore di disponibilità binario $\alpha_t$ e una matrice di correzione lineare $D_t$. Quando la previsione di un venditore manca, il modello adatta dinamicamente i pesi di combinazione utilizzando la matrice di correzione per compensare le informazioni mancanti, estraendo efficacemente informazioni aggiuntive dalle previsioni rimanenti disponibili.
• Aggiornamento Online: I pesi $w_t$ e la matrice di correzione $D_t$ sono aggiornati iterativamente utilizzando i sub-gradienti della perdita quantilica. Il metodo supporta aggiornamenti mini-batch per gestire in modo efficiente orizzonti di previsione multi-step.

2. Meccanismo di Allocazione delle Ricompense

La ricompensa totale $U_t$ fornita dal cliente è suddivisa in due componenti per ogni venditore $i$ e quantile $\tau$:
$$r^{(\tau)}_{i,t} = U^{(\tau)}_t [\delta r^{is}_{i,t} + (1-\delta) r^{oos}_{i,t}]$$
dove $\delta$ è un parametro di ponderazione.

• Allocazione nel Campione ($r^{is}$): Progettata per premiare la coerenza e il valore informativo cumulativo.
  • Utilizza una variante online del valore di Shapley ($\phi^c_{i,t}$), che viene aggiornata ricorsivamente nel tempo ($\phi^c_{i,t} = \lambda \phi^c_{i,t-1} + (1-\lambda)\phi^s_{i,t}$).
  • Il valore di Shapley è calcolato in base al contributo marginale di un venditore alla previsione aggregata utilizzando i pesi corretti.
  • I venditori mancanti ricevono zero ricompensa nel campione.
• Allocazione Fuori dal Campione ($r^{oos}$): Progettata per premiare l'accuratezza istantanea della previsione.
  • Basata su una funzione di punteggio derivata dalla perdita quantilica.
  • I venditori sono ricompensati proporzionalmente alla loro accuratezza rispetto ad altri venditori presenti.
  • I venditori mancanti ricevono zero ricompensa fuori dal campione.

3. Proprietà Economiche

Gli autori definiscono formalmente e dimostrano che il meccanismo di allocazione soddisfa:

• Equilibrio di Bilancio: La somma delle ricompense distribuite è uguale all'utilità totale generata.
• Simmetria: Previsioni identiche producono ricompense identiche.
• Elemento Zero: I venditori non partecipanti non ricevono alcuna ricompensa.
• Razionalità Individuale: Le ricompense sono non negative.
• Veridicità (Compatibilità degli Incentivi): I venditori massimizzano le ricompense attese riportando previsioni vere, poiché alterare le previsioni aumenta la perdita e riduce sia le ricompense nel campione (tramite il valore di Shapley) sia quelle fuori dal campione.

Risultati

La metodologia è stata valutata utilizzando dati sintetici e un caso di studio reale sulla previsione della potenza eolica.

Casi di Studio Sintetici

• Scenario Invariante nel Tempo: Sia la Regressione Quantilica (QR) standard che la QR Robusta (RQR) hanno converguto verso pesi ottimali. La RQR ha gestito con successo la casualità dei dati mancanti (tasso del 5%) con una convergenza stabile.
• Scenario Variabile nel Tempo: I metodi si sono adattati con successo alle distribuzioni di pesi in evoluzione in un ambiente dinamico, tracciando cambiamenti periodici nella combinazione ottimale.
• Variazione della Mancanza di Dati: La RQR ha dimostrato una varianza inferiore e un bias comparabile o superiore rispetto alle strategie di imputazione di riferimento (imputazione della media e dell'ultimo valore) su tassi di mancanza di dati dal 5% al 90%.

Caso di Studio Reale (Energia Eolica)

• Configurazione: Previsione probabilistica a un giorno per un parco eolico offshore belga utilizzando nove modelli di input (combinazioni di tre fonti NWP: ECMWF, NOAA, DWD, e tre tipi di modello: XGBoost, QRF, MLP).
• Prestazioni:
  • La previsione combinata (QR) ha superato tutti i modelli individuali, confermando il valore di fonti di informazioni eterogenee.
  • Robustezza della RQR: Anche con il 10–20% di dati mancanti, la RQR ha raggiunto valori di perdita quantilica molto vicini al benchmark QR "oracolo" (informazione completa) e significativamente migliori rispetto al miglior modello individuale.
  • Adattabilità: La perdita a media mobile della RQR è rimasta costantemente inferiore a quella del singolo miglior esperto, in particolare durante i periodi in cui gli esperti individuali hanno sottoperformato.
• Dinamiche delle Ricompense: La distribuzione delle ricompense ha evidenziato che i modelli con un valore predittivo distinto (ad esempio ECMWF-MLP, ECMWF-XGB) hanno accumulato le ricompense sostenute più elevate. Il sistema ha tracciato con successo le prestazioni variabili nel tempo, come il contributo crescente di DWD-MLP nella seconda metà del periodo di test.

Significato e Affermazioni

Il documento afferma di introdurre un design di mercato di previsione che colma efficacemente il divario tra framework cooperativi teorici e vincoli pratici del mondo reale. Il suo significato principale risiede in:

1. Gestione dell'Intermittenza: È la prima estensione della regressione lineare robusta per la combinazione di previsioni a un setting di apprendimento online, permettendo agli agenti di unirsi ed uscire liberamente senza degradare la previsione aggregata.
2. Premiazione a Doppio Obiettivo: Propone un meccanismo di pagamento innovativo che premia simultaneamente la coerenza storica (tramite valori di Shapley variabili nel tempo) e l'accuratezza istantanea (tramite punteggio fuori dal campione), affrontando una limitazione nella letteratura esistente che spesso si concentra esclusivamente sulle prestazioni nel campione.
3. Fattibilità Economica: Il meccanismo è dimostrato soddisfare le proprietà economiche chiave, garantendo equità e incentivando la segnalazione veritiera.

Gli autori concludono che, sebbene il mercato proposto dimostri efficacia nella previsione delle energie rinnovabili, il lavoro futuro potrebbe esplorare insiemi di partecipanti completamente dinamici e meccanismi di allocazione alternativi per ridurre ulteriormente la complessità computazionale e migliorare la scalabilità.