Résumé technique : Marchés de prédiction probabiliste avec contributions intermittentes

Énoncé du problème

L'article aborde le défi d'améliorer la précision des prévisions dans des domaines tels que les énergies renouvelables, où la disponibilité des données augmente mais où la collaboration est entravée par la propriété des données, les intérêts concurrentiels et les préoccupations liées à la vie privée. Bien que des cadres théoriques de jeux coopératifs existants et des méthodes d'apprentissage distribué préservant la vie privée existent, ils supposent souvent une participation rationnelle, véridique et continue de la part des agents. En pratique, les parties prenantes peuvent être réticentes à partager leurs données, ou leur participation peut être intermittente.

Les auteurs proposent un cadre de marché de prédiction où des agents indépendants (vendeurs) échangent des prévisions probabilistes pour des événements futurs incertains contre des récompenses. Les défis techniques spécifiques abordés sont :

1. Implémentation en temps réel : La nécessité d'un apprentissage en ligne sans phase d'entraînement distincte.
2. Performance historique : Prise en compte de la valeur informationnelle à long terme des agents, et non seulement de la précision instantanée.
3. Participation intermittente : Gestion de scénarios où les agents entrent ou sortent du marché à volonté, entraînant l'absence de soumission de prévisions (un problème de données manquantes).
4. Allocation équitable des récompenses : Conception d'un mécanisme de paiement qui équilibre la cohérence intra-échantillon (contribution historique) avec la précision hors-échantillon (qualité réelle de la prévision) tout en satisfaisant des propriétés économiques telles que l'équilibre budgétaire et la véracité.

Méthodologie

La conception de marché proposée implique un Opérateur de marché central interagissant avec des Clients (acheteurs de prévisions) et des Vendeurs (prévisionnistes). Le système fonctionne par pas de temps discrets $t$, traitant des prévisions probabilistes non paramétriques représentées par des quantiles.

1. Combinaison de prévisions par régression robuste adaptative

Pour combiner les prévisions de plusieurs vendeurs, les auteurs emploient un cadre de régression linéaire mis à jour par Descente de gradient en ligne (OGD).

• Fonction objectif : Le modèle minimise la perte quantile (perte pinball) pour optimiser les poids pour des niveaux de quantiles nominaux spécifiques $\tau$.
• Gestion des données manquantes : Pour accommoder la participation intermittente, les auteurs étendent un modèle de Régression linéaire robuste (RQR). Ils introduisent un vecteur d'availability binaire $\alpha_t$ et une matrice de correction linéaire $D_t$. Lorsqu'une prévision d'un vendeur est manquante, le modèle ajuste dynamiquement les poids de combinaison en utilisant la matrice de correction pour compenser l'information manquante, extrayant efficacement des informations supplémentaires des prévisions restantes disponibles.
• Mise à jour en ligne : Les poids $w_t$ et la matrice de correction $D_t$ sont mis à jour itérativement en utilisant les sous-gradients de la perte quantile. La méthode prend en charge les mises à jour par mini-lots pour gérer efficacement les horizons de prévision multi-étapes.

2. Mécanisme d'allocation des paiements

La récompense totale $U_t$ fournie par le client est divisée en deux composantes pour chaque vendeur $i$ et quantile $\tau$ :
$$r^{(\tau)}_{i,t} = U^{(\tau)}_t [\delta r^{is}_{i,t} + (1-\delta) r^{oos}_{i,t}]$$
où $\delta$ est un paramètre de pondération.

• Allocation intra-échantillon ($r^{is}$) : Conçue pour récompenser la cohérence et la valeur informationnelle cumulative.
  • Utilise une variante en ligne de la valeur de Shapley ($\phi^c_{i,t}$), mise à jour de manière récursive au fil du temps ($\phi^c_{i,t} = \lambda \phi^c_{i,t-1} + (1-\lambda)\phi^s_{i,t}$).
  • La valeur de Shapley est calculée sur la base de la contribution marginale d'un vendeur à la prévision agrégée en utilisant les poids corrigés.
  • Les vendeurs manquants reçoivent une récompense intra-échantillon nulle.
• Allocation hors-échantillon ($r^{oos}$) : Conçue pour récompenser la précision instantanée des prévisions.
  • Basée sur une fonction de score dérivée de la perte quantile.
  • Les vendeurs sont récompensés proportionnellement à leur précision par rapport aux autres vendeurs présents.
  • Les vendeurs manquants reçoivent une récompense hors-échantillon nulle.

3. Propriétés économiques

Les auteurs définissent formellement et prouvent que le mécanisme d'allocation satisfait :

• Équilibre budgétaire : La somme des récompenses distribuées égale l'utilité totale générée.
• Symétrie : Des prévisions identiques produisent des récompenses identiques.
• Élément nul : Les vendeurs non participants ne reçoivent aucune récompense.
• Rationalité individuelle : Les récompenses sont non négatives.
• Véracité (Compatibilité incitative) : Les vendeurs maximisent les récompenses attendues en déclarant de vraies prévisions, car modifier les prévisions augmente la perte et réduit à la fois les récompenses intra-échantillon (via la valeur de Shapley) et hors-échantillon.

Résultats

La méthodologie a été évaluée à l'aide de données synthétiques et d'une étude de cas réelle de prévision de la production éolienne.

Études de cas synthétiques

• Scénario invariant dans le temps : La Régression quantile (QR) standard et la QR robuste (RQR) ont toutes deux convergé vers des poids optimaux. La RQR a géré avec succès l'absence aléatoire (taux de 5 %) avec une convergence stable.
• Scénario variant dans le temps : Les méthodes se sont adaptées avec succès aux distributions de poids évolutives dans un environnement dynamique, suivant les changements périodiques de la combinaison optimale.
• Variation de l'absence : La RQR a démontré une variance plus faible et un biais comparable ou supérieur aux stratégies d'imputation de référence (imputation par la moyenne et par la dernière valeur) sur des taux d'absence allant de 5 % à 90 %.

Étude de cas réelle (Énergie éolienne)

• Configuration : Prévision probabiliste à un jour pour un parc éolien offshore belge, utilisant neuf modèles d'entrée (combinaisons de trois sources NWP : ECMWF, NOAA, DWD, et trois types de modèles : XGBoost, QRF, MLP).
• Performance :
  • La prévision combinée (QR) a surpassé tous les modèles individuels, confirmant la valeur des sources d'information hétérogènes.
  • Robustesse de la RQR : Même avec 10 à 20 % de données manquantes, la RQR a atteint des valeurs de perte quantile très proches de la référence QR « oracle » (information complète) et nettement meilleures que le meilleur modèle individuel.
  • Adaptabilité : La perte moyenne mobile de la RQR est restée constamment inférieure à celle du meilleur expert unique, en particulier pendant les périodes où les experts individuels sous-performaient.
• Dynamique des récompenses : La distribution des récompenses a mis en évidence que les modèles ayant une valeur prédictive distincte (par exemple, ECMWF-MLP, ECMWF-XGB) ont accumulé les récompenses soutenues les plus élevées. Le système a suivi avec succès les performances variant dans le temps, comme la contribution croissante de DWD-MLP dans la seconde moitié de la période de test.

Importance et affirmations

L'article affirme introduire une conception de marché de prédiction qui comble efficacement le fossé entre les cadres coopératifs théoriques et les contraintes pratiques du monde réel. Son importance principale réside dans :

1. Gestion de l'intermittence : Il s'agit de la première extension de la régression linéaire robuste pour la combinaison de prévisions à un cadre d'apprentissage en ligne, permettant aux agents de rejoindre et de quitter librement sans dégrader la prévision agrégée.
2. Récompense à double objectif : Il propose un mécanisme de paiement novateur qui récompense simultanément la cohérence historique (via des valeurs de Shapley variant dans le temps) et la précision instantanée (via un score hors-échantillon), répondant à une limitation de la littérature existante qui se concentre souvent uniquement sur la performance intra-échantillon.
3. Viabilité économique : Le mécanisme est prouvé satisfaisant des propriétés économiques clés, garantissant l'équité et incitant à la déclaration véridique.

Les auteurs concluent que, bien que le marché proposé démontre son efficacité dans la prévision des énergies renouvelables, des travaux futurs pourraient explorer des ensembles de participants entièrement dynamiques et des mécanismes d'allocation alternatifs pour réduire davantage la complexité computationnelle et améliorer l'évolutivité.