⚡ electrical engineering

Efficient reformulations of ReLU deep neural networks for surrogate modelling in power system optimisation

Cet article propose une reformulation par programmation linéaire, calculatoirement efficace, pour les réseaux de neurones profonds à fonctions ReLU convexifiées, ce qui permet leur intégration traitable et de haute fidélité dans les problèmes d'optimisation des réseaux électriques, comme le démontre une performance supérieure dans une étude de cas de soumission sur le marché de capacité tertiaire danois par rapport aux méthodes existantes.

Auteurs originaux : Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

Publié 2026-01-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez une enchère massive et à enjeux élevés pour l'électricité. Vous êtes un « agrégateur », un intermédiaire qui achète de la flexibilité auprès de milliers de particuliers (prosommateurs) pour aider à équilibrer le réseau électrique. Pour gagner, vous devez prédire exactement quelle quantité d'énergie les gens vont déplacer pour économiser de l'argent, en fonction du prix que vous proposez.

Le problème ? Le comportement humain est désordonné, non linéaire et difficile à traduire par de simples mathématiques. Pour résoudre cela, les chercheurs utilisent l'Intelligence Artificielle (IA), plus précisément un type appelé Réseau de Neurones Profonds (DNN). Considérez l'IA comme un apprenti super intelligent qui a étudié des millions de transactions passées et qui peut désormais deviner le résultat parfaitement.

Cependant, il y a un piège : vous ne pouvez pas simplement demander à cet apprenti IA de s'asseoir au milieu de vos calculs d'enchères. Les mathématiques requises pour faire fonctionner l'enchère (l'optimisation) se retrouvent bloquées dans un embouteillage lorsqu'elles tentent de traiter la logique complexe et de type « boîte noire » de l'IA. C'est comme essayer de conduire une voiture de Formule 1 dans une rue de village étroite et sinueuse ; la voiture est trop complexe pour la route.

Le Problème : L'« Embouteillage »

Traditionnellement, pour faire fonctionner l'IA avec les mathématiques de l'enchère, les chercheurs devaient forcer l'IA dans un format rigide en utilisant des « commutateurs binaires » (comme allumer ou éteindre des lumières). Cela fonctionne, mais cela transforme le problème en un Programme Mixte en Nombres Entiers (MIP).

L'analogie : Imaginez que vous essayez de résoudre un puzzle où chaque pièce peut être soit « on », soit « off ». À mesure que le puzzle devient plus grand (plus de neurones dans l'IA), le nombre de combinaisons possibles explose. L'ordinateur est submergé, prenant des heures ou des jours pour trouver une solution, ou abandonne purement et simplement.

Les « Solutions » Existantes et Pourquoi Elles Échouent

Les chercheurs ont essayé deux autres moyens pour adoucir la route :

Méthodes de Pénalité (PCAR/PCTAR) : Elles tentent de tromper l'ordinateur en ajoutant une « amende » (pénalité) si l'IA se trompe.
- La faille : C'est comme dire à un conducteur : « Si vous sortez de la route, vous payez une amende. » Mais le conducteur peut décider qu'il est moins coûteux de payer l'amende et de quand même s'écraser. Ces méthodes sont sensibles ; si vous fixez l'amende trop bas, l'IA l'ignore. Si elle est trop haute, les mathématiques se brisent. Les résultats sont souvent peu fiables.
Linéarisation par Morceaux (PWL) : Cela décompose la courbe de l'IA en lignes droites.
- La faille : C'est précis, mais c'est comme essayer de dessiner un cercle parfait en utilisant uniquement des briques Lego droites. Vous avez besoin de tellement de briques que le modèle devient énorme et lent à calculer.

La Solution des Auteurs : Le Raccourci « Convexifié »

Les auteurs proposent une nouvelle façon ingénieuse de reformater l'IA pour qu'elle puisse circuler sur la route sans rester bloquée. Ils appellent cela un ReLU DNN Convexifié.

Voici le tour de magie :

L'Objectif : Dans leur problème d'enchère spécifique, le but est de minimiser les coûts (dépenser le moins possible pour acheter de la flexibilité).
La Contrainte : Les chercheurs forcent les poids internes de l'IA (les « boutons » que l'IA tourne) à n'être que des nombres positifs pour la plupart de ses couches.
Le Résultat : En forçant ces boutons à être positifs, le comportement de l'IA passe d'une chaîne de montagnes escarpée et imprévisible à une vallée lisse en forme de bol.
- L'analogie : Imaginez que l'IA est une balle roulant le long d'une colline. Dans l'ancienne version, la colline avait des pièges cachés et des falaises (non convexe). Dans la nouvelle version, on a pavé la colline pour en faire un toboggan parfait et lisse (convexe). Comme l'objectif est de trouver le point le plus bas (minimiser le coût), la balle roulera naturellement vers le bas sans rester coincée.

Parce que la forme est maintenant un bol lisse, l'ordinateur n'a pas besoin de basculer des interrupteurs ou de payer des amendes. Il peut utiliser la Programmation Linéaire (LP), qui est comme une autoroute ultra-rapide et droite. L'ordinateur traverse le problème en quelques millisecondes au lieu de plusieurs heures.

Ce Qu'Ils Ont Découvert

L'équipe a testé cela sur un scénario réel : le marché de l'électricité danois. Ils ont comparé leur nouvelle méthode de « toboggan lisse » aux anciennes méthodes de « l'embouteillage » et aux astuces basées sur les « amendes ».

Vitesse : Leur méthode était des centaines à des milliers de fois plus rapide que les méthodes traditionnelles d'IA. Elle résolvait le problème en millisecondes.
Précision : Elle était presque aussi performante que les méthodes les plus précises (mais lentes). Elle ne faisait pas les erreurs de « crash » commises par les méthodes basées sur les « amendes ».
Fiabilité : Contrairement aux autres méthodes, leur solution ne se brisait pas lorsque l'IA devenait plus grande ou plus complexe. Elle restait rapide et fiable.

Le Piège (Les Petites Lignes)

Ce raccourci ne fonctionne que si deux conditions sont remplies :

Vous essayez de minimiser la sortie de l'IA (comme minimiser le coût).
Vous acceptez d'entraîner l'IA avec la règle selon laquelle ses boutons internes doivent être positifs (ce qui limite légèrement l'IA, mais d'une manière qui capture toujours l'essentiel du comportement nécessaire pour ce problème spécifique).

L'Essentiel à Retenir

Ce papier n'invente pas une nouvelle IA ; il invente un nouvel outil de traduction. Il prend un modèle d'IA complexe et lent à résoudre et le traduit en un problème mathématique simple et rapide à résoudre, à condition que vous cherchiez le coût le plus bas. Cela permet aux opérateurs de réseaux électriques d'utiliser des prédictions d'IA intelligentes dans des enchères en temps réel sans attendre des jours que l'ordinateur termine ses calculs.

Résumé technique : Reformulations efficaces de réseaux de neurones profonds ReLU pour la modélisation de substituts dans l'optimisation des systèmes électriques

Énoncé du problème
La décarbonation des systèmes électriques a introduit des interactions non linéaires complexes pilotées par les ressources énergétiques distribuées, qui sont difficiles à capturer à l'aide de modèles d'optimisation conventionnels. Bien que la modélisation par substitut (surrogate modelling) basée sur l'apprentissage automatique (ML), particulièrement via les réseaux de neurones profonds (DNN) à unité de rectification linéaire (ReLU), offre une solution prometteuse pour représenter ces comportements, l'intégration directe des DNN ReLU dans les cadres d'optimisation présente des défis importants. Les approches standard utilisant des reformulations de programmation linéaire mixte (MIP) (par exemple, les contraintes Big-M) introduisent des variables binaires pour chaque neurone, ce qui entraîne une intraitabilité computationnelle à mesure que la profondeur et la largeur du réseau augmentent. Inversement, les relaxations de programmation linéaire (LP) existantes, telles que la relaxation de zone convexe pénalisée (PCAR) et la relaxation de triangle convexe pénalisée (PCTAR), améliorent la tractabilité mais reposent fortement sur des termes de pénalité heuristiques. Ces méthodes basées sur des pénalités manquent souvent de compacité (tightness) et de robustesse, entraînant une sensibilité au réglage des hyperparamètres et une dégradation potentielle de la qualité des solutions.

Méthodologie
L'article propose une nouvelle reformulation LP pour une classe spécifique de DNN ReLU, appelée DNN ReLU convexifiés (cvxd). L'intuition mathématique centrale repose sur le Théorème 2.1, qui établit que si la sortie d'un DNN ReLU est minimisée au sein d'un problème d'optimisation, et que les matrices de poids de toutes les couches à partir de la deuxième couche sont contraintes à être non négatives élément par élément ( $W_l \geq 0$ pour $l \geq 2$ ), les fonctions d'activation ReLU non convexes de ces couches peuvent être remplacées par des inégalités linéaires sans perte de compacité.

Plus précisément :

Convexification : La méthode contraint les matrices de poids des couches cachées (de la couche $k$ à la sortie) à être non négatives. Cette contrainte structurelle garantit que l'objectif de minimisation se propage à travers le réseau, permettant le remplacement des contraintes $\max(\cdot, 0)$ par des inégalités linéaires ( $h_l \geq W_l h_{l-1} + b_l$ et $h_l \geq 0$ ).
Contexte d'application : La méthode est appliquée dans un cadre d'Optimisation avec Apprentissage de Contraintes (OCL). Les auteurs apprennent une fonction de réactivité des prosommateurs (une courbe de saturation non linéaire et non convexe) en utilisant un DNN ReLU et l'intègrent dans le problème de maximisation des profits d'un agrégateur pour le marché danois de la capacité tertiaire (mFRR).
Évaluation comparative : La reformulation proposée est évaluée par rapport aux alternatives de l'état de l'art (SOTA) :
- Basée sur le MIP : Reformulation Big-M standard utilisant le package Gurobi ML.
- Basée sur le LP : Relaxations PCAR et PCTAR.
- Conventionnelle : Linéarisation par morceaux (PWL).

Contributions clés

Reformulation LP tractable : L'article introduit une méthode pour convertir les DNN ReLU en formulations LP compactes en imposant des poids non négatifs sur les couches successives à la première. Cela élimine le besoin de variables binaires, réduisant considérablement la complexité computationnelle par rapport aux approches MIP.
Compacité garantie : Contrairement aux relaxations basées sur des pénalités (PCAR/PCTAR), la méthode proposée garantit la compacité et la précision à travers diverses architectures de réseaux et conditions d'entrée, à condition que la minimisation et les conditions de poids non négatifs soient respectées.
Évaluation systématique : L'étude fournit une évaluation comparative complète sur plusieurs architectures de réseaux de neurones (largeur et profondeur variables) et scénarios de prix de marché (bas, moyen, haut), démontrant la scalabilité et la fiabilité de l'approche.

Résultats
L'évaluation a été menée via une étude de cas d'un agrégateur soumissionnant sur le marché mFRR danois, utilisant 30 000 points de données d'entraînement et testant sur 30 scénarios de marché.

Performance computationnelle : La reformulation LP proposée a nettement surpassé les approches basées sur le MIP (Gurobi ML) et les approches PWL en termes de vitesse. Alors que Gurobi ML et PWL nécessitaient souvent des secondes à des heures (ou échouaient à converger dans les limites de temps pour des réseaux plus larges), la méthode proposée a résolu les problèmes en millisecondes (par exemple, 34 ms pour les scénarios à prix élevés contre 1 à 3 secondes pour les autres).
Qualité de la solution : La méthode proposée a atteint des profits réalisés comparables aux meilleures méthodes (PWL et MIP) dans tous les scénarios, généralement à moins de 1 % de la meilleure performance. En revanche, PCAR et PCTAR ont fréquemment entraîné des pertes économiques, particulièrement dans les scénarios à bas prix, en raison de leur structure pilotée par les pénalités qui sous-estime les coûts de flexibilité.
Scalabilité : La méthode proposée a maintenu une performance et une compacité constantes à mesure que la largeur et la profondeur du réseau augmentaient. En revanche, Gurobi ML a présenté de graves problèmes de scalabilité, avec un temps d'exécution bondissant et des écarts MIP s'élargissant considérablement pour des réseaux plus larges (ex: 400 neurones). PCAR et PCTAR ont montré une précision incohérente et une haute sensibilité au réglage du paramètre de pénalité.
Précision : Le modèle proposé a systématiquement atteint des valeurs d'erreur quadratique moyenne (RMSE) proches de l'RMSE d'entraînement du DNN cvxd sous-jacent, confirmant la compacité de la reformulation.

Signification et affirmations
L'article affirme que les DNN ReLU convexifiés, lorsqu'ils sont couplés à la reformulation LP proposée, offrent une méthodologie scalable et fiable pour intégrer des modèles de substitut appris dans l'optimisation des systèmes électriques. La signification réside dans la réduction de l'écart entre la puissance expressive de l'apprentissage profond et les exigences computationnelles de l'optimisation à grande échelle.

Les auteurs soulignent que bien que la méthode nécessite que la sortie du réseau soit minimisée et impose des contraintes de non-négativité sur les poids (limitant la classe de fonctions apprenables à des relations convexes et monotone croissantes), elle capture avec succès des fonctions de coûts de flexibilité complexes dans le cas d'étude testé. Ce travail se positionne comme une avancée méthodologique générale qui évite le réglage heuristique et le manque de garanties de compacité associés aux relaxations LP existantes, ce qui le rend adapté à des applications telles que la modélisation des coûts des générateurs, l'estimation des émissions de CO2 et les formulations à contraintes de chance où l'objectif implique une minimisation. Les auteurs notent que l'objectif principal est la démonstration des propriétés de la reformulation plutôt que l'application spécifique à l'agrégateur, laquelle sert de véhicule de validation.