Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

Résumé Technique : Optimisation des décisions de production de lithium sous incertitude via POMDP

Énoncé du problème
La planification de la production de lithium est un problème de prise de décision séquentielle complexe, caractérisé par de profondes incertitudes géologiques, de la demande de marché et des prix. L'industrie fait face à un écart entre l'offre et la demande piloté par la croissance rapide des secteurs des véhicules électriques (VE) et du stockage d'énergie, la demande devant augmenter de 706 % d'ici 2040. Les chaînes d'approvisionnement actuelles sont géographiquement concentrées et contraintes par des délais de développement longs (5 à 10 ans) pour les mines. De plus, le paysage évolue avec l'émergence des technologies d'extraction directe du lithium (DLE), qui offrent un traitement plus rapide et une empreinte environnementale moindre, mais comportent des profils de coûts de capital et opérationnels différents par rapport à l'extraction minière traditionnelle en roche dure.

Les modèles d'optimisation existants échouent souvent à rendre compte de l'interaction de ces incertitudes, traitant les technologies d'extraction comme homogènes ou supposant une information parfaite concernant les prix futurs et la qualité des gisements. Cela conduit à un calendrier d'investissement sous-optimal, à une allocation inefficace des ressources et à une incapacité à équilibrer la rentabilité économique avec la durabilité environnementale (spécifiquement les émissions de carbone) dans des conditions de marché dynamiques.

Méthodologie : Le cadre POMDP
Les auteurs cadrent le problème de la production de lithium comme un Processus de Décision Markovien Partiellement Observable (POMDP). Contrairement aux MDP entièrement observables, ce cadre modélise explicitement des scénarios où l'état réel du système (par exemple, la taille exacte du gisement, les réserves récupérables, les prix futurs) est inconnu. Au lieu de cela, les décideurs agissent sur des croyances probabilistes qui sont mises à jour à mesure que de nouvelles données deviennent disponibles.

• Espace d'états ($S$) : Encapsule les conditions physiques (tonnage de lithium sur quatre sites distincts : deux DLE, deux roche dure), les étapes du cycle de vie de la mine (non ouverte, en production, épuisée, restaurée) et les variables économiques (prix de l'équivalent carbonate de lithium et demande projetée).
• Actions ($A$) : L'agent sélectionne des actions de cycle de vie discrètes pour chaque site : Explorer (réduire l'incertitude géologique), Ouvrir (engager les CAPEX, commencer la production), Restaurer (déclasser) ou Ne rien faire.
• Observations ($O$) : L'agent reçoit des observations bruitées des estimations de gisements, des prix du marché et de la demande. Les niveaux de bruit d'observation varient selon l'action entreprise (bruit faible lors de l'exploration, modéré pendant la production, élevé lorsqu'on est inactif).
• Dynamique de transition ($T$) : Le système évolue annuellement. La production épuise les gisements de manière déterministe, tandis que les prix et la demande évoluent de manière stochastique. L'étude évalue quatre régimes de prix : Statique, Linéaire, Exponentiel et Mouvement Brownien Géométrique (GBM), ajustés aux données historiques de 1994 à 2024.
• Fonction de récompense ($R$) : Une fonction multi-objectif équilibrant le profit économique et le coût environnemental. Les revenus proviennent des ventes de LCE. Les coûts incluent l'exploration, les CAPEX, l'OPEX et la restauration. L'impact environnemental est monétisé en utilisant le coût social du carbone de l'EPA (190 $/tonne de CO2). La récompense finale est une somme pondérée : $R = \alpha(\text{Profit}) + (1-\alpha)(-\text{CoûtÉmission})$, où $\alpha$ contrôle l'arbitrage entre le rendement financier et la durabilité.
• Mise à jour de l'état de croyance : L'agent maintient une distribution postérieure gaussienne sur les variables d'état. Lors de la réception d'une action et d'une observation, la croyance est mise à jour à l'aide d'un Filtre de Kalman, appliquant de manière récursive la règle de Bayes pour affiner les estimations de la taille du gisement et des conditions du marché.
• Solveur : L'étude utilise POMCPOW (Partially Observable Monte Carlo Planning with Observation Widening), un solveur en ligne. Contrairement aux solveurs hors ligne qui pré-calculent des politiques pour toutes les croyances (informatiquement infaisable pour les domaines continus), POMCPOW planifie en temps réel à partir de la croyance actuelle, simulant des trajectoires futures pour sélectionner l'action immédiate optimale.

Principales contributions

1. Cadre unifié pour l'incertitude : Le document présente une nouvelle formulation POMDP qui gère simultanément l'incertitude géologique, plusieurs dynamiques de prix (y compris le GBM stochastique) et les fluctuations de la demande, tout en distinguant explicitement les technologies d'extraction DLE et roche dure.
2. Optimisation multi-objectif : Le cadre intègre des objectifs économiques et environnementaux dans une seule fonction de récompense ajustable, permettant aux décideurs de naviguer sur la frontière de Pareto entre la maximisation du profit et la minimisation des émissions via le paramètre $\alpha$.
3. Adaptation dynamique : En utilisant la planification par état de croyance, le modèle démontre sa capacité à adapter dynamiquement les stratégies à mesure que de nouvelles informations sont recueillies, contrastant avec les heuristiques statiques qui reposent sur des règles fixes.

Résultats
Le solveur POMCPOW a été comparé à sept heuristiques inspirées de l'humain (ex. : Aléatoire, Exploration uniquement, Maximiseurs de profit/émissions, Lookahead à un pas) à travers cinq scénarios de prix (Statique, Linéaire, Exponentiel, GBM et Historique).

• Performance : POMCPOW a systématiquement obtenu la récompense actualisée la plus élevée ou la plus proche du maximum dans tous les modèles de prix. Il a démontré une capacité supérieure à équilibrer l'exploration, la rentabilité et les émissions.
• Satisfaction de la demande : POMCPOW a satisfait un pourcentage plus élevé de la demande (ex. : 91,36 % sous un prix statique contre 89,18 % pour le Lookahead à un pas) tout en maintenant des émissions compétitives.
• Comportement stratégique :
  • Sous une tarification Statique/Linéaire, POMCPOW correspond à la performance du Lookahead myope à un pas, mais atteint une meilleure utilisation de la capacité et des coûts par tonne plus faibles.
  • Sous une tarification Exponentielle, POMCPOW surpasse de manière significative les heuristiques en apprenant à retarder l'investissement jusqu'à ce que les trajectoires de prix justifient l'engagement de capital, évitant ainsi la saturation prématurée des plafonds de demande.
  • Sous une tarification GBM (stochastique), malgré la forte volatilité, POMCPOW est resté la politique la plus fiable, adaptant sa stratégie pour capturer de la valeur sans l'engagement excessif et rigide observé dans les stratégies heuristiques d'« ouverture précoce ».
• Réduction de l'incertitude de la croyance : L'analyse des graphiques d'incertitude de la croyance montre que POMCPOW réduit l'incertitude géologique grâce à des décisions séquentielles fondées sur l'information plutôt que par une exploration aléatoire ou un engagement de capital agressif. Il séquence efficacement l'ouverture des sites DLE à faible risque avant de s'engager dans les sites de roche dure à fort CAPEX, une fois l'incertitude suffisamment résolue.
• Frontière de Pareto : La variation de $\alpha$ a produit une frontière de Pareto empirique lisse, démontrant que le cadre peut générer des stratégies sur mesure pour les parties prenantes privilégiant soit les rendements financiers, soit la durabilité environnementale.

Signification et revendications
L'article affirme que le fait de formuler la production de lithium comme un POMDP fournit une base robuste pour la prise de décision dans un marché des ressources volatil. La principale signification réside dans la démonstration que la planification basée sur la croyance surpasse les heuristiques traditionnelles basées sur des règles en gérant explicitement l'incertitude et la valeur de l'information.

Les auteurs soutiennent que leur cadre permet :

• Séquençage optimal : Déterminer le moment précis pour l'exploration, la production et le choix technologique (DLE vs roche dure) en fonction des croyances évolutives plutôt que de prévisions statiques.
• Atténuation des risques : Éviter les pièges du « ouvrir tôt et grand » qui mènent à une mauvaise allocation du capital lorsque les plafonds de demande sont atteints ou que les prix fluctuent de manière inattendue.
• Flexibilité stratégique : Fournir un mécanisme ajustable ($\alpha$) permettant aux investisseurs et aux décideurs d'aligner les stratégies opérationnelles sur des objectifs économiques ou réglementaires spécifiques sans sacrifier l'optimalité.

L'étude conclut que, bien que des limites existent (ex. : prix exogènes, demande simplifiée), l'approche POMDP offre une stratégie transparente, adaptative et ajustable pour l'étagement de la capacité dans le secteur du lithium, garantissant que les investissements massifs et irréversibles ne soient réalisés que lorsque la confiance dans les données et les conditions du marché le justifient.