Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

Technische Samenvatting: Optimalisatie van Lithiumproductiebeslissingen onder Onzekerheid via POMDP

Probleemstelling
De planning van lithiumproductie is een complex sequentieel besluitvormingsprobleem dat wordt gekenmerkt door diepe onzekerheden in geologie, marktvraag en prijsontwikkeling. De industrie kampt met een aanbod-vraagtekort gedreven door de snelle groei van de sectoren voor elektrische voertuigen (EV) en energieopslag, waarbij de vraag naar verwachting tegen 2040 met 706% zal toenemen. Huidige toeleveringsketens zijn geografisch geconcentreerd en beperkt door lange doorlooptijden (5–10 jaar) voor de ontwikkeling van mijnen. Bovendien verschuift het landschap met de opkomst van Direct Lithium Extraction (DLE) technologieën, die snellere verwerking en een lagere ecologische voetafdruk bieden, maar andere kapitaal- en operationele kostenprofielen met zich meebrengen vergeleken met traditionele hard-rock mijnbouw.

Bestaande optimalisatiemodellen falen vaak in het rekening houden met de wisselwerking tussen deze onzekerheden, waarbij ze extractietechnologieën als homogeen behandelen of uitgaan van perfecte informatie over toekomstige prijzen en depositkwaliteit. Dit leidt tot suboptimale investeringstiming, inefficiënte toewijzing van middelen en een onvermogen om economische winstgevendheid met milieustabiliteit (specifiek koolstofemissies) onder dynamische marktomstandigheden in evenwicht te brengen.

Methodologie: Het POMDP-raamwerk
De auteurs formuleren het lithiumproductieprobleem als een Partially Observable Markov Decision Process (POMDP). In tegenstelling tot volledig observeerbare MDP's, modelleert dit raamwerk expliciet scenario's waarin de werkelijke systeemtoestand (bijv. exacte depositgrootte, recyclebare reserves, toekomstige prijzen) onbekend is. In plaats daarvan handelen besluitvormers op basis van probabilistische overtuigingen (beliefs) die worden bijgewerkt naarmate er nieuwe gegevens beschikbaar komen.

• Toestandsruimte ($S$): Omvat fysieke condities (lithiumtonnage op vier afzonderlijke locaties: twee DLE, twee hard-rock), mijnbouwlevenscycli (niet geopend, producerend, uitgeput, hersteld) en economische variabelen (Lithium Carbonate Equivalent prijs en geprojecteerde vraag).
• Acties ($A$): De agent selecteert discrete levenscyclusacties voor elke locatie: Exploreren (geologische onzekerheid verminderen), Openen (CAPEX investeren, productie starten), Herstellen (decommissioning), of Niets doen.
• Observaties ($O$): De agent ontvangt ruisige observaties van depositramingen, marktprijzen en vraag. Het niveau van observatieruis varieert per actie (lage ruis tijdens exploratie, matige ruis tijdens productie, hoge ruis wanneer inactief).
• Transitie-dynamiek ($T$): Het systeem evolueert jaarlijks. Productie put de reserves deterministisch uit, terwijl prijzen en vraag stochastisch evolueren. De studie evalueert vier prijsregimes: Statisch, Lineair, Exponentieel en Geometric Brownian Motion (GBM), aangepast aan historische gegevens van 1994–2024.
• Beloningsfunctie ($R$): Een multi-objectieve functie die economische winst en milieukosten in evenwicht brengt. Inkomsten worden afgeleid van LCE-verkopen. Kosten omvatten exploratie, CAPEX, OPEX en herstel. De milieuimpact wordt gemonetiseerd met de sociale kosten van koolstof van de EPA ($190/ton CO2). De uiteindelijke beloning is een gewogen som: $R = \alpha(\text{Winst}) + (1-\alpha)(-\text{Emissiekosten})$, waarbij $\alpha$ de afweging tussen financieel rendement en duurzaamheid regelt.
• Belief State Updating: De agent onderhoudt een Gaussische posterieure verdeling over de toestandsvariabelen. Na het uitvoeren van een actie en het ontvangen van een observatie, wordt de belief bijgewerkt met behulp van een Kalman Filter, waarbij recursief de regel van Bayes wordt toegepast om schattingen van de depositgrootte en marktomstandigheden te verfijnen.
• Solver: De studie maakt gebruik van POMCPOW (Partially Observable Monte Carlo Planning with Observation Widening), een online solver. In tegen tegenstelling tot offline solvers die policies voor alle beliefs vooraf berekenen (wat computationeel onhaalbaar is voor continue domeinen), plant POMCPOW in realtime vanuit de huidige belief door toekomstige trajecten te simuleren om de optimale onmiddellijke actie te selecteren.

Belangrijkste Bijdragen

1. Verenigd Raamwerk voor Onzekerheid: Het artikel presenteert een nieuwe POMDP-formulering die gelijktijdig geologische onzekerheid, meerdere prijsdynamieken (inclus kind GBM) en fluctuaties in de vraag behandelt, terwijl er expliciet onderscheid wordt gemaakt tussen DLE en hard-rock extractietechnologieën.
2. Multi-Objectieve Optimalisatie: Het raamwerk integreert economische en milieudoelen in één afstembare beloningsfunctie, waardoor besluitvormers de Pareto-front kunnen navigeren tussen winstmaximalisatie en emissieminimering via de $\alpha$-parameter.
3. Dynamische Adaptatie: Door gebruik te maken van belief-state planning, demonstreert het model het vermogen om strategieën dynamisch aan te passen naarmate er meer informatie wordt verzameld, wat contrasteert met statische heuristieken die steunen op vaste regels.

Resultaten
De POMCPOW-solver werd getest tegen zeven mens-geïnspireerde heuristieken (bijv. Random, Explore-Only, Profit/Emission Maximizers, One-Step Lookahead) over vijf prijsscenario's (Statisch, Lineair, Exponentieel, GBM en Historisch).

• Prestaties: POMCPOW behaalde consistent de hoogste of bijna hoogste gedisconteerde beloning over alle prijsmodellen. Het toonde een superieur vermogen om balans te vinden tussen exploratie, winstgevendheid en emissies.
• Voldoen aan de Vraag: POMCPOW voldeed aan een hoger percentage van de vraag (bijv. 91,36% onder statische prijsstelling versus 89,18% voor One-Step Lookahead) terwijl het concurrerende emissies behield.
• Strategisch Gedrag:
  • Onder Statische/Lineaire prijsstelling: POMCPOW kwam overeen met de prestaties van de myope One-Step Lookahead, maar bereikte een betere capaciteitsbenutting en lagere kosten per ton.
  • Onder Exponentiële prijsstelling: POMCPOW presteerde aanzienlijk beter dan heuristieken door te leren investeringen uit te stellen totdat de prijstrajecten de kapitaalinvesteringen rechtvaardigden, waardoor voortijdige verzadiging van de vraagplafonds werd vermeden.
  • Onder GBM (Stochastische) prijsstelling: Ondanks de hoge volatiliteit bleef POMCPOW het meest betrouwbare beleid, waarbij het zijn strategie aanpaste om waarde te verzilveren zonder de rigide overmatige verbintenis die kenmerkend is voor de "open vroeg" heuristieken.
• Reductie van Belief-Onzekerheid: Analyse van belief-onzekerheidsplots toonde aan dat POMCPOW geologische onzekerheid vermindert door sequentiële, informatiegestuurde beslissingen in plaats van willekeurige exploratie of agressieve kapitaalcommissie. Het slaagt er effectief in om de opening van laag-risico DLE-sites te sequensen vóór de inzet van kapitaalintensieve hard-rock sites, zodra de onzekerheid voldoende is opgelost.
• Pareto-front: Het variëren van $\alpha$ produceerde een vloeiend empirisch Pareto-front, wat aantoont dat het raamwerk op maat gemaakte strategieën kan genereren voor belanghebbenden die ofwel financiële rendementen of milieustabiliteit prioriteren.

Betekenis en Claims
Het artikel claimt dat het formuleren van lithiumproductie als een POMDP een robuuste basis biedt voor besluitvorming in een volatiele grondstoffenmarkt. De primaire betekenis ligt in de demonstratie dat belief-aware planning traditionele regelgebaseerde heuristieken overtreft door expliciet om te gaan met onzekerheid en de waarde van informatie.

De auteurs stellen dat hun raamwerk in staat is tot:

• Optimale Sequentiëring: Bepalen van de precieze timing voor exploratie, productie en technologiekeuze (DLE versus hard-rock) op basis van evoluerende beliefs in plaats van statische prognoses.
• Risicomitigatie: Vermijden van de "open vroeg en groot" valkuilen die leiden tot foutieve kapitaalallocatie wanneer vraagplafonds worden bereikt of prijzen onverwacht fluctueren.
• Strategische Flexibiliteit: Het bieden van een afstembaar mechanisme ($\alpha$) voor investeerders en beleidsmakers om operationele strategieën af te stemmen op specifieke economische of regelgevende doelen zonder aan optimaliteit in te boeten.

De studie concludeert dat hoewel er beperkingen bestaan (bijv. exogene prijzen, vereenvoudigde vraag), de POMDP-aanpak een transparante, adaptieve en afstembare strategie biedt voor het faseren van capaciteit in de lithiumsector, waardoor wordt gewaarborgd dat grote, onomkeerbare investeringen pas worden gedaan wanneer de dataconfidentie en marktomstandigheden dit rechtvaardigen.