Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

Sintesi Tecnica: Ottimizzazione delle Decisioni di Produzione di Litio sotto Incertezza tramite POMDP

Definizione del Problema
La pianificazione della produzione di litio è un problema complesso di decisioni sequenziali caratterizzato da profonde incertezze geologiche, di domanda di mercato e di prezzi. Il settore affronta un divario tra offerta e domanda guidato dalla rapida crescita dei settori dei veicoli elettrici (EV) e dell'accumulo di energia, con una domanda che si prevede aumenterà del 706% entro il 2040. Le attuali catene di approvvigionamento sono geograficamente concentrate e vincolate da lunghi tempi di sviluppo (5–10 anni) per l'apertura delle miniere. Inoltre, il panorama sta cambiando con l'emergere delle tecnologie di Estrazione Diretta del Litio (DLE), che offrono una lavorazione più rapida e un'impronta ambientale inferiore rispetto alle tradizionali estrazioni da roccia dura, ma comportano profili di costi di capitale e operativi differenti.

Gli esistenti modelli di ottimizzazione spesso non riescono a tenere conto dell'interazione tra queste incertezze, trattando le tecnologie di estrazione come omogenee o assumendo una conoscenza perfetta dei futuri prezzi e della qualità dei depositi. Ciò porta a una tempistica di investimento subottimale, a un'allocazione inefficiente delle risorse e all'incapacità di bilanciare la redditività economica con la sostenibilità ambientale (specificamente le emissioni di carbonio) in condizioni di mercato dinamiche.

Metodologia: Il Framework POMDP
Gli autori inquadrano il problema della produzione di litio come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). A differenza dei MDP pienamente osservabili, questo framework modella esplicitamente scenari in cui lo stato reale del sistema (ad esempio, la dimensione esatta del deposito, le riserve recuperabili, i prezzi futuri) è sconosciuto. Invece, i decisori agiscono su credenze probabilistiche che vengono aggiornate man mano che nuovi dati diventano disponibili.

• Spazio degli Stati ($S$): Racchiude le condizioni fisiche (tonnellaggio di litio in quattro siti distinti: due DLE, due a roccia dura), le fasi del ciclo di vita della miniera (non aperta, in produzione, esaurita, ripristinata) e le variabili economiche (prezzo del Carbonato di Litio Equivalente e domanda prevista).
• Azioni ($A$): L'agente seleziona azioni discrete del ciclo di vita per ogni sito: Esplorazione (ridurre l'incertezza geologica), Apertura (sostenere il CAPEX, iniziare la produzione), Ripristino (decommissioning) o Non fare nulla.
• Osservazioni ($O$): L'agente riceve osservazioni rumorose delle stime dei depositi, dei prezzi di mercato e della domanda. I livelli di rumore delle osservazioni variano in base all'azione intrapresa (basso rumore durante l'esplorazione, moderato durante la produzione, alto quando si è inattivi).
• Dinamiche di Transizione ($T$): Il sistema evolve annualmente. La produzione esaurisce i depositi in modo deterministico, mentre prezzi e domanda evolvono in modo stocastico. Lo studio valuta quattro regimi di prezzo: Statico, Lineare, Esponenziale e Movimento Browniano Geometrico (GBM), adattati ai dati storici dal 1994 al 2024.
• Funzione di Ricompensa ($R$): Una funzione multi-obiettivo che bilancia il profitto economico e il costo ambientale. Il ricavo deriva dalle vendite di LCE. I costi includono esplorazione, CAPEX, OPEX e ripristino. L'impatto ambientale è monetizzato utilizzando il costo sociale del carbonio dell'EPA ($190/tonnellata di CO2). La ricompensa finale è una somma pesata: $R = \alpha(\text{Profitto}) + (1-\alpha)(-\text{CostoEmissioni})$, dove $\alpha$ controlla il compromesso tra rendimento finanziario e sostenibilità.
• Aggiornamento dello Stato di Credenza: L'agente mantiene una distribuzione posteriore gaussiana sulle variabili di stato. Dopo aver compiuto un'azione e ricevuto un'osservazione, la credenza viene aggiornata utilizzando un Filtro di Kalman, applicando ricorsivamente la regola di Bayes per affinare le stime della dimensione del deposito e delle condizioni di mercato.
• Solver: Lo studio impiega POMCPOW (Partially Observable Monte Carlo Planning with Observation Widening), un solver online. A differenza dei solver offline che pre-computano le policy per tutte le credenze (computazionalmente impraticabile per domini continui), POMCPOW pianifica in tempo reale a partire dalla credenza attuale, simulando traiettorie future per selezionare l'azione immediata ottimale.

Contributi Chiave

1. Framework Unificato per l'Incertezza: Il documento presenta una nuova formulazione POMDP che gestisce simultaneamente l'incertezza geologica, molteplici dinamiche di prezzo (incluso il GBM stocastico) e le fluttuazioni della domanda, distinguendo esplicitamente tra le tecnologie di estrazione DLE e a roccia dura.
2. Ottimizzazione Multi-Obiettivo: Il framework integra obiettivi economici e ambientali in una singola funzione di ricompensa regolabile, consentendo ai decisori di navigare la frontiera di Pareto tra massimizzazione del profitto e minimizzazione delle emissioni tramite il parametro $\alpha$.
3. Adattamento Dinamico: Utilizzando la pianificazione basata sullo stato di credenza, il modello dimostra la capacità di adattare dinamicamente le strategie man mano che nuove informazioni vengono raccolte, contrastando con le euristiche statiche che si basano su regole fisse.

Risultati
Il solver POMCPOW è stato confrontato con sette euristiche ispirate all'uomo (ad esempio, Random, Solo Esplorazione, Massimizzatori di Profitto/Emissioni, Lookahead a un passo) attraverso cinque scenari di prezzo (Statico, Lineare, Esponenziale, GBM e Storico).

• Performance: POMCPOW ha costantemente ottenuto la ricompensa scontata più alta o vicino alla più alta in tutti i modelli di prezzo. Ha dimostrato una capacità superiore di bilanciare esplorazione, redditività ed emissioni.
• Soddisfacimento della Domanda: POMCPOW ha soddisfatto una percentuale maggiore di domanda (ad esempio, 91,36% sotto pricing statico rispetto all'89,18% per il One-Step Lookahead) mantenendo al contempo emissioni competitive.
• Comportamento Strategico:
  • Sotto prezzi Statici/Lineari, POMCPOW ha eguagliato le prestazioni del One-Step Lookahead miope, ma ha ottenuto una migliore utilizzazione della capacità e costi per tonnellata inferiori.
  • Sotto prezzi Esponenziali, POMCPOW ha superato significativamente le euristiche, imparando a ritardare l'investimento finché le traiettorie dei prezzi non giustificavano la spesa di capitale, evitando la saturazione prematura dei limiti di domanda.
  • Sotto prezzi GBM (Stocastici), nonostante l'alta volatilità, POMCPOW è rimasto la politica più affidabile, adattando la sua strategia per catturare valore senza l'impegno rigido visto nelle strategie euristiche di "apertura anticipata".
• Riduzione dell'Incertezza della Credenza: L'analisi dei grafici dell'incertezza della credenza mostra che POMCPOW riduce l'incertezza geologica attraverso decisioni sequenziali guidate dalle informazioni piuttosto che attraverso l'esplorazione casuale o l'impegno aggressivo di capitale. Esso riesce a sequenziare l'apertura dei siti DLE a basso rischio prima di impegnarsi in siti a roccia dura ad alto CAPEX, una volta che l'incertezza è stata sufficientemente risolta.
• Frontiera di Pareto: La variazione di $\alpha$ ha prodotto una frontiera di Pareto empirica fluida, dimostrando che il framework può generare strategie personalizzate per gli stakeholder che danno priorità o ai rendimenti finanziari o alla sostenibilità ambientale.

Significatività e Rivendicazioni
Il documento sostiene che inquadrare la produzione di litio come un POMDP fornisce una base robusta per il processo decisionale in un mercato delle risorse volatile. La principale significatività risiede nella dimostrazione che la pianificazione consapevole della credenza supera le tradizionali euristiche basate su regole, gestendo esplicitamente l'incertezza e il valore dell'informazione.

Gli autori sostengono che il loro framework consente:

• Sequenziamento Ottimale: Determinare la tempistica precisa per esplorazione, produzione e scelta tecnologica (DLE vs. roccia dura) basandosi sulle credenze in evoluzione piuttosto che su previsioni statiche.
• Mitigazione del Rischio: Evitare le trappole dell'approccio "aprire presto e in grande" che portano a un'allocazione errata del capitale quando i soffitti di domanda vengono raggiunti o i prezzi fluttuano inaspettatamente.
• Flessibilità Strategica: Fornire un meccanismo regolabile ($\alpha$) per investitori e decisori politici per allineare le strategie operative con obiettivi economici o normativi specifici senza sacrificare l'ottimalità.

Lo studio conclude che, sebbene esistano limitazioni (ad esempio, prezzi esogeni, domanda semplificata), l'approccio POMDP offre una strategia trasparente, adattiva e modulabile per la gestione della capacità nel settore del litio, garantendo che gli investimenti ingenti e irreversibili vengano effettuati solo quando la fiducia nei dati e le condizioni di mercato lo giustificano.