Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

Resumen Técnico: Optimización de las decisiones de producción de litio bajo incertidumbre mediante POMDP

Planteamiento del Problema
La planificación de la producción de litio es un problema complejo de toma de decisiones secuenciales caracterizado por profundas incertidumbres en la geología, la demanda del mercado y los precios. La industria enfrenta una brecha entre la oferta y la demanda impulsada por el rápido crecimiento de los sectores de vehículos eléctricos (VE) y el almacenamiento de energía, con una demanda que se proyecta aumentará un 706% para 2040. Las cadenas de suministro actuales están geográficamente concentradas y limitadas por largos plazos de ejecución (5 a 10 años) para el desarrollo de minas. Además, el panorama está cambiando con la aparición de tecnologías de Extracción Directa de Litio (DLE), que ofrecen un procesamiento más rápido y una menor huella ambiental, pero con perfiles de costos de capital y operativos distintos en comparación con la minería tradicional de roca dura.

Los modelos de optimización existentes a menudo no logran contabilizar la interacción de estas incertidumbres, tratando las tecnologías de extracción como homogéneas o asumiendo información perfecta sobre los precios futuros y la calidad de los depósitos. Esto conduce a una inversión de tiempo subóptima, una asignación ineficiente de recursos y una incapacidad para equilibrar la rentabilidad económica con la sostenibilidad ambiental (específicamente las emisiones de carbono) bajo condiciones de mercado dinámicas.

Metodología: El Marco POMDP
Los autores enmarcan el problema de la producción de litio como un Proceso de Decisión de Markov Parcialmente Observable (POMDP). A diferencia de los MDP totalmente observables, este marco modela explícitamente escenarios donde el estado real del sistema (por ejemplo, el tamaño exacto del depósito, las reservas recuperables, los precios futuros) es desconocido. En su lugar, los tomadores de decisiones actúan basándose en creencias probabilísticas que se actualizan a medida que se dispone de nuevos datos.

• Espacio de Estados ($S$): Encapsula condiciones físicas (tonelaje de litio en cuatro sitios distintos: dos de DLE, dos de roca dura), etapas del ciclo de vida de la mina (no abierta, en producción, agotada, restaurada) y variables económicas (precio del Carbonato de Litio Equivalente y demanda proyectada).
• Acciones ($A$): El agente selecciona acciones discretas del ciclo de vida para cada sitio: Explorar (reducir la incertidumbre geológica), Abrir (incurrir en CAPEX, iniciar la producción), Restaurar (desmantelar) o No hacer nada.
• Observaciones ($O$): El agente recibe observaciones ruidosas de las estimaciones de los depósitos, los precios del mercado y la demanda. Los niveles de ruido de observación varían según la acción realizada (ruido bajo durante la exploración, moderado durante la producción, alto cuando está inactivo).
• Dinámicas de Transición ($T$): El sistema evoluciona anualmente. La producción agota los depósitos de forma determinista, mientras que los precios y la demanda evolucionan de forma estocástica. El estudio evalúa cuatro regímenes de precios: Estático, Lineal, Exponencial y Movimiento Browniano Geométrico (GBM), ajustados a datos históricos de 1994–2024.
• Función de Recompensa ($R$): Una función multiobjetivo que equilibra el beneficio económico y el costo ambiental. Los ingresos derivan de las ventas de LCE. Los costos incluyen exploración, CAPEX, OPEX y restauración. El impacto ambiental se monetiza utilizando el costo social del carbono de la EPA ($190/tonelada de CO2). La recompensa final es una suma ponderada: $R = \alpha(\text{Beneficio}) + (1-\alpha)(-\text{Costo de Emisiones})$, donde $\alpha$ controla el equilibrio entre el retorno financiero y la sostenibilidad.
• Actualización del Estado de Creencia: El agente mantiene una distribución posterior Gaussiana sobre las variables de estado. Al realizar una acción y recibir una observación, la creencia se actualiza utilizando un Filtro de Kalman, aplicando recursivamente la regla de Bayes para refinar las estimaciones del tamaño del depósito y las condiciones del mercado.
• Solucionador (Solver): El estudio emplea POMCPOW (Planificación de Monte Carlo de Observación con Ensanchamiento Parcialmente Observable), un solucionador en línea. A diferencia de los solucionadores fuera de línea que precalculan políticas para todas las creencias (computacionalmente inviable para dominios continuos), POMCPOW planifica en tiempo real desde la creencia actual, simulando trayectorias futuras para seleccionar la acción inmediata óptima.

Contribuciones Clave

1. Marco Unificado para la Incertidumbre: El artículo presenta una novedosa formulación POMDP que maneja simultáneamente la incertidumbre geológica, múltiples dinámicas de precios (incluyendo el GBM estocástico) y fluctuaciones de la demanda, diferenciando explícitamente entre las tecnologías de extracción DLE y de roca dura.
2. Optimización Multiobjetivo: El marco integra objetivos económicos y ambientales en una única función de recompensa ajustable, permitiendo a los tomadores de decisiones navegar la frontera de Pareto entre la maximización de beneficios y la minimización de emisiones a través del parámetro $\alpha$.
3. Adaptación Dinámica: Al utilizar la planificación del estado de creencia, el modelo demuestra la capacidad de adaptarse dinámicamente a medida que se recopila nueva información, contrastando con las heurísticas estáticas que dependen de reglas fijas.

Resultados
El solucionador POMCPOW fue comparado con siete heurísticas inspiradas en humanos (por ejemplo, Aleatoria, Solo Exploración, Maximizadores de Beneficio/Emisiones, Mirada de un solo paso) a través de cinco escenarios de precios (Estático, Lineal, Exponencial, GBM y Histórico).

• Desempeño: POMCPOW alcanzó consistentemente la recompensa descontada más alta o cercana a la más alta en todos los modelos de precios. Demostró una capacidad superior para equilibrar la exploración, la rentabilidad y las emisiones.
• Satisfacción de la Demanda: POMCPOW cumplió un mayor porcentaje de la demanda (por ejemplo, 91.36% bajo precios estáticos frente al 89.18% de la Mirada de un solo paso) manteniendo emisiones competitivas.
• Comportamiento Estratégico:
  • Bajo precios Estáticos/Lineales, POMCPOW igualó el desempeño de la Mirada de un solo paso miope, pero logró una mejor utilización de la capacidad y menores costos por tonelada.
  • Bajo precios Exponenciales, POMCPOW superó significativamente a las heurísticas al aprender a retrasar la inversión hasta que las trayectorias de precios justificaran el gasto de capital, evitando la saturación prematura de los topes de demanda.
  • Bajo precios GBM (Estocásticos), a pesar de la alta volatilidad, POMCPOW se mantuvo como la política más confiable, adaptando su estrategia para capturar valor sin el compromiso rígido y excesivo visto en las estrategias heurísticas de "abrir temprano".
• Reducción de la Incertidumbre de la Creencia: El análisis de los gráficos de incertidumbre de la creencia mostró que POMCPOW reduce la incertidumbre geológica a través de decisiones secuenciales e informadas, en lugar de una exploración aleatoria o un compromiso de capital agresivo. Logra secuenciar la apertura de sitios DLE de bajo riesgo antes de comprometerse con los sitios de roca dura de alto CAPEX una vez que la incertidumbre se ha resuelto suficientemente.
• Frontera de Pareto: La variación de $\alpha$ produjo una frontera de Pareto empírica suave, demostrando que el marco puede generar estrategias personalizadas para las partes interesadas que priorizan tanto los retornos financieros como la sostenibilidad ambiental.

Significancia y Reivindicaciones
El artículo sostiene que enmarcar la producción de litio como un POMDP proporciona una base sólida para la toma de decisiones en un mercado de recursos volátil. La principal significancia radica en la demostración de que la planificación basada en la creencia supera a las heurísticas tradicionales basadas en reglas al gestionar explícitamente la incertidumbre y el valor de la información.

Los autores argumentan que su marco permite:

• Secuenciación Óptima: Determinar el momento preciso para la exploración, la producción y la elección de tecnología (DLE vs. roca dura) basándose en creencias evolutivas en lugar de pronósticos estáticos.
• Mitigación de Riesgos: Evitar las trampas de "abrir temprano y en grande" que conducen a una asignación errónea de capital cuando se alcanzan los techos de demanda o los precios fluctúan inesperadamente.
• Flexibilidad Estratégica: Proporcionar un mecanismo ajustable ($\alpha$) para que inversores y reguladores alineen sus estrategias operativas con objetivos económicos o regulatorios específicos sin sacrificar la optimalidad.

El estudio concluye que, si bien existen limitaciones (por ejemplo, precios exógenos, demanda simplificada), el enfoque POMDP ofrece una estrategia transparente, adaptativa y ajustable para la etapa de la capacidad en el sector del litio, asegurando que las inversiones grandes e irreversibles se realicen solo cuando la confianza de los datos y las condiciones del mercado lo justifiquen.