Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

技術要約：POMDPによる不確実性下でのリチウム生産意思決定の最適化

問題提起
リチウム生産計画は、地質学、市場需要、および価格における深い不確実性を特徴とする、複雑な逐次的意思決定問題である。業界は、電気自動車（EV）およびエネルギー貯蔵セクターの急速な成長に伴う供給不足に直面しており、需要は2040年までに706%増加すると予測されている。現在のサプライチェーンは地理的に集中しており、鉱山開発には5〜10年という長いリードタイムを要するという制約がある。さらに、景観は直接リチウム抽出（DLE）技術の台頭によって変化しており、DLEはより迅速な処理と低い環境負荷を実現する一方で、従来の硬岩採掘と比較して異なる資本・運用コストプロファイルを持つ。

既存の最適化モデルは、これらの不確実性の相互作用を考慮できていないことが多く、抽出技術を同質的なものとして扱ったり、将来の価格や埋蔵量に関する完全な情報を前提としたりしている。これは、投資タイミングの最適化の失敗、非効率な資源配分、そして動的な市場条件下での経済的収益性と環境的持続可能性（特に炭素排出量）のバランス維持の不能を招いている。

手法：POMDPフレームワーク
著者らは、リチウム生産問題を**部分観測マルコフ決定過程（POMDP）**として定式化している。完全観測型のMDPとは異なり、このフレームワークは、真のシステム状態（例：正確な埋蔵量、回収可能な埋蔵量、将来価格）が未知であるシナリオを明示的にモデル化している。代わりに、意思決定者は、新たなデータが入手されるたびに更新される確率的な「信念（Belief）」に基づいて行動する。

• 状態空間 ($S$): 物理的条件（4つの異なるサイトにおけるリチウム総量：2つのDLE、2つの硬岩）、鉱山のライフサイクル段階（未開設、生産中、枯渇、復元）、および経済変数（炭酸リチウム当量価格および予測需要）を包含する。
• 行動 ($A$): エージェントは、各サイトに対して離散的なライフサイクル行動を選択する：探索（地質学的不確実性の低減）、開設（CAPEXを投入し、生産を開始）、復元（閉鎖）、または何もしない。
• 観測 ($O$): エージェントは、埋蔵量推定値、市場価格、および需要のノイズを含む観測値を受け取る。観測ノイズのレベルは、取られた行動に基づいて変化する（探索中は低ノイズ、生産中は中程度のノイズ、待機中は高ノイズ）。
• 遷移ダイナミクス ($T$): システムは毎年進化する。生産は決定論的に埋蔵量を減少させるが、価格と需要は確率的に進化する。本研究では、1994年から2024年までの歴史的データに適合させた、静的、線形、指数関数的、および幾何ブラウン運動（GBM）の4つの価格シナリオを評価している。
• 報酬関数 ($R$): 経済的利益と環境コストのバランスをとる多目的関数である。収益はLCE販売から得られる。コストには、探査、CAPEX、OPEX、および復元が含まれる。最終的な報酬は、以下の加重和である：$R = \alpha(\text{利益}) + (1-\alpha)(-\text{排出コスト})$。ここで、$\alpha$は財務的リターンと持続可能性の間のトレードオフを制御する。
• 信念状態の更新: エージェントは、状態変数に関するガウス事後分布を保持する。行動を取り、観測を受けた後、信念はカルマンフィルタを用いて更新され、ベイズの定理を再帰的に適用することで、埋蔵量や市場条件の推定値を精緻化する。
• ソルバー: 本研究では、オンラインソルバーであるPOMCPOW（Observation Wideningを用いた部分観測モンテカルロプランニング）を採用している。すべての信念に対して方策を事前計算するオフラインソルバー（連続領域では計算不可能）とは異なり、POMCPOWは現在の信念からリアルタイムで計画を立て、将来の軌跡をシミュレーションして最適な即時行動を選択する。

主な貢献

1. 不確実性の統一フレームワーク: 本論文は、地質学的不確実性、複数の価格ダイナミクス（GBMを含む）、および需要の変動を同時に扱い、かつDLEと硬岩抽出技術を明示的に区別する、新しいPOMDP定式化を提示している。
2. 多目的最適化: 本フレームワークは、経済的目標と環境的目標を単一の調整可能な報酬関数に統合しており、意思決定者が利益最大化と排出量最小化の間のパレート境界をナビゲートすることを可能にする（$\alpha$パラメータを介して）。
3. 動的な適応: 信念状態に基づくプランニングを利用することで、モデルは、固定されたルールに依存する静的なヒューリスティックとは対照的に、情報が集まるにつれて戦略を動的に適応させる能力を示す。

結果
POMCPOWソルバーは、5つの価格シナリオ（静的、線形、指数関数的、GBM、およびヒストリカル）において、7つの人間由来のヒューリスティック（例：ランダム、探索のみ、利益/排出量最大化、ワンステップ先読み）とベンチマーク比較を行った。

• パフォーマンス: POMCPOWは、すべての価格モデルにおいて、一貫して最高またはそれに準ずる割引報酬を達成した。また、探索、収益性、および排出量のバランスを取る優れた能力を示した。
• 需要充足: POMCPOWは、高い割合で需要を満たした（例：静的価格下で91.36%、One-Step Lookaheadで89.18%）。同時に、競争力のある排出量を維持した。
• 戦略的行動:
  • 静的/線形価格の下では、POMCPOWは近視的なOne-Step Lookaheadと同等のパフォーマンスを示したが、より優れた容量利用率と低いトン当たりコストを達成した。
  • 指数関数的価格の下では、POMCPOWは、価格の軌跡が資本支出を正当化するまで投資を遅らせることを学習することで、ヒューリスティックを大幅に上回り、需要上限への早期飽和を回避した。
  • GBM（確率的）価格の下では、高いボラティリティにもかかわらず、POMCPOWは最も信頼性の高い方策であり続け、ヒューリスティックに見られる「早期開設」の過剰コミットメントを避けつつ、価値を捉えるための戦略を適応させた。
• 信念の不確実性低減: 信念の不確実性プロットの分析により、POMCPOWは、ランダムな探索や積極的な資本コミットメントではなく、逐次的かつ情報駆動型の決定を通じて地質学的不確実性を低減させていることが示された。具体的には、不確実性が十分に解消されるまで、高CAPEXの硬岩サイトにコミットする前に、低リスクのDLEサイトを優先的に開設する手順を効果的に実行している。
• パレート境界: $\alpha$を変化させることで滑らかな経験的パレート境界が得られ、本フレームワークが、財務的リターンまたは環境的持続可能性のいずれかを優先するステークホルダーに対して、カスタマイズされた戦略を生成できることが示された。

意義と主張
本論文は、リチウム生産をPOMDPとして捉えることが、変動の激しい資源市場における意思決定のための強固な基盤を提供すると主張している。主な意義は、信念を考慮したプランニングが、情報の価値を明示的に管理することによって、従来のルールベースのヒューリスティックよりも優れていることを示した点にある。

著者らは、本フレームワークが以下を可能にすると述べている：

• 最適なシーケンシング: 進化する信念に基づき、探索、生産、および技術選択（DLE vs 硬岩）の正確なタイミングを決定すること。
• リスク軽減: 需要の上限に達したり価格が予期せず変動したりする場合に、資本の誤配分を招く「早期かつ大規模な開設」の罠を回避すること。
• 戦略的柔軟性: 投資家や政策立案者が、最適性を損なうことなく、特定の経済的または規制上の目標に合わせて運用戦略を調整できる、調整可能なメカニメント（$\alpha$）を提供すること。

本研究は、限界（例：外生的な価格、簡略化された需要）はあるものの、POMDPアプローチが、データへの確信度と市場条件が投資を正当化する時にのみ、大規模で不可逆的な投資が行われるようにするための、透明性が高く、適応可能で、調整可能な、リチウム部門における段階的な容量拡大戦略を提供するものであると結論付けている。