CarbonNet: How Computer Vision Plays a Role in Climate Change? Application: Learning Geomechanics from Subsurface Geometry of CCS to Mitigate Global Warming

技術要約：CarbonNet – 地質力学のためのコンピュータビジョン（CCS向け）

問題提起
二酸化炭素回収・貯留（CCS）は、地球温暖化を緩和するための極めて重要な技術であり、超臨界CO₂を深部の塩水層や枯渇した石油貯留層に注入するプロセスを伴います。このプロセスに関連する主要なリスクは、過剰な流体圧によって引き起こされる地表の隆起（地盤変位）であり、これはインフラへの損傷や人命への影響を及ぼす可能性があります。この地表変位の空間分布と時間的進化を予測することは、ハザード回避のために不可欠です。しかし、従来の数値シミュレーション（例：有限要素法）は、CCSプロジェクトの大きな空間的・時間的スケールのために、計算コストが極めて高くなります。さらに、既存のディープラーニング手法は、材料の不均質性や流体流動と力学の結合に苦戦したり、特定の地質学的設定に限定されたりすることがよくあります。本プロジェクトは、コンピュータビジョン技術を用いて、様々な地下構造における地表変位を効率的に予測するという課題に取り組みます。

手法
著者らは、静的な力学を「画像から画像への予測タスク」として、また過渡的な力学を「ビデオ予測タスク」として定式化しています。入力は、地下構造（具体的には、2つの浸透層の間に挟まれた、傾斜角が変化するシェール層）を表す2D画像であり、出力は対応する地表変位場です。

1. データセット生成:

   • 静的モデル: FEniCS（FEMベースのシミュレーション）を用いて10,000個のサンプルを生成しました。入力は、傾斜角が0°から45°の範囲にある幾何学形状の画像です。ラベルは、50×25のグリッド上の1,250点における垂直変位（$u_y$）です。
   • 過渡的モデル: 結合された流体・力学シミュレーションを用いて3,000個のサンプルを生成しました。入力は幾何学形状の画像であり、ラベルは地上における40点の垂直変位の時系列データ（1,000タイムステップ）です。データシーケンスは、スライディングウィンドウ（5ステップを用いて次を予測）を用いて作成され、最小最大スケーリングによって正規化されました。

2. 静的力学モデル（画像予測）:

   • ベースライン: 標準的なCNNおよびResNet（ResNet18）アーキテクチャをテストしました。これらのモデルは画像をダウンサンプリングして特徴を抽出しますが、重要な空間情報を失うことが判明し、不均質な領域において不正確さをもたらしました。
   • 提案モデル (ResNetUNet): ResNetとUNetを組み合わせたカスタムアーキテクチャです。エンコーダは複雑な物理法則と不均質な材料分布を捉えるためにResNetブロックを利用し、デコーダは空間的な詳細を回復し情報の損失を防ぐために、スキップ接続を用いたUNet型のアップサンプリングを採用しています。

3. 過渡的力学モデル（ビデオ/時系列予測）:

   • 特徴抽出: 両モデルとも、事前学習済みのResNetUNetを使用して入力幾何学形状画像から特徴を抽出します。
   • LSTM: 4つのLSTMセルをスタックしたLong Short-Term Memoryネットワークが、次のタイムステップを予測するために変位値（サイズ40）のシーケンスを処理します。
   • Transformer: Transformerエンコーダ・デコーダ・アーキテクチャがシーケンスを処理します。これは自己注意（self-attention）メカニズムを利用して長期的な依存関係を捉え、理論的にLSTMに固有の逐次的情報の損失を克服します。エンコーダとデコーダはそれぞれ、モデル次元16、アテンションヘッド数8の4層で構成されています。

主な結果

• 静的力学: ResNetUNetモデルは、CNNおよびResNetのベースラインを大幅に上回りました。視覚的な比較では、ResNetUNetの予測は物理ベースの正解（ground truth）とほぼ同一でしたが、CNNおよびResNetは情報の損失と、特に不均質な領域における精度の低下を示しました。定量的に、ResNetUNetは検証MSE $7.33 \times 10^{-8}$、MAE $2.00 \times 10^{-4}$を達成し、ベースラインよりも数桁低い値となりました。
• 過渡的力学: LSTMおよびTransformerの両モデルが、地表変位の時間的進化の予測に成功しました。Transformerモデルは、LSTMと比較して低い検証MSE（$3.86 \times 10^{-9}$）およびMAE（$1.50 \times 10^{-6}$）を示し、優れた性能を発揮しました。LSTMも有望な可能性を示しましたが、Transformerの自己注意メカニズムにより、高次元のシーケンスデータ（40点）をより適切に扱うことができ、正解にほぼ完璧に適合しました。
• 学習ダイナミクス: すべてのモデルは、合成データが豊富であるため、交差検証なしで学習されました。損失履歴は、過学習や未学習の兆候を示しませんでした。

意義と主張
本論文は、複雑な結合地質力学および流体流動の問題を解決するために、コンピュータビジョンの知能を活用した最先端のアプローチを提示していると主張しています。主な意義は、特定の地質形成に限定されるモデルを超え、任意の入力幾何学形状画像に対して解を一般化できる点にあります。

• 効率性: このアプローチは、従来の数値シミュレーションに代わる計算効率の高い選択肢を提供し、CCSプロジェクトの計画における迅速な意思決定を可能にします。
• アーキテクチャの有効性: 本研究は、スキップ接続を通じて空間情報を保持することにより、ResNetUNetアーキテクチャが不均質な静的力学問題に対して特に効果的であることを実証しています。
• 時間的モデリング: 本研究は、地質学的な時系列予測におけるTransformerモデルの適用可能性を検証し、物理システムにおける長期的な依存関係を捉える上で、従来の再帰型ネットワーク（LSTM）よりも優れていることを示しました。
• 将来の影響: 著者らは、これらのモデルが気候変動を緩和するための炭素貯留監視における意思決定に寄与できると考えています。今後の課題には、より複雑な幾何学形状に対する敵対的生成ネットワーク（GAN）を用いた堅牢性のテストや、一般公開用のアルファ版ウェブアプリケーションの展開が含まれます。