Spatially honest validation of machine-learning prospectivity maps for karst bauxite in Kazakhstan

技術要約：カザフスタンのカルスト・ボーキサイトにおける機械学習プロスペクティビティ・マップの空間的誠実性を備えた検証

問題提起
鉱床ポテンシャル・マッピング（MPM）は、地質、地球化学、およびリモートセンシング・データを統合するために、機械学習（ML）への依存を強めている。しかし、これらのモデルの検証には決定的な欠落が存在する。標準的なランダム交差検証（CV）は、鉱床の空間的なクラスタリングやラスタデータの固有の自己相関を考慮していないため、欺瞞的なほど高い性能指標（例：ROC-AUC > 0.95）をもたらすことが多い。このような設計では、テスト・ピクセルが訓練ピクセルと空間的に隣接していることが多く、モデルが転移可能な鉱化作用の基準を学習するのではなく、局所的なテクスチャを「記憶」してしまう。これは「空間的楽観主義（spatial optimism）」を引き起こし、モデルは既知の地形に対しては優れた性能を示すものの、実際に未知の、クラスター化した鉱床系に適用した場合には失敗することになる。この問題は、複雑な古地形や被覆に制御された、疎で細長く、かつ不連続なレンズ状に存在するカルスト・ボーキサイトにおいて特に深刻である。そのため、見かけ上のピクセルレベルの識別能と、転移可能な鉱床スケールのスキルを区別することが不可欠となる。

手法
本研究は、「分離・監査優先（split-first, audit-first）」のワークフローを提案しており、これは見かけ上の識別能と転移可能なスキルを分離するように設計されている。著者らは、Sentinel-2の表面反射率（2019–2024年）、9つのスペクトル指数、および3つの地形派生量（標高、傾斜、斜面方位）を用い、30mグリッド上でカザフスタンのカルスト・ボーキサイトの有望性をマッピングした。機密性の高い探査データを保護するため、絶対座標は伏せられ、トポロジーと距離を維持したローカルにシフトされたUTM座標系で分析が行われた。

核心となる革新技術は、運用中のランダムフォレスト・モデル（700本の決定木）に対し、ロジスティック回帰、XGBoost、およびLightGBMのベースラインと共に適用される**「4段階の検証ラダー（four-rung validation ladder）」**である：

1. ランダム交差検証： 見かけ上のピクセルレベルの識別能のベースラインとして機能する。
2. 空間ブロック交差検証： 空間的なリーク（情報の漏洩）を軽減するため、地理的に訓練データとテストデータを分離する（デフォルトは5kmブロック）。
3. k-分割最近隣距離マッチング（kNNDM）： 実際の予測設定との整合性をテストするため、訓練／テストのフォールド間の距離分布を実際の予測設定に合わせる。
4. Leave-One-Deposit-Cluster-Out (LOCO-CV)： 最も厳格なテストであり、既知の鉱床クラスター（DBSCANにより定義）とその周囲の背景領域全体を訓練から除外することで、モデルが「新しい」鉱床を見つける能力を評価する。

その他の手法構成には以下が含まれる：

• 正例・未ラベル（PU）感度： 「背景」ピクセルが確認された不毛な土地ではなく、未検証の地形であることを認識する。
• 共形予測（Conformal Prediction）： 非対称な不確実性を定量化し、信頼できる背景の排除と、不均質なボーキサイトの確認を区別する。
• 適用可能領域（AOA）： 予測因子の組み合わせが訓練分布の外にある領域（外挿）を特定するマスク。
• 残差自己相関分析： ヴァリオグラムとMoran's Iを用い、検証のための最適なブロックサイズ（約20km）を決定する。

主な結果
検証ラダーは、見かけ上の識別能と転移可能なスキルの間に大幅なギャップがあることを明らかにした：

• ランダムCV： モデルはROC-AUC 0.984、PR-AUC 0.941を達成したが、これは空間的リークによる「楽観主義」を反映している。
• 空間ブロックCV： 5kmブロックを用いた場合、性能はROC-AUC ≈ 0.84に低下した。ブロックサイズが残差自己相関の範囲（〜20km）に向かって大きくなるにつれ、性能はROC-AUC ≈ 0.78で安定した。
• 厳格な予測指向スキーム： kNNDMとLOCO-CVは共にROC-AUC ≈ 0.77–0.78に収束し、LOCO-CVはPR-AUC 0.507を示した。
• 鉱床レベルのスキル： 17個の保持された鉱床クラスターにわたるブートストラップ法の結果、平均ROC-AUCは0.72（95% CI: 0.64–0.80）となり、モデルは実際のシグナルを捉えているものの、異なる鉱床系間で不均質であることを示している。

不確実性と適用可能性

• 共形予測： 非対称な不確実性を示した。モデルは背景のような地形を確実に排除したが（カバー率90%）、未知のクラスターにおけるボーキサイトのような地形の確認には苦戦した（カバー率41%）。
• AOAスクリーニング： 上位1%の有望性表面で特定された69個の高スコア候補ターゲットのうち、20個が外挿的（AOAの外側）であるとフラグが立てられた。これは、それらの予測因子の組み合わせが訓練データにおいて十分に表現されていないことを意味する。
• 予測因子の重要度： 標高が支配的な予測因子であり、次いで水分量/SWIRおよび植生指数であった。著者らは、これをモデルが直接的な地下鉱化作用ではなく、地表の現れや地形的位置（残留起伏、保存状態）を捉えているものと解釈している。

意義と主張
本論文は、完璧な分類器や新しいアルゴリズムを提示することを目的としているのではない。その主要な貢献は、**「監査可能な検証および展開プロトコル」**であり、これは見かけ上のピクセルレベルの識別能と、転移可能な鉱床スケールのスキルを厳密に分離するものである。

著者らは、疎でクラスター化したラベルと未検証の背景を持つ鉱床系において、単一の交差検証スコアを報告することは誤解を招くと主張している。本研究は、「誠実な」検証（LOCO-CVおよび空間ブロッキング）が、ランダムCVと比較して性能推定値を約20パーセントポイント低下させることを示している。したがって、得られた有望性マップは「発見確率の表面」として解釈されるべきではない。それは、**「較正され、不確実性を考慮し、適用可能性がスクリーニングされた、探査トリアージ製品」**である。これは、モデルがどこで外挿を行っているか、またどこで不確実性が高いかを明示的にフラグ立てすることで、フィールド検証のためのターゲットをランク付けするための意思決定支援ツールとして機能し、探査ターゲット設定における過信を防ぐものである。