Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

見たこともない土地に超高層ビルを建てようとしている場面を想像してみてください。単に推測するだけでは不十分です。土壌がどれほど強いのかを知っておかなければ、建物が沈んだり滑り落ちたりしてしまうからです。これが地盤工学エンジニアの仕事であり、彼らは土壌の「非排水せん断強度」——つまり、中に水が閉じ込められた状態で、土が滑ってしまう前にどれだけの力を耐えられるか——を研究しています。これは、濡れたスポンジが押しつぶされる前に、どれくらいの重さに耐えられるかを探る作業に似ています。問題は、この情報を得ることが非常に厄介だということです。深すぎたり費用がかかりすぎたりして、土壌を直接テストできないことがあり、その場合、エンジニアは土の粘り気やコーンの貫入具合といった他の手がかりに基づいて推測しなければなりません。しかし、こうした推測には、文字通り、そして比喩的にも多くの「穴」があります。データが欠落しており、数値は場所によって大きく異なり、従来の手法による推測は、安全性を確保するにはあまりに不確実すぎるのです。

この論文は、行方不明の土壌データを解決しようとする探偵チームのようなものです。彼らは、粘土質土壌に関する巨大な「行方不明者」ファイルであるCLAY/10/7490データベースを手に取りました。このファイルには30カ国の情報が含まれていますが、実態は悲惨なものです。情報の約34%しか存在しません。残りは空白であり、パズルのピースのほとんどが引き抜かれた状態です。研究者たちは、高度なコンピュータ技術を使ってこれらの空白を埋め、その埋められたパズルを用いて、かつてないほど正確に土壌の強度を予測できるかどうかを検証したいと考えました。彼らは、欠落したピースを埋めるための3つの異なる方法をテストし、どの組み合わせが最もうまく機能するかを確認するために、2種類の新しい「スーパー予報士」を構築しました。

失われたピースの大捜索

チームは、まず粘土に関する7,490行のデータを含む巨大なデータベースの調査から始めました。しかし、ここでの落とし穴は、ほとんどの行が不完全であることです。アッターバーグ限界（粘土の粘り気や可塑性を測定するもの）のような列は、欠落している割合は約40%程度でした。しかし、CPTU（地面にコーンを押し込むことで得られる測定値）に関する列は、90%以上も欠落していました！それは、目撃者が見たことの90%を忘れてしまった事件を解決しようとしているようなものでした。

まず、彼らは**多変量正規（MN）**モデルと呼ばれる、シンプルで伝統的な手法を試しました。これは、数学が得意な生徒は通常科学も得意であるということを知っている教師のようなものです。もし生徒の科学の成績が欠けていても、教師は数学の成績に基づいてそれを推測します。研究者たちはこの論理を用いて、欠落した土壌データを補完しました。その結果、この手法はデータの全体的な「形」は正しく保つものの、それ自体では最終的な予測を大幅に向上させることはできないことがわかりました。それは、見た目は合っているが、絵には完全には適合しないピースでパズルを埋めているようなものでした。

次に、彼らはより洗練された2つの手法、MICEと**Miss Forest (MF)**を試しました。

• MICEは、手がかりに基づいて欠落した情報を推測する、交代制の探偵グループのようなものです。一人の探偵が手がかりに基づいて値を推測し、次の探偵がその推測を利用して自分の推測を行い、全員が合意するまでこれを繰り返します。
• Miss Forestは、決定木の「森」を利用して欠落したピースを特定する、超スマートなAI探偵チームのようなものです。彼らは単純な数学では見逃してしまうような複雑なパターンを見つけ出します。

これらの手法を比較したところ、MICEが、元の現実世界の土壌のようなデータの姿を維持することにおいて最も優れていることがわかりました。MICEは、奇妙な外れ値や偽のパターンを作り出すことなく、元の統計分布に最も忠実でした。Miss Forestはまずまずの結果でしたが、時として推測が少し創造的になりすぎる傾向がありました。単純なMN法は、データの真の性質を保持する能力が最も低く、元の乱雑な現実と比較して「過度に集中した」結果を生み出すことがよくありました。

スーパー予報士たち

「埋められた」データベースを手に入れた後、研究者たちは、従来のやり方よりも土壌の強度をうまく予測できるかどうかを確認するために、2種類の新しい予測モデルを構築しました。

1. PXGB（確率的極限勾配ブースティング）： 100人の専門家が答えに対して投票するチームを想像してください。もし一人の専門家が間違っても、他の専門家がそれを修正します。このモデルは乱雑なデータの処理には長けていますが、依然として標準的な「投票」マシンに過ぎません。
2. MHA-PNN（マルチヘッド・アテンション確率的ニューラルネットワーク）： これこそが主役です。このモデルを、**「注意（Attention）」**という超能力を持つ探偵と考えてください。混雑した部屋の中で周囲のノイズを無視して特定の詳細に集中できるのと同様に、このモデルには、土壌データの最も重要な手がかりに焦点を当て、不要な情報を無視することができる「ヘッド」があります。これは単にデータを眺めるだけでなく、異なる手がかり間の関係性を理解しています。

大いなる判明

結果は明白でした。研究者がこれらのモデルをテストした際、MHA-PNNモデルは競合を圧倒しましたが、欠落データをどのように埋めるかの選択は、特定の形で影響を与えました。

• 精度： 最良の補完データを用いた場合、MHA-PNNモデルの誤差はPXGBモデルよりも約72%小さくなりました。
• 信頼性： このモデルは単に数値を推測するだけでなく、起こりうる値の範囲（不確実性）も提示しました。MHA-PNNの推測ははるかにタイトで信頼性が高く、その「信頼区間（可能な答えの範囲）」はPXGBモデルよりも約96%狭く、つまり、間違いを犯すことなく、より確実に答えを導き出していました。
• 「欠落」の問題： 彼らはまた、重要な発見をしました。もし手がかり（データのピース）が数個（4つ未満）しかない場合、最高のモデルであっても苦戦するということです。それは、たった一つのシーンだけで映画のプロットを推測しようとするようなものです。しかし、十分な手がかりがあれば、MHA-PNNモデルは輝きを放ちました。

ここでひねりがあります。MICEは、データの統計的な形状を保持すること（埋められたパズルを最も本物らしく見せること）において明確な勝者でしたが、最終的な予測において完璧なパートナーではありませんでした。驚くべきことに、MHA-PNNモデルは、MN補完法と組み合わされた時に絶対的な最高性能を発揮しました。研究者たちは、MNがMICEほど完璧にデータの分布を保持していなかったとしても、この特定のアドバンスドなモデルにとっては、MNが最高の「トレードオフ」を提供したことを発見しました。つまり、MNはデータの分布をMICEほど完璧に再現しませんでしたが、MHA-PNNが予測を構築するための最も正確な基礎を提供したのです。したがって、「最良」の組み合わせとは、単一の最高の補完法や単一の最高のモデルを選ぶことではなく、高度な「スーパー・アテンション」モデルが最高の仕事ができる特定のペアリングを見つけることでした。

なぜこれが重要なのか

この研究は、データが不完全で乱雑であっても、より安全で信頼性の高い土壌強度予測モデルを構築できる可能性を示唆しています。これらの高度な「アテンション」技術を使用し、適切なデータ補完のパートナーを見つけることで、エンジニアは土壌を隅々までテストすることなく、基礎、トンネル、斜面の建設に関するより良い意思決定を行えるようになるかもしれません。ただし、著者らは、これは現実世界のテストに取って代わる魔法の杖ではないという点に注意を促しています。これは、特にデータが乏しい場合の「優れた第一歩の推測」を得るための強力なツールですが、最も重要なプロジェクトにおいては、やはり自ら地面を確認する必要があります。

要約すると、この論文は、コンピュータに正しい手がかりに注意を払うよう教え、たとえその補完方法が統計的に完璧ではなくとも知的に空白を埋めることで、乱雑で不完全なパズルを、私たちの足の下にある地面の鮮明なイメージへと変えることができることを示しています。