Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

想象一下，试图在一块你从未见过的土地上建造一座摩天大楼。你不能仅仅靠猜测；你需要知道土壤有多强，否则整座建筑可能会下沉或发生滑坡。这就是岩土工程师的工作，他们研究土壤的“不排水抗剪强度”——基本上，就是研究在水分被困在内部时，泥土在滑动前能承受多少力量。这有点像试图弄清楚一块湿海绵在被压扁之前能承载多少重量。问题在于，获取这些信息的过程非常混乱。有时你无法直接测试土壤，因为它们太深或者成本太高，所以工程师必须根据其他线索进行推测，比如土壤的粘性或锥头穿透它的程度。但这些猜测往往漏洞百出，无论是字面意义上还是比喻意义上的。数据是缺失的，数字在不同地点之间差异巨大，而且旧的猜测方法往往由于过于不确定而无法保证安全。

这篇论文就像是一组试图解决“失踪土壤数据案”的侦探团队。他们抓取了一个名为 CLAY/10/7490 的庞大全球“失踪人口”文件，专门针对粘性土。这个文件包含了来自 30 个国家的信息，但它简直是一场灾难：只有大约 34% 的信息是实际存在的。其余部分都是空白，就像一个大部分碎片都被撕掉的拼图。研究人员想看看他们是否可以使用先进的计算机技巧来填补这些空白，并利用这些填补好的拼图，比以往任何时候都更准确地预测土壤强度。他们测试了三种不同的猜测缺失部分的方法，并构建了两种新型的“超级预报员”，以观察哪种组合效果最好。

伟大的缺失碎片搜寻

团队首先查看了他们的巨型数据库，该数据库包含 7,490 行关于粘土的数据。但问题在于：大多数行都是不完整的。有些列，比如“阿特伯格限值”（用于衡量粘土的粘性和塑性），缺失情况约为 40%；但关于“CPTU”测量（源自将锥头推入地面）的列缺失率竟然超过了 90%！这就像是在试图破解一起证人忘记了 90% 所见之物的犯罪案件。

首先，他们尝试了一种简单的、老派的方法，称为**多元正态（MN）**模型。把这想象成一位老师，他知道擅长数学的学生通常也擅长科学。如果一个学生的科学成绩缺失，老师会根据其数学成绩进行推测。研究人员利用这种逻辑来填补缺失的土壤数据。他们发现，虽然这种方法保持了数据的总体“形状”正确，但它本身并没有让最终的预测变得更好。这就像是用看起来正确但并不完全契合画面的碎片来填充拼图。

接下来，他们尝试了两种更复杂的方案：MICE 和 Miss Forest (MF)。

• MICE 就像是一群轮流猜测缺失信息的侦探。一名侦探根据线索猜测一个数值，然后下一名侦探利用这个猜测来进行自己的猜测，他们反复循环，直到大家达成一致。
• Miss Forest 则像是一支由超级智能 AI 侦探组成的团队，他们利用“森林”决策树来找出缺失的部分。他们寻找那些简单数学可能会错过的复杂模式。

当他们比较这些方法时，发现 MICE 最擅长保持数据看起来像原始的、真实的土壤。它不会产生奇怪的离群值或虚假模式，并且最忠实于原始的统计分布。Miss Forest 还算可以，但它有时会表现得过于“有创意”地进行猜测。而简单的 MN 方法在保持数据真实本质方面表现最差，经常产生与原始混乱现实相比显得“过度集中”的结果。

超级预报员

一旦有了这些“填补好”的数据库，研究人员构建了两种新型预测模型，以观察他们能否比传统方法更好地预测土壤强度。

1. PXGB（概率极值梯度提升）： 想象一支由 100 名专家组成的团队对答案进行投票。如果一名专家错了，其他人会纠正他。这个模型擅长处理混乱的数据，但它仍然只是一个标准的“投票”机器。
2. MHA-PNN（多头注意力概率神经网络）： 这是全场的明星。把这个模型想象成一个拥有超能力的侦探：注意力（Attention）。就像你可以专注于拥挤房间中的某个特定细节而忽略噪音一样，这个模型拥有可以专注于土壤数据中最重要线索并忽略无用线索的“头”。它不仅是观察数据，它还理解不同线索之间的关系。

大揭秘

结果显而易见。当研究人员测试这些模型时，MHA-PNN 模型碾压了竞争对手，但如何填补缺失数据的方式起到了特定的作用。

• 准确度： 当使用填补得最好的数据时，MHA-PNN 模型的误差比 PXGB 模型小了约 72%。
• 置信度： 它不仅仅是猜测一个数字，它还给出了一个可能值的范围（不确定性）。MHA-PNN 模型的猜测更加紧凑且可靠。它的“置信区间”（可能答案的范围）比 PXGB 模型窄了约 96%，这意味着它在没有出错的情况下，对自己的答案更有把握。
• “缺失”问题： 他们还发现了一些重要的东西：如果你只有很少的线索（少于四个数据点），即使是最好的模型也会感到吃力。这就像是试图通过只有一个场景来猜出一部电影的剧情。但一旦他们拥有足够的线索，MHA-PNN 模型就大放异彩。

这里有一个转折：虽然 MICE 在保持数据统计形状方面是明显的赢家（让填补后的拼图看起来最像真实情况），但它并不是最终预测的完美搭档。令人惊讶的是，当 MHA-PNN 模型与 MN 插补方法配对时，达到了其绝对最佳的表现。研究人员发现，对于这种特定的高级模型，MN 提供了最佳的权衡。尽管 MN 在完美保留数据分布方面不如 MICE，但它为 MHA-PNN 构建预测提供了最准确的基础。所以，“最佳”组合并不是关于选择单一最好的插补法或单一最好的模型，而是找到那个能让先进的“超级注意力”模型发挥最佳作用的特定配对。

为什么这很重要

这项研究表明，即使我们的数据是不完整且混乱的，我们也可以建立更安全、更可靠的模型来预测土壤强度。通过使用这些先进的“注意力”技术并找到正确的填补伙伴，工程师们或许能够做出更好的决策，从而在建造地基、隧道和斜坡时，无需测试每一寸土壤。然而，作者也谨慎地表示，这并不是一个可以取代现实世界测试的魔杖。它是一个获得一个良好初步判断的强大工具，尤其是在数据稀缺时，但在最关键的项目中，你仍然需要亲自检查地面。

简而言之，这篇论文表明，通过教计算机去关注正确的线索，并智能地填补空白——即使填补方法在统计学上本身并不完美——我们可以将一个混乱、不完整的拼图转化为一幅清晰的脚下大地图景。