Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

Stellen Sie sich vor, Sie müssten einen Wolkenkratzer auf einem Stück Boden bauen, den Sie noch nie zuvor gesehen haben. Sie können nicht einfach raten; Sie müssen wissen, wie stark der Boden ist, sonst könnte das ganze Gebäude einsinken oder abrutschen. Das ist die Aufgabe von Geotechnikern, die die „undrainierte Scherfestigkeit“ von Boden untersuchen – im Grunde, wie viel Kraft der Dreck verträgt, bevor er rutscht, wenn Wasser darin eingeschlossen ist. Es ist ein wenig so, als würde man versuchen herauszufinden, wie viel Gewicht ein nasser Schwamm halten kann, bevor er flach zusammengedrückt wird. Das Problem ist, dass das Einholen dieser Informationen unordentlich ist. Manchmal kann man den Boden nicht direkt testen, weil er zu tief liegt oder zu teuer ist, also müssen Ingenieure basierend auf anderen Hinweisen raten, wie etwa der Klebrigkeit des Bodens oder wie ein Konus ihn durchdringt. Aber diese Schätzungen sind oft voller Lücken, sowohl im wörtlichen als auch im übertragenen Sinne. Die Daten fehlen, die Zahlen variieren von einem Ort zum anderen massiv, und die alten Wege des Ratens sind oft einfach zu unsicher, um sicher zu sein.

Dieser Artikel ist wie ein Team von Detektiven, die versucht, den Fall der vermissten Bodendaten zu lösen. Sie haben eine riesige, globale „Vermisstenakte“ für Tonboden namens CLAY/10/7490 Datenbank erbeutet. Diese Datei enthält Informationen aus 30 verschiedenen Ländern, aber sie ist ein Desaster: Nur etwa 34 % der Informationen sind tatsächlich vorhanden. Der Rest ist leer, wie ein Puzzle, bei dem die meisten Teile herausgerissen wurden. Die Forscher wollten sehen, ob sie fortgeschrittene Computer-Tricks nutzen können, um diese Lücken zu füllen und dann diese ausgefüllten Puzzles zu nutzen, um die Bodenfestigkeit jemals genauer vorherzusagen als je zuvor. Sie testeten drei verschiedene Wege, um die fehlenden Teile zu erraten, und entwickelten zwei neue Arten von „Super-Prognosemodellen“, um zu sehen, welche Kombination am besten funktioniert.

Die große Suche nach den fehlenden Teilen

Das Team begann mit der Untersuchung ihrer riesigen Datenbank, die 7.490 Zeilen an Daten über Ton enthielt. Aber hier ist der Haken: Die meisten Zeilen waren unvollständig. Einige Spalten, wie die „Atterberg-Grenzen“ (die messen, wie klebrig und plastisch der Ton ist), waren nur etwa 40 % der Zeit unvollständig. Aber die Spalten über „CPTU“-Messungen (die stammen, wenn man einen Konus in den Boden drückt) waren über 90 % der Zeit unvollständig! Es war, als versuche man, ein Verbrechen zu lösen, bei dem der Zeuge 90 % dessen vergessen hat, was er gesehen hat.

Zuerst probierten sie eine einfache, altmodische Methode namens Multivariate Normal (MN) Modell. Denken Sie an dies wie einen Lehrer, der weiß, dass Schüler, die gut in Mathe sind, meistens auch gut in Naturwissenschaften sind. Wenn einem Schüler eine Note in Naturwissenschaften fehlt, rät der Lehrer basierend auf seiner Mathe-Note. Die Forscher nutzten diese Logik, um die fehlenden Bodendaten aufzufüllen. Sie fanden heraus, dass diese Methode zwar die allgemeine „Form“ der Daten korrekt beibehielt, aber allein die endgültigen Vorhersagen nicht wesentlich besser machte. Es war, als würde man das Puzzle mit Teilen füllen, die zwar richtig aussah, aber nicht ganz ins Bild passte.

Als Nächstes probierten sie zwei anspruchsvollere Methoden aus: MICE und Miss Forest (MF).

• MICE ist wie eine Gruppe von Detektiven, die sich abwechseln, um die fehlenden Informationen zu erraten. Ein Detektiv rät einen Wert basierend auf den Hinweisen, dann nutzt der nächste Detektiv diesen Tipp, um seinen eigenen zu machen, und sie gehen immer wieder hin und her, bis sie sich alle einig sind.
• Miss Forest ist wie ein Team von superintelligenten KI-Detektiven, die einen „Wald“ aus Entscheidungsbäumen nutzen, um die fehlenden Teile zu finden. Sie suchen nach komplexen Mustern, die eine einfache Mathematik vielleicht übersehen würde.

Als sie diese Methoden verglichen, fanden sie heraus, dass MsICE am besten darin war, die Daten so aussehen zu lassen wie den ursprünglichen, realen Boden. Es erzeugte keine seltsamen Ausreißer oder künstlichen Muster und war dem ursprünglichen statistischen Verteilung am treuesten. Miss Forest war okay, aber es wurde manchmal ein bisschen zu kreativ mit seinen Tipps. Die einfache MN-Methode war am wenigsten genau darin, die wahre Natur der Daten zu bewahren, und produzierte oft Ergebnisse, die im Vergleich zur ursprünglichen, chaotischen Realität „übermäßig konzentriert“ waren.

Die Super-Prognosemodelle

Sobach sie ihre „ausgefüllten“ Datenbanken hatten, bauten die Forscher zwei neue Arten von Vorhersagemodellen, um zu sehen, ob sie die Bodenfestigkeit besser erraten können als die alten Wege.

1. Das PXGB (Probabilistic Extreme Gradient Boosting): Stellen Sie sich ein Team von 100 Experten vor, die über die Antwort abstimmen. Wenn ein Experte falsch liegt, korrigieren die anderen ihn. Dieses Modell ist großartig darin, mit unordentlichen Daten umzugehen, ist aber immer noch nur eine standardmäßige „Abstimmungsmaschine“.
2. Das MHA-PNN (Multi-Head Attention Probabilistic Neural Network): Dies ist der Star der Show. Denken Sie an dieses Modell als einen Detektiv mit einer Superkraft: Attention (Aufmerksamkeit). Genau wie Sie sich auf ein bestimmtes Detail in einem überfüllten Raum konzentrieren können, während Sie den Lärm ignorieren, hat dieses Modell „Köpfe“, die sich auf die wichtigsten Hinweise in den Bodendaten konzentrieren und die nutzlosen ignorieren können. Es schaut nicht nur auf die Daten; es versteht die Beziehungen zwischen den verschiedenen Hinweisen.

Die große Enthüllung

Die Ergebnisse waren eindeutig. Als die Forscher diese Modelle testeten, zertrümmerte das MHA-PNN-Modell die Konkurrenz, aber die Wahl, wie die fehlenden Daten aufgefüllt wurden, spielte eine spezifische Rolle.

• Genauigkeit: Das MHA-PNN-Modell machte Fehler, die etwa 72 % kleiner waren als beim PXGB-Modell, wenn die am besten aufgefüllten Daten verwendet wurden.
• Vertrauen: Es rät nicht nur die Zahl; es gibt einen Bereich wahrscheinlicher Werte an (Unsicherheit). Die Vorhersagen des MHA-PNN-Modells waren viel enger gefasst und zuverlässiger. Sein „Konfidenzintervall“ (der Bereich möglicher Antworten) war etwa 96 % schmaler als das des PXGB-Modells, was bedeutet, dass es sich seiner Antwort viel sicherer war, ohne falsch zu liegen.
• Das „Fehlende“-Problem: Sie entdeckten auch etwas Wichtiges: Wenn man nur wenige Hinweise hat (weniger als vier Datenteile), hat selbst das beste Modell Schwierigkeiten. Es ist wie der Versuch, die Handlung eines Films mit nur einer einzigen Szene zu erraten. Aber sobald sie genug Hinweise hatten, glänzte das MHA-PNN-Modell.

Hier ist die Wendung: Während MICE der klare Gewinner darin war, die statistische Form der Daten zu bewahren (das ausgefüllte Puzzle dem echten Ding am ähnlichsten zu machen), war es nicht der perfekte Partner für die endgültige Vorhersage. Überraschenderweise erreichte das MHA-PNN-Modell seine absolut beste Leistung, wenn es mit der MN-Imputationsmethode kombiniert wurde. Die Forscher fanden heraus, dass MN den besten Kompromiss für dieses spezielle fortgeschrittene Modell bot. Obwohl MN die Datenverteilung nicht so perfekt bewahrte wie MICE, bot es das genaueste Fundament, auf dem das MHA-PNN seine Vorhersagen aufbauen konnte. So war die „beste“ Kombination nicht die Wahl des einzelnen besten Imputers oder des einzelnen besten Modells, sondern das Finden der spezifischen Paarung, bei der das fortgeschrittene „Super-Attention“-Modell seine beste Arbeit leisten konnte.

Warum das wichtig ist

Diese Studie legt nahe, dass wir viel sicherere und zuverlässigere Modelle zur Vorhersage der Bodenfestigkeit bauen können, selbst wenn unsere Daten unvollständig und unordentlich sind. Indem wir diese fortgeschrittenen „Attention“-Techniken nutzen und den richtigen Partner zum Auffüllen der Lücken finden, könnten Ingenieure in der Lage sein, bessere Entscheidungen über Fundamente, Tunnel und Hänge zu treffen, ohne jeden einzelnen Zentimeter Boden testen zu müssen. Die Autoren betonen jedoch vorsichtig, dass dies kein Zauberstab ist, der reale Tests ersetzt. Es ist ein mächtiges Werkzeug, um eine gute erste Schätzung zu erhalten, besonders wenn Daten knapp sind, aber für die kritischsten Projekte muss man den Boden immer noch selbst überprüfen.

Kurz gesagt zeigt der Artikel, dass wir, indem wir Computer lehren, auf die richtigen Hinweise zu achten und die Lücken intelligent zu füllen – selbst wenn die Füllmethode für sich genommen statistisch nicht perfekt ist –, ein chaotisches, unvollständiges Puzzle in ein klares Bild des Bodens unter unseren Füßen verwandeln können.