🤖 machine learning

Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

Deze studie stelt een robuust probabilistisch indirect model voor voor het voorspellen van de ongedraineerde afschuifweerstand door meerdere imputatietechnieken te integreren om ontbrekende gegevens te verwerken met een multi-head attention-verbeterd neuraal netwerk, waarmee een superieure nauwkeurigheid en onzekerheidskwantificering wordt aangetoond in vergelijking met conventionele methoden.

Oorspronkelijke auteurs: Haibin Xiong, Shaoheng Dai, Peng Lan, Xuzhen He, Chenxi Tong, Sheng Zhang, Daichao Sheng

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haibin Xiong, Shaoheng Dai, Peng Lan, Xuzhen He, Chenxi Tong, Sheng Zhang, Daichao Sheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wolkenkrabber probeert te bouwen op een stuk grond dat je nog nooit eerder hebt gezien. Je kunt niet gewoon gokken; je moet weten hoe sterk de bodem is, anders kan het hele gebouw wegzakken of verschuiven. Dit is de taak van geotechnisch ingenieurs, die de "ongedraineerde afschuifweerstand" van de bodem bestuderen—in feite, hoeveel kracht de aarde kan weerstaan voordat deze wegglijdt wanneer er water in gevangen zit. Het is een beetje alsof je probeert uit te zoeken hoeveel gewicht een natte spons kan dragen voordat hij platgedrukt wordt. Het probleem is dat het verzamelen van deze informatie rommelig is. Soms kun je de grond niet direct testen omdat het te diep of te duur is, dus moeten ingenieurs gokken op basis van andere aanwijzingen, zoals de plakkerigheid van de grond of hoe een kegel erdoorheen dringt. Maar deze gokken zitten vaak vol gaten, letterlijk en figuurlijk. De data ontbreken, de cijfers variëren enorm van de ene plek naar de andere, en de oude manieren van gokken zijn vaak te onzeker om veilig te zijn.

Dit artikel is als een team van detectives die probeert de zaak van de vermiste bodemdata op te lossen. Ze pakten een enorme, wereldwijde "vermissing persons"-file voor kleigrond genaamd de CLAY/10/7410 database. Deze file bevat informatie uit 30 verschillende landen, maar het is een ramp: slechts ongeveer 34% van de informatie is daadwerkelijk aanwezig. De rest is leeg, als een puzzel waarvan de meeste stukjes eruit zijn gerukt. De onderzoekers wilden zien of ze geavanceerde computertrucs konden gebruiken om die gaten op te vullen en vervolgens die ingevulde puzzels kon gebruiken om de bodemsterkte nauwkeuriger dan ooit tevoren te voorspellen. Ze testten drie verschillende manieren om de ontbrekende stukjes te raden en bouwden twee nieuwe soorten "super-voorspellers" om te zien welke combinatie het beste werkte.

De Grote Zoektocht naar de Ontbrekende Stukjes

Het team begon door naar hun gigantische database te kijken, die 7.490 rijen aan gegevens over klei bevatte. Maar hier is de crux: de meeste rijen waren incompleet. Sommige kolommen, zoals de "Atterberg-grenzen" (die meten hoe plakkerig en plastisch de klei is), misten ongeveer 40% van de tijd gegevens. Maar de kolommen over "CPTU"-metingen (die komen van een kegel die in de grond wordt geduwd) misten meer dan 90% van de tijd gegevens! Het was alsof je een misdaad probeert op te lossen waarbij de getuige 90% van wat hij zag is vergeten.

Eerst probeerden ze een eenvoudige, ouderwetse methode genaamd het Multivariate Normal (MN) model. Denk hierbij aan een leraar die weet dat leerlingen die goed zijn in wiskunde meestal ook goed zijn in natuurkunde. Als een leerling een cijfer voor natuurkunde mist, raadt de leraar dit op basis van het wiskundecijfer. De onderzoekers gebruikten deze logica om de ontbrekende bodemgegevens in te vullen. Ze ontdekten dat hoewel deze methode de algemene "vorm" van de data correct hield, het de uiteindelijke voorspellingen op zichzelf niet veel beter maakte. Het was alsoك een puzzel invullen met stukjes die er wel goed uitzagen, maar niet helemaal in het plaatje pasten.

Vervolgens probeerden ze twee meer geavanceerde methoden: MICE en Miss Forest (MF).

MICE is als een groep detectives die om de beurt proberen de ontbrekende informatie te raden. Eén detective raadt een waarde op basis van de aanwijzingen, dan gebruikt de volgende detective die gok om zijn eigen gok te maken, en ze gaan zo heen en weer totdat ze het allemaal eens zijn.
Miss Forest is als een team van superintelligente AI-detectives die een "bos" van beslissingsbomen gebruiken om de ontbrekende stukjes te achterhalen. Ze kijken naar complexe patronen die eenvoudige wiskunde misschien mist.

Toen ze deze methoden vergeleken, ontdekten ze dat MICE het beste was in het behouden van de data zoals de originele, echte bodem. Het creëerde geen vreemde uitschieters of valse patronen en was het meest trouw aan de oorspronkelijke statistische verdeling. Miss Forest was oké, maar werd soms een beetje te creatief met haar gokken. De eenvoudige MN-methode was het minst accuraat in het behouden van de ware aard van de data, en produceerde vaak resultaten die "overmatig geconcentreerd" waren in vergelaling tot de originele, rommelige realiteit.

De Super-Voorspellers

Zodega ze hun "ingevulde" databases hadden, bouwden de onderzoekers twee nieuwe soorten voorspellingsmodellen om te zien of ze de bodemsterkte beter konden raden dan de oude manieren.

De PXGB (Probabilistic Extreme Gradient Boosting): Stel je een team van 100 experts voor die stemmen op het antwoord. Als één expert het fout heeft, corrigeren de anderen hem. Dit model is erg goed in het omgaan met rommelige data, maar het is nog steeds gewoon een standaard "stemmachine".
De MHA-PNN (Multi-Head Attention Probabilistic Neural Network): Dit is de ster van de show. Denk aan dit model als een detective met een superkracht: Attention (Aandacht). Net zoals jij je op een specifiek detail in een drukke kamer kunt concentreren terwijl je de ruis negeert, heeft dit model "koppen" die zich kunnen concentreren op de belangrijkste aanwijzingen in de bodemdata en de nutteloze informatie negeren. Het kijkt niet alleen naar de data; het begrijpt de relaties tussen de verschillende aanwijzingen.

De Grote Onthulling

De resultaten waren duidelijk. Toen de onderzoekers deze modellen testten, verpletterde het MHA-PNN-model de concurrentie, maar de keuze van hoe de ontbrekende data werd ingevuld, maakte op een specifieke manier uit.

Nauwkeurigheid: Het MHA-PNN-model maakte fouten die ongeveer 72% kleiner waren dan die van het PXGB-model wanneer de best ingevulde data werd gebruikt.
Zekerheid: Het gaf niet alleen een getal; het gaf een reeks waarschijnlijke waarden (onzekerheid). De gokken van het MHA-PNN-model waren veel nauwer en betrouwbaarder. Het "betrouwbaarheidsinterval" (de reeks mogelijke antwoorden) was ongeveer 96% smaller dan dat van het PXGB-model, wat betekent dat het veel zekerder van zijn zaak was zonder het fout te hebben.
Het "Ontbrekende" Probleem: Ze ontdekten ook iets belangrijks: als je slechts een paar aanwijzingen hebt (minder dan vier stukken data), heeft zelfs het beste model het moeilijk. Het is als proberen de plot van een film te raden met slechts één scène. Maar zodra ze genoeg aanwijzingen hadden, blonk het MHA-PNN-model uit.

Hier komt de twist: Hoewel MICE de duidelijke winnaar was in het behouden van de statistische vorm van de data (waardoor het ingevulde puzzeltje het meest op de echte situatie leek), was het geen de perfecte partner voor de uiteindelijke voorspelling. Verrassend genoeg behaalde het MHA-PNN-model zijn absolute beste prestaties wanneer het werd gekoppeld aan de MN-imputatiemethode. De onderzoekers ontdekten dat MN de beste afweging bood voor dit specifieke geavanceerde model. Hoewel MN de datadistributie niet zo perfect bewaarde als MICE, bood het het meest nauwkeurige fundament waarop het MHA-PNN-model zijn voorspellingen kon bouwen. Dus de "beste" combinatie ging niet over het kiezen van de enkelvoudig beste imputer of de enkelvoudig beste model, maar over het vinden van de specifieke koppeling waar de geavanceerde "super-attention"-model zijn beste werk kon doen.

Waarom dit ertoe doet

Dit onderzoek suggereert dat we veel veiligere en betrouwbaardere modellen kunnen bouwen voor het voorspellen van bodemsterkte, zelfs wanneer onze data incompleet en rommelig zijn. Door deze geavanceerde "attention"-technieken te gebruiken en de juiste partner te vinden voor het invullen van de gaten, kunnen ingenieurs betere beslissingen nemen bij het bouwen van funderingen, tunnels en hellingen zonder dat ze elke vierkante centimeter van de grond hoeven te testen. De auteurs waarschuwen echter dat dit geen toverstaf is die echte wereldtesten vervangt. Het is een krachtig hulpmiddel om een goede eerste schatting te krijgen, vooral wanneer data schaars zijn, maar voor de meest kritieke projecten moet je de grond nog steeds zelf controleren.

Kortom, het artikel laat zien dat door computers te leren om aandacht te besteden aan de juiste aanwijzingen en door de gaten intelligent in te vullen—zelfs als de invulmethode op zichzelf statistisch niet perfect is—we een rommelige, onvolledige puzzel kunnen veranderen in een helder beeld van de grond onder onze voeten.

Technische Samenvatting: Probabilistische Indirecte Modellen voor Ongedraineerde Afschuifsterkte

Probleemstelling
Nauwkeurige voorspelling van de ongedraineerde afschuifsterkte ( $s_u$ ) is fundamenteel voor de geotechnische ontwerpraktijk, met name voor transiënte belastingsscenario's zoals seismische gebeurtenissen, tunnelbouw en hellingstabiliteit. Traditionele empirische methoden worden echter gehinderd door aanzienlijke onzekerheden, waaronder inherente bodemvariabiliteit, statistische onzekerheid door beperkte gegevens, meetfouten en transformatieonzekerheden. Datagestuurde indirecte modellen bieden een computationeel efficiënt alternatief voor Bayesiaanse Markov Chain Monte Carlo (MCMC)-methoden, maar de ontwikkeling ervan wordt vaak beperkt door een tekort aan locatiegebonden gegevens. Bovendien lijden bestaande wereldwijde databases, zoals de CLAY/10/7490-database (bevat 7.490 rijen uit 251 studies), aan een hoog percentage ontbrekende gegevens (voltooiingspercentage ~34,1%) en substantiële variabiliteit. De uitdaging ligt in het effectief benutten van deze incomplete, hoog variabele datasets om robuuste probabilistische modellen te bouwen zonder waardevolle informatie weg te gooien of bias te introduceren door eenvoudige gegevensverwerking.

Methodologie
De studie stelt een geïntegreerd kader voor dat gegevensonvolledigheid en modelonzekerheid aanpakt via een driefasenbenadering:

Strategieën voor Gegevensimputatie:
De auteurs evalueren drie verschillende imputatiemethoden om ontbrekende waarden in de CLAY/10/7490-database aan te pakken (specifiek voor Atterberg-grenzen en CPTU-parameters, exclusief de doelvariabele $s_u$ ):

Multivariate Normaal (MN): Een statistische baseline-methode die uitgaat van een multivariate normale verdeling na het transformeren van variabelen met behulp van het Johnson-systeem (specifiek de SU-familie) en specifieke transformatiefuncties (logaritmisch, inverse sigmoid, inverse hyperbolisch).
Multiple Imputation by Chained Equations (MICE): Een statistische benadering die iteratief de ontbrekende waarden van elke variabele modelleert op basis van de eigen distributie, zonder uit te gaan van multivariate normaliteit.
Miss Forest (MF): Een machine learning-gebaseerde benadering die gebruikmaakt van Random Forests om niet-lineaire relaties tussen variabelen te vangen.
De effectiviteit van deze methoden werd eerst beoordeeld door de statistische distributies (histogrammen, Kolmogorov-Smirnov-testen) van de geïmputeerde datasets te vergelijken met de originele gegevens.

Probabilistische Modelleringskaders:
Twee probabilistische indirecte modellen werden ontwikkeld en getraind op de geïmputeerde datasets (en de originele incomplete dataset voor vergelijking):

Probabilistic Extreme Gradient Boosting (PXGB): Een uitbreiding van XGBoost die ervan uitgaat dat de doelvariabele een normale verdeling volgt. Het gebruikt Negative Log-Likelihood (NLL) als verliesfunctie om onzekerheidskwantificatie mogelijk te maken.
Multi-Head Attention-gebaseerd Probabilistisch Neuraal Netwerk (MHA-PNN): Een nieuwe architectuur die een Multi-Head Attention (MHA)-mechanisme integreert in een standaard kunstmatig neuraal netwerk (ANN). De MHA-laag stelt het model in staat om zich te concentreren op relevante inputfeatures en informatie vanuit meerdere perspectieven te extraheren, wat de uitdaging van beperkte inputgegevens aanpakt. De outputlaag voorspelt het gemiddelde en de standaarddeviatie van de doelverdeling, eveneens geoptimaliseerd via NLL.

Evaluatieprotocol:
De modellen werden geëvalueerd met behulp van gestratificeerde 5-voudige kruisvalidatie. Prestaties werden gemeten met behulp van:

Nauwkeurigheidsmetrieken: Root Mean Square Error (RMSE), Coëfficiënt van Determinatie ( $R^2$ ) en Mean Absolute Percentage Error (MAPE).
Onzekerheidsmetrieken: Conditional Interval Width ( $w_{CI}$ ) en Coverage Rate (CR) voor 95% betrouwbaarheidsintervallen.
De studie sloot specifiek gevallen uit met drie of minder inputfeatures, aangezien een voorlopige analyse uitwees dat deze ongeacht de methode onbetrouwbare voorspellingen opleverden.

Belangrijkste Bijdragen

Systematische Vergelijking van Imputatie: Het artikel biedt een vergelijkende analyse van MN, MICE en MF imputatietechnieken op een grootschalige, zeer incomplete geotechnische database. Het toont aan dat hoewel MICE de beste oorspronkelijke gegevensverdeling behoudt (laagste K-S teststatistieken), de keuze van de imputatiemethode de downstream modelprestaties aanzienlijk beïnvloedt.
Nieuwe MHA-PNN Architectuur: De auteurs introduceren het MHA-PNN-model, dat gebruikmaakt van attention-mechanismen om de feature-extractie uit schaarse en incomplete geotechnische gegevens te verbeteren.
Integratie van Probabilistisch Kader: De studie gaat verder dan punt-schattingen door modellen te ontwikkelen die volledige waarschijnlijkheidsverdelingen outputten, waarbij onzekerheid expliciet naast voorspellingen wordt gekwantificeerd.
Benchmarking: Het werk vestigt een rigoureuze benchmark die traditionele statistische voorspelling (gebaseerd op MN), ensemble learning (PXGB) en deep learning (MHA-PNN) vergelijkt onder variërende omstandigheden van gegevensvolledigheid.

Resultaten

Impact van Imputatie: Imputatie verbeterde de modelprestaties over het algemeen vergeleken met trainen op de originele incomplete data. De MICE-methode leverde de meest statistisch consistente geïmputeerde datasets op (laagste K-S teststatistieken), terwijl de MF-methode enkele uitschieters introduceerde.
Modelprestaties:
- Het PXGB-model vertoonde een significante verbetering wanneer het werd getraind op geïmputeerde data (bijv. de MICE-dataset) vergeleken met de originele data, met een reductie van de MAPE met ~42% en de RMSE met ~35%.
- Het MHA-PNN-model presteerde consequent beter dan zowel het PXGB- als de traditionele MN-gebaseerde voorspellingsmodellen over alle datasets heen.
- Specifiek behaalde het MHA-PNN getraind op de MN-geimputeerde dataset de beste algemene resultaten: een MAPE van 0,34, een RMSE van 0,37 en een $R^2$ van 0,55. Dit vertegenwoordigde een reductie van ~72% in MAPE en een ~53% reductie in RMSE vergeleken met het PXGB-model op dezelfde dataset.
- Wat betreft onzekerheidskwantificatie produceerde het MHA-PNN-model aanzienlijk smallere betrouwbaarheidsintervallen ( $w_{CI} \approx 1,03$ ) terwijl het hoge coverage rates (CR $\approx$ 0,94) behield, wat wijst op goed gekalibreerde onzekerheidsschattingen.
Feature-afhankelijkheid: De studie bevestigde dat voorspellingsnauwkeurigheid zeer gevoelig is voor het aantal beschikbare inputfeatures. Modellen presteerden slecht wanneer er minder dan vier features beschikbaar waren, wat de noodzaak van informatieve inputs (met name CPTU-parameters) voor een betrouwbare $s_u$ -schatting onderstreept.

Betekenis en Claims
De auteurs beweren dat de voorgestelde geïntegreerde strategie — de combinatie van geavanceerde imputatie met de MHA-PNN-architectuur — een robuuste oplossing biedt voor het bouwen van probabilistische indirecte modellen in de geotechnische techniek, met name bij het werken met schaarse en incomplete datasets. De bevindingen suggereren dat deze aanpak conventionele empirische correlaties en standaard machine learning-modellen aanzienlijk overtreft in zowel voorspellingsnauwkeurigheid als onzekerheidskwantificatie.

De auteurs behouden echter een bescheiden standpunt met betrekking tot de praktische toepassing van deze modellen. Zij stellen expliciet dat de wereldwijde database bedoeld is voor "eerste-orde schattingen" en dat de modeloutputs moeten worden behanden als "voorlopige begeleiding". Zij benadrukken dat het model geen vervanging is voor locatiegebonden voorspellingen en dat ingenieurs deze resultaten moeten aanvullen met lokale tests, vooral voor geologisch onderscheidende of gevoelige condities (bijv. gestructureerde of zachte klei). De studie concludeert dat hoewel het MHA-PNN-kader complexe interacties tussen features effectief vastlegt en de betrouwbaarheid onder gegevensarme omstandigheden verbetert, locatiegebonden onderzoek essentieel blijft voor betrouwbare besluitvorming.

De Grote Zoektocht naar de Ontbrekende Stukjes

De Super-Voorspellers

De Grote Onthulling

Waarom dit ertoe doet

Meer zoals dit