Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

Beton is het meest gebruikte bouwmateriaal op aarde, maar de productie ervan is een belangrijke bron van wereldwijde koolstofemissies. Om het groener te maken, mengen ingenieurs er vaak supplementaire materialen bij, zoals vliegas, silica fume of zelfs landbouwafval zoals rijstkaf-as. Deze additieven vervangen een deel van het cement, waardoor de CO2-voetafdruk wordt verlaagd terwijl ze vaak het vermogen van beton verbeteren om chemische aanvallen te weerstaan. Een van de meest schadelijke bedreigingen voor betonconstructies is sulfaatattak, wat optreedt wanneer sulfaationen uit bodem, grondwater of zeewater in het materiaal binnendringen. Deze ionen reageren met het cement, waardoor kristallen ontstaan die het beton van binnenuit doen uitzetten en barsten, wat uiteindelijk leidt tot verbrijzeling. Het voorspellen hoe lang een specifieke betonmengsel zal standhouden in dergelijke barre omstandigheden is essentieel voor de veiligheid en duurzaamheid, maar traditionele testmethoden zijn traag en kunnen soms jaren duren voordat ze resultaten opleveren.

In de afgelopen jaren hebben wetenschappers zich tot machine learning gewend om deze voorspellingen te versnellen. Door computeralgoritmen te voeden met gegevens uit honderden eerdere experimenten, hopen onderzoekers modellen te creëren die instantaan kunnen schatten hoe sterk een nieuw betonmengsel zal zijn na blootstelling aan sulfaten. Deze modellen zijn geprezen om hun hoge nauwkeurigheid, waarbij ze vaak beweren de uitkomsten met bijna perfecte precisie te kunnen voorspellen. Echter, een nieuw onderzoek suggereert dat deze gevierde nauwkeurigheid een illusie zou kunnen zijn. De studie onthult dat de modellen niet daadwerkelijk de complexe chemie van beton leren begrijpen; in plaats daarvan memoriseren ze simpelweg de specifieke laboratoria die de gegevens hebben geproduceerd. Wanneer ze worden getest op werkelijk nieuwe situaties, falen deze modellen volledig, wat ernstige vragen oproept over hoe we de betrouwbaarheid van kunstmatige intelligentie in de techniek evalueren.

De onderzoekers achter deze studie zetten zich scharpe focus op een dataset die is samengesteld uit drie afzonderlijke, door peers beoordeelde wetenschappelijke artikelen. Deze artikelen bevatten metingen van de druksterkte — de kracht die nodig is om een monster te verbrijzelen — voor mortelmengsels met verschillende supplementaire materialen. De gegevens besloegen verschillende soorten additieven, variërende vervangingsniveaus en blootstelling aan sulfaatoplossingen over perioden variërend van enkele dagen tot meer dan een jaar. In totaal verzamelden zij 94 afzonderlijke observaties. Ze trainden een standaard machine learning-model op deze gecombineerde data, gebruikmakend van een techniek genaamd 'random splitting', wat de industriestandaard is. In deze methode husselt de computer alle datapunten door elkaar en houdt 20 procent van de data apart om het model te testen, terwijl de resterende 80 procent wordt gebruikt voor de training. Omdat de gegevens afkomstig waren van verschillende studies, zorgde deze willekeurige husseling ervoor dat zowel de trainingsset als de testset monsters bevatte van alle drie de oorspronkelijke bronnen.

Toen de onderzoekers het model evalueerden met deze standaard random methode, waren de resultaten spectaculair. Het model behaalde een score die aangaf dat het bijna 97 procent van de variatie in de data kon verklaren. Dit niveau van prestatie is exact wat de wetenschappelijke literatuur rapporteert, en het suggereert dat het model de relatie tussen de beton ingrediënten en hun duurzaamheid onder de knie heeft gekregen. Het leek erop dat het model had geleerd dat bepaalde additieven, zoals silica fume, over het algemeen leiden tot sterker beton, terwijl andere het juist kunnen verzwakken. Het leek succesvol de regels te hebben ontcijferd die bepalen hoe beton zich gedraagt onder chemische aantasting.

De onderzoekers vermoedden echter dat deze hoge score misleidend was. Ze wisten dat elk van de drie bronstudies zijn eigen unieke set omstandigheden had gebruikt: verschillende soorten cement, verschillende mengprocedures, verschillende uithardingsomgevingen en, cruciaal, verschillende concentraties sulfaatoplossingen. In de echte wereld zou een model dat getraind is op data van één set omstandigheden in staat moeten zijn om de uitkomst van een volledig nieuwe set omstandigheden te voorspellen. Om dit te testen, veranderden de onderzoekers hun validatiemethode. In plaats van individuele datapunten willekeurig te husselen, besloten ze volledige studies achter te houden. Ze trainden het model op twee van de studies en vroegen het vervolgens om de resultaten van de derde studie te voorspellen, die het nog nooit eerder had gezien. Ze herhaalden dit proces drie keer, waarbij ze telkens een andere studie achterlieten.

De resultaten van deze strengere test waren een totale instorting. Wanneer het model probeerde de sterkte van beton uit een studie te voorspellen waarvoor het niet getraind was, stortte de prestatie volledig in. In plaats van een hoge score produceerde het model negatieve scores, een wiskundige indicatie dat het slechter presteerde dan simpelweg het gemiddelde van de trainingssterkte raden. In één specifiek geval probeerde het model de sterkte van beton te voorspellen die gemeten werd tussen 6 en 21 megapascal, maar maakte het fouten zo groot als 42 megapascal. Dit betekent dat het model waarden voorspelde die meer dan het dubbele van de werkelijke sterkte van het materiaal waren, of zelfs een negatieve sterkte voorspelde, wat fysiek onmogelijk is. Het model had de fysica van beton niet geleerd; het had geleerd de "vingerafdruk" te herkennen van het specifieke laboratorium dat de gegevens had gegenereerd.

Het onderzoek ging dieper om te begrijpen waarom dit gebeurde. De onderzoekers braken de totale variatie in de data af en ontdekten dat 96 procent van de verschillen in sterkte voortkwam uit de verschillen tussen de studies zelf, en niet uit de verschillen in de materialen binnen een enkele studie. De ene studie gebruikte een specifiek type cement en een lage sulfaatconcentratie, wat resulteerde in zeer zwak beton. Een andere studie gebruikte een ander cement en een hogere concentratie, wat resulteerde in zeer sterk beton. Omdat het model deze duidelijke patronen herhaaldelijk zag, leerde het de specifieke combinatie van ingrediënten in een studie te associëren met het algemene sterkteniveau van die studie. Het leerde in feite te zeggen: "Als deze data eruitziet alsof het van Studie A komt, dan zal de sterkte laag zijn," in plaats van "Als dit beton silica fume bevat, zal het sterk zijn."

Deze verwarring werd verergerd door het feit dat de specifieke additieven die werden getest vaak uniek waren voor een enkele studie. Tien van de elf soorten supplementaire materialen kwamen slechts in één van de drie papers voor. Bijgevolg kon het model niet onderscheiden of een verandering in sterkte werd veroorzaakt door het materiaal of door de studie waar het deel van uitmaakte. Zelfs voor het ene materiaal dat in twee studies voorkwam, verschilde de gemiddelde sterkte aanzienlijk tussen hen, omdat de onderliggende condities, zoals het type gebruikte sulfaatzout, anders waren. De hoge nauwkeurigheid van het model in de willekeurige test was een artefact van de datastructuur, en geen reflectie van werkelijke voorspellende kracht. Het was een statistische fata morgana, gecreëerd door de manier waarop de gegevens gegroepeerd en getest waren.

De bevindingen hebben diepgaande implicaties voor de toepassing van machine learning in de materiaalkunde. De studie toont aan dat wanneer data uit meerdere bronnen wordt samengesteld, de standaardmethode van het willekeurig splitsen van data in trainings- en testsets onvoldoende is. Het staat een model toe om te vertrouwen op bronspecifieke patronen in plaats van de onderliggende wetenschap te leren. Om echt te weten of een model nuttig is, moet het worden getest op data van geheel nieuwe bronnen, een methode die bekend staat als 'leave-one-source-out' validatie. Bovendien moeten onderzoekers rapporteren hoeveel van de variatie in hun data voortkomt uit verschillen tussen studies versus verschillen binnen de studies zelf. Als het overgrote deel van de variatie wordt veroorzaakt door de studies zelf, zoals in dit geval, dan zegt een hoge nauwkeurigheidsscore niets over het vermogen van het model om de werkelijke duurzaamheid te voorspellen.

Uiteindelijk dient dit onderzoek als een noodzakelijke correctie op een vakgebied dat te snel is gaan bewegen. Het suggereert niet dat machine learning ingenieurs niet kan helpen bij het ontwerpen van beter beton, maar het dringt erop dat we eerlijk moeten zijn over wat onze modellen daadwerkelijk doen. Een model dat op papier perfect lijkt, maar faalt wanneer het geconfronteerd wordt met een nieuw laboratorium, is geen instrument voor ontdekking; het is een reflectie van de beperkingen van de data. Om het vakgebied vooruit te helpen, moet de gemeenschap striktere teststandaarden adopteren die eisen dat modellen bewijzen dat ze kunnen generaliseren buiten de specifieke experimenten waarop ze getraind zijn. Alleen dan kunnen we deze digitale hulpmiddelen vertrouwen om te helpen bij het bouwen van een duurzamere en robuustere toekomst.