Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

Beton ist der am weitesten verbreitete Baustoff der Erde, doch seine Herstellung ist eine bedeutende Quelle globaler Kohlenstoffemissionen. Um ihn grüner zu gestalten, mischen Ingenieure oft ergänzende Materialien wie Flugasche, Silikastaub oder sogar landwirtschaftliche Abfälle wie Reisschalenasche unter. Diese Zusatzstoffe ersetzen einen Teil des Zements, was den CO2-Fußabdruck senkt und gleichzeitig oft die Widerstandsfähigkeit des Betons gegen chemische Angriffe verbessert. Einer der schädlichsten Bedrohungen für Betonstrukturen ist der Sulfatangriff, der auftritt, wenn Sulfat-Ionen aus Boden, Grundwasser oder Meerwasser in das Material einsickern. Diese Ionen reagieren mit dem Zement, bilden Kristalle, die expandieren und den Beton von innen heraus aufreißen, was letztlich dazu führt, dass er zerbröckelt. Die Vorhersage, wie lange eine bestimmte Betonmischung unter solch harten Bedingungen halten wird, ist entscheidend für die Sicherheit und Nachhaltigkeit, aber traditionelle Testmethoden sind langsam und benötigen manchmal Jahre, um Ergebnisse zu liefern.

In den letzten Jahren haben Wissenschaftler versucht, die Geschwindigkeit dieser Vorhersagen mithilfe von maschinellem Lernen zu erhöhen. Indem sie Algorithmen mit Daten aus Hunderten von vergangenen Experimenten füttern, hoffen Forscher, Modelle zu erstellen, die die Festigkeit einer neuen Betonmischung nach der Einwirkung von Sulfaten sofort schätzen können. Diese Modelle wurden für ihre hohe Genauigkeit gefeiert und behaupten oft, Ergebnisse mit nahezu perfekter Präzision vorherzusagen. Eine neue Untersuchung legt jedoch nahe, dass diese gefeierte Genauigkeit eine Illusion sein könnte. Die Studie zeigt, dass die Modelle nicht die komplexe Chemie des Betons lernen, sondern stattdessen einfach die spezifischen Labore auswendig lernen, die die Daten produziert haben. Wenn sie mit wirklich neuen Situationen konfrontiert werden, versagen diese Modelle vollständig, was ernsthafte Fragen darüber aufwirft, wie wir die Zuverlässigkeit künstlicher Intelligenz im Ingenieurwesen bewerten.

Die Forscher hinter dieser Studie untersuchten einen Datensatz, der aus drei separaten, wissenschaftlich begutachteten Fachartikeln zusammengestellt wurde. Diese Artikel enthielten Messungen der Druckfestigkeit – der Kraft, die erforderlich ist, um eine Probe zu zerquetschen – für Mörtelmischungen, die verschiedene Zusatzstoffe enthalten. Die Daten deckten unterschiedliche Arten von Additiven, variierende Austauschraten und die Einwirkung von Sulfatlösungen über Zeiträume von einigen Tagen bis hin zu über einem Jahr ab. Insgesamt sammelte das Team 94 unterschiedliche Beobachtungen. Sie trainierten ein Standardmodell des maschinellen Lernens auf diesen kombinierten Daten unter Verwendung einer Technik namens „Random Splitting“, was der Industriestandard ist. Bei dieser Methode mischt der Computer alle Datenpunkte durch und legt zufällig 20 Prozent für den Test zurück, während die verbleibenden 8 unprozent werden, um das Modell zu trainieren. Da die Daten aus verschiedenen Studien stammten, stellte dieses zufällige Mischen sicher, dass sowohl die Trainings- als auch die Testsets Proben aus allen drei Originalquellen enthielten.

Als die Forscher das Modell mit dieser Standard-Zufallsmethode evaluierten, waren die Ergebnisse spektakulär. Das Modell erreichte einen Wert, der anzeigte, dass es fast 97 Prozent der Variation in den Daten erklären konnte. Dieses Leistungsniveau entspricht genau dem, was in der wissenschaftlichen Literatur berichtet wird, und es deutet darauf hin, dass das Modell die Beziehung zwischen den Betonbestandteilen und ihrer Dauerhaftigkeit gemeistert hat. Es schien, als hätte das Modell gelernt, dass bestimmte Zusätze, wie etwa Silikastaub, im Allgemeinen zu stärkerem Beton führen, während andere ihn schwächen könnten. Es schien die Regeln, die das Verhalten von Beton unter chemischem Angriff regeln, erfolgreich entschlüsselt zu haben.

Die Forscher vermuteten jedoch, dass dieser hohe Wert irreführend war. Sie wussten, dass jede der drei Originalstudien ihr eigenes einzigartiges Set an Bedingungen verwendet hatte: unterschiedliche Arten von Zement, unterschiedliche Mischverfahren, unterschiedliche Aushärtungsumgebungen und entscheidend, unterschiedliche Konzentrationen von Sulfatlösungen. In der realen Welt sollte ein Modell, das mit einem Satz von Bedingungen trainiert wurde, in der Lage sein, das Ergebnis für einen völlig neuen Satz von Bedingungen vorherzusagen. Um dies zu testen, änderten die Forscher ihre Validierungsmethode. Anstatt einzelne Datenpunkte zufällig zu mischen, entschieden sie sich dafür, ganze Studien zurückzuhalten. Sie trainierten das Modell mit zwei der Studien und baten es dann, die Ergebnisse für die dritte Studie vorherzusagen, die es zuvor noch nie gesehen hatte. Sie wiederholten diesen Prozess dreimal, wobei sie jedes Mal eine andere Studie ausließen.

Das Ergebnis dieses strengeren Tests war ein kompletter Zusammenbruch. Als das Modell versuchte, die Festigkeit des Betons aus einer Studie vorherzusagen, mit der es nicht trainiert worden war, brach seine Leistung drastisch ein. Anstatt eines hohen Wertes lieferte das Modell negative Werte – eine mathematische Indikation dafür, dass es schlechter abschnitt als eine einfache Schätzung der durchschnittlichen Festigkeit der Trainingsdaten. In einem spezifischen Fall versuchte das Modell, die Festigkeit eines Betons vorherzusagen, der eine gemessene Festigkeit zwischen 6 und 21 Megapascal aufwies, machte aber Fehler von bis zu 42 Megapascal. Das bedeutet, dass das Modell Werte vorhersagte, die mehr als doppelt so hoch waren wie die tatsächliche Festigkeit des Materials, oder sogar eine negative Festigkeit vorhersagte, was physikalisch unmöglich ist. Das Modell hatte nicht die Physik des Betons gelernt, sondern hatte gelernt, den „Fingerabdruck“ des spezifischen Labors zu erkennen, das die Daten generiert hatte.

Die Untersuchung ging tiefer, um zu verstehen, warum dies geschah. Die Forscher brachen die gesamte Variation in den Daten auf und fanden heraus, dass 96 Prozent der Unterschiede in der Festigkeit aus den Unterschieden zwischen den Studien selbst stammten und nicht aus den Unterschieden der Materialien innerhalb einer einzelnen Studie. Eine Studie verwendete einen spezifischen Zementtyp und eine niedrige Sulfatkonzentration, was zu sehr schwachem Beton führte. Eine andere Studie verwendete einen anderen Zement und eine höhere Konzentration, was zu sehr starkem Beton führte. Da das Modell diese unterschiedlichen Muster wiederholt sah, lernte es, die spezifische Kombination der Inhaltsstoffe in einer Studie mit dem allgemeinen Festigkeitsniveau dieser Studie zu assoziieren. Es lernte im Wesentlichen zu sagen: „Wenn diese Daten so aussehen, als kämen sie aus Studie A, dann wird die Festigkeit niedrig sein“, anstatt zu sagen: „Wenn dieser Beton Silikastaub enthält, wird er stark sein.“

Diese Verwirrung wurde dadurch verschärft, dass die getesteten spezifischen Additive oft einzigartig für eine einzige Studie waren. Zehn der elf Arten von Zusatzstoffen traten nur in einem der drei Paper auf. Folglich konnte das Modell nicht unterscheiden, ob eine Änderung der Festigkeit durch das Material oder durch die jeweilige Studie verursacht wurde. Selbst für das eine Material, das in zwei Studien vorkam, unterschied sich die durchschnittliche Festigkeit signifikant zwischen ihnen, da die zugrunde liegenden Bedingungen, wie die Art des verwendeten Sulfatsalzes, unterschiedlich waren. Die hohe Genauigkeit des Modells im Zufallstest war ein Artefakt der Datenstruktur und kein Spiegelbild echter Vorhersagekraft. Es war eine statistische Mirage, erzeugt durch die Art und Weise, wie die Daten gruppiert und getestet wurden.

Die Erkenntnisse haben tiefgreifende Auswirkungen darauf, wie maschinelles Lernen in der Materialwissenschaft angewendet wird. Die Studie zeigt, dass, wenn Daten aus mehreren Quellen zusammengestellt werden, die Standardmethode des zufälligen Aufteilens von Daten in Trainings- und Testsets unzureichend ist. Sie erlaubt es einem Modell, sich auf studienspezifische Muster zu verlassen, anstatt die zugrunde liegende Wissenschaft zu lernen. Um wirklich zu wissen, ob ein Modell nützlich ist, muss es mit Daten aus völlig neuen Quellen getestet werden, einer Methode, die als „Leave-one-source-out“-Validierung bekannt ist. Darüber hinaus müssen Forscher angeben, wie viel der Variation in ihren Daten auf Unterschiede zwischen den Studien im Vergleich zu Unterschieden innerhalb der Studien zurückzuführen ist. Wenn der Großteil der Variation durch die Studien selbst bedingt ist, wie es hier der Fall war, sagt uns ein hoher Genauigkeitswert nichts über die Fähigkeit des Modells zur Vorhersage der realen Dauerhaftigkeit aus.

Letztlich dient diese Forschung als notwendige Korrektur für ein Feld, das sich zu schnell bewegt hat. Sie legt nicht nahe, dass maschinelles Lernen Ingenieuren nicht helfen kann, besseren Beton zu entwickeln, aber sie besteht darauf, dass wir ehrlich darüber sein müssen, was unsere Modelle tatsächlich tun. Ein Modell, das auf dem Papier perfekt aussieht, aber versagt, wenn es mit einem neuen Labor konfrontiert wird, ist kein Werkzeug zur Entdeckung; es ist ein Spiegelbild der Limitationen der Daten. Damit das Feld vorankommen kann, muss die Fachwelt strengere Teststandards einführen, die verlangen, dass Modelle beweisen, dass sie über die spezifischen Experimente, mit denen sie trainiert wurden, hinaus generalisieren können. Erst dann können wir diesen digitalen Werkzeugen vertrauen, um eine nachhaltigere und dauerhaftere Zukunft zu bauen.