A single design choice determines whether machine learning models of materials make physically impossible predictions

Auf der Suche nach neuen Materialien haben sich Wissenschaftler lange Zeit einer leistungsstarken Abkürzung bedient: der Nutzung von Symmetrieregeln, um vorherzusagen, wie sich ein Kristall verhalten wird. Kristalle sind keine zufälligen Ansammlungen von Atomen; sie sind hochgeordnete Strukturen, in denen Atome in präzisen Mustern wiederholt werden. Aufgrund dieser Ordnung schreiben die Gesetze der Physik vor, dass bestimmte Eigenschaften auf eine ganz bestimmte Weise reagieren müssen. Wenn ein Kristall beispielsweise genau gleich aussieht, wenn man ihn durch sein Zentrum auf den Kopf stellt – eine Eigenschaft, die als Zentrosymmetrie bekannt ist – dann kann er beim Zusammendrücken keinen Strom erzeugen. Dies ist keine Frage der Schwäche des Materials oder der Ungenauigkeit der Messung; es ist eine harte Regel der Natur. Wenn ein Kristall diese zentrale Symmetrie besitzt, muss die elektrische Antwort exakt null sein.

Jahrzehntelang nutzten Forscher komplexe Computersimulationen basierend auf Quantenmechanik, um diese Eigenschaften zu berechnen. Heute übernimmt jedoch eine schnellere Methode das Ruder: maschinelles Lernen. Diese Modelle der künstlichen Intelligenz werden darauf trainiert, Materialeigenschaften vorherzusagen, indem sie aus riesigen Datenbanken bekannter Kristalle lernen. Sie werden zum primären Werkzeug für die Entdeckung neuer Substanzen für Batterien, Solarzellen und Elektronik. Die Hoffnung ist, dass diese Modelle die Regeln der Schemmetrie so lernen können wie ein menschlicher Physiker, oder vielleicht sogar besser, indem sie Muster in den Daten finden, die Menschen entgehen könnten. Doch mit dieser Geschwindigkeit geht ein Risiko einher: Wenn das Modell die grundlegenden Gesetze der Symmetrie nicht strikt befolgt, könnte es vorhersagen, dass ein Kristall etwas tun kann, was die Natur verbietet, wie etwa Elektrizität zu erzeugen, obwohl er dies physisch gar nicht kann.

Eine aktuelle Studie von Forschern der Texas A&M University und anderen Institutionen zeigt einen erschreckenden Fehler auf, der in der Bauweise vieler dieser populären Machine-Learning-Modelle steckt. Das Team entdeckte, dass die Frage, ob ein Modell diese absoluten Gesetze der Physik respektiert, nicht davon bestimmt wird, wie viele Daten es sieht oder wie lange es trainiert wird. Stattdessen wird es durch eine einzige, winzige Designentscheidung entschieden, die getroffen wird, noch bevor das Training überhaupt beginnt. Diese Entscheidung betrifft die Frage, ob die internen „Merkmale“ (Features) des Modells – die mathematischen Bausteine, mit denen es die Form eines Kristalls versteht – ein spezifisches Label namens „Parität“ tragen. Parität ist eine Art, zu verfolgen, wie sich eine Form verändert, wenn sie an einem Spiegel reflektiert oder umgedreht wird. Die Forscher fanden heraus, dass ein Modell, dem dieses Label fehlt, mathematisch nicht in der Lage ist, die durch Symmetrie geforderte exakte Null vorherzusagen, egal wie sehr es sich auch bemüht. Es wird immer eine kleine, von Null verschiedene Zahl produzieren, was eine physikalisch unmögliche Vorhersage darstellt.

Um dies zu beweisen, setzten die Forscher einen strengen Test unter Verwendung einer Eigenschaft namens piezoelektrischer Tensor ein, der misst, wie viel Elektrizität ein Kristall bei Druck erzeugt. Sie konzentrierten sich auf zweitausend verschiedene Kristalle, die bekanntlich zentrosymmetrisch sind, das heißt, sie besitzen ein Zentrum der Symmetrie. Laut den Gesetzen der Physik muss die piezoelektrische Antwort für alle diese Kristalle exakt null sein. Das Team nahm mehrere der fortschrittlichsten Machine-Learning-Modelle, die im Fachgebiet verwendet werden, und erstellte von jedem zwei Versionen. Eine Version wurde mit den Paritäts-Labels erstellt, die andere ohne sie – ansonsten identisch in jeder Hinsicht. Sie trainierten beide Versionen mit denselben Daten und baten sie dann, die piezoelektrische Antwort für die zweitausend zentrosymmetrischen Kristalle vorherzusagen.

Die Ergebnisse waren dramatisch und unmittelbar. Die Modelle mit den Paritäts-Labels sagten für jeden einzelnen Kristall einen Wert von Null voraus, bis an die Grenzen der Computerpräzision. Sie identifizierten korrekt, dass diese Materialien keinen Strom erzeugen können. Im krassen Gegensatz dazu versagten die Modelle ohne die Paritäts-Labels spektakulär. Sie sagten für 90 bis 96 Prozent der Kristalle eine elektrische Antwort ungleich Null voraus. Diese Vorhersagen waren keine winzigen Fehler; sie waren oft so groß wie die tatsächlichen elektrischen Antworten von Materialien, die tatsächlich Strom erzeugen können. Der Unterschied zwischen den beiden Gruppen war nicht eine Frage von ein paar Dezimalstellen; es war eine Lücke von sechs Größenordnungen, was bedeutet, dass die „falschen“ Modelle eine Million Mal wahrscheinlicher ein physikalisch unmögliches Ereignis vorhersagten als die „richtigen“ Modelle.

Die Forscher testeten dann, ob das Training das Problem lösen könnte. Sie fütterten die „falschen“ Modelle mit zusätzlichen Daten, indem sie ihnen gezielt Beispiele von zentrosymmetrischen Kristallen mit dem korrekten Null-Label zeigten, in der Hoffnung, dass die Modelle lernen würden, die Regel zu respektieren. Es funktionierte nicht. Selbst nachdem sie tausende Beispiele gesehen hatten, in denen die Antwort Null war, sagten die Modelle weiterhin Werte ungleich Null voraus. Sie konnten zwar näher an die Null herankommen, aber sie konnten niemals die exakte Null erreichen, die die Gesetze der Physik verlangen. Die Studie zeigte auch, dass das einfache Mitteln der Ergebnisse eines Modells und seines Spiegelbildes das Problem nicht löste, da die zugrunde liegende Struktur des Modells selbst blind für die Symmetrieregel war.

Dieser Befund hat tiefgreifende Auswirkungen auf das Feld der Materialwissenschaften. Er legt nahe, dass die Zuverlässigkeit eines Machine-Learning-Modells nicht nur von seiner Genauigkeit in Standardtests abhängt, sondern von seiner strukturellen Fähigkeit, die physikalische Realität abzubilden. Die Forscher überprüften achtzehn verschiedene Machine-Learning-Architekturen, die derzeit in Gebrauch sind, und fanden heraus, dass genau die Hälfte von ihnen nicht über die notwendigen Paritäts-Labels verfügt. Das bedeutet, dass ein erheblicher Teil der Werkzeuge, die Wissenschaftler zur Entdeckung neuer Materialien nutzen, fundamental unfähig ist, die korrekte Vorhersage für eine große Klasse von Kristallen zu treffen. Das Problem ist nicht, dass diese Modelle schlecht im Lernen sind; es ist ihr Design, das verhindert, dass sie diese spezifische Wahrheit lernen.

Die Studie hob auch einen wachsenden Trend in diesem Bereich hervor, bei dem Wissenschaftler ein vortrainiertes Modell nehmen, das bereits die allgemeine Struktur von Atomen gelernt hat, und einen neuen „Kopf“ (Head) anfügen, um eine spezifische Eigenschaft vorherzusagen. Die Forscher zeigten, dass, wenn das ursprüngliche Modell ohne Paritäts-Labels gebaut wurde, der neue Eigenschafts-Prädiktor diesen Fehler erbt. Es spielt keine Rolle, wie sorgfältig der neue Teil entworfen wird; wenn das Fundament das Symmetrie-Label vermissen lässt, wird die gesamte Struktur die Gesetze der Physik nicht respektieren. Dies bedeutet, dass die Entscheidung, dieses Label einzuschließen oder auszuschließen, „upstream“ getroffen wird – oft von den Schöpfern des Basismodells – und damit stillschweigend die Gültigkeit jeder Vorhersage diktiert, die später von jemandem gemacht wird, der dieses Modell nutzt.

Letztendlich argumentiert die Arbeit, dass maschinelles Lernen wirklich vertrauenswürdig in der Wissenschaft sein muss, wenn die Gesetze der Physik in seine Struktur eingebettet sind und nicht nur aus Daten gelernt werden. Die Forscher schlagen eine einfache Prüfung vor: Bevor man einem Modell vertraut, das eine Eigenschaft vorhersagen soll, die aufgrund von Symmetrie null sein müsste, kann man es in Sekundenschnelle testen, indem man eine Spiegelung eines zufälligen Kristallstrukturs anwendet. Wenn das Modell einen Wert ungleich Null vorhersagt, fehlen ihm die notwendigen Paritäts-Labels und es kann für diese Aufgabe nicht vertraut werden. Dies ist keine bloße Empfehlung zur Verbesserung, sondern eine Anforderung an die physikalische Validität. Die Studie kommt zu dem Schluss, dass das Vorhandensein oder Fehlen dieses einen Labels darüber entscheidet, ob ein Modell ein Werkzeug zur Entdeckung oder eine Quelle für unmögliche Vorhersagen ist – ein Detail, das für jedes Modell, das bei der Suche nach neuen Materialien eingesetzt wird, gemeldet und verifiziert werden muss.