How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

Auf der Suche nach neuen Materialien verlassen sich Wissenschaftler oft auf eine leistungsstarke Computersimulationsmethode namens Dichtefunktionaltheorie. Diese Technik fungiert als virtuelles Mikroskop, das es Forschern ermöglicht, die Energie und Stabilität von Atomen zu berechnen, die in Kristallen angeordnet sind, ohne diese jemals im Labor bauen zu müssen. Diese Berechnungen sind jedoch unglaublich teuer und langsam und dauern für eine einzige Struktur Stunden oder sogar Tage. Um die Suche nach nützlichen Legierungen und Verbindungen zu beschleunigen, haben Forscher eine neue Generation von Modellen der künstlichen Intelligenz entwickelt. Diese Modelle, bekannt als maschinell gelernte interatomare Potentiale, sind darauf trainiert, die Ergebnisse der langsamen, teuren Simulationen nachzuahmen. Sie können das Verhalten von Atomen in einem Bruchteil einer Sekunde vorhersagen, was es ermöglicht, Millionen von Kandidatenmaterialien zu prüfen, die zuvor unerreichbar waren. Das Versprechen ist, dass diese schnellen Modelle Wissenschaftler zu der nächsten Generation von Batterien, Supraleitern oder Strukturmetallen führen werden.

Doch eine kritische Frage blieb: Wie vertrauenswürdig sind diese schnellen Modelle? Jahrelang ordnete die wissenschaftliche Gemeinschaft diese Werkzeuge der künstlichen Intelligenz danach ein, wie eng ihre Vorhersagen mit einer spezifischen, massiven Datenbank bestehender Berechnungen übereinstimmten. Die Annahme war, dass ein Modell, wenn es diese Datenbank gut matcht, die wahren physikalischen Gesetze erlernt hat, die die Atome regieren. Eine aktuelle Studie stellt diese Annahme infrage und zeigt auf, dass die Datenbank selbst kein perfekter Standard ist. Die Forscher fanden heraus, dass verschiedene hochwertige Computersimulationen desselben exakten Materials oft in geringem, aber signifikantem Maße voneinander abweichen. Das bedeutet, dass ein Modell sehr genau erscheinen kann, nur weil es die spezifischen Eigenheiten einer bestimmten Datenbank gelernt hat, statt wirklich die zugrunde liegende Physik zu verstehen. Die Studie legt nahe, dass die derzeitigen Rankings dieser Modelle oft irreführend sind, da sie die Fähigkeit eines Modells, einen spezifischen Satz von Regeln auswendig zu lernen, mit seiner Fähigkeit verwechseln, die Realität vorherzusagen.

Um ein klareres Bild zu erhalten, setzte sich ein Team von Forschern der Brigham Young University und der Kansas City National Security Campus daran, vierzehn der fortschrittlichsten Modelle der künstlichen Intelligenz zu testen. Anstatt sie mit der Datenbank zu vergleichen, mit der sie trainiert wurden, testeten sie sie gegen eine völlig unabhängige Datenbank namens AFLOW, die keines der Modelle zuvor gesehen hatte. Sie untersuchten etwa 1,45 Millionen geordnete Metallstrukturen, eine riesige Sammlung intermetallischer Verbindungen, die chemisch reichhaltig und schwierig vorherzusagen sind. Die Forscher behandelten die Unstimmigkeit zwischen verschiedenen hochwertigen Computersimulationen als eine Basisgrenze oder einen „Rauschflur“. Sie entdeckten, dass selbst die besten unabhängigen Simulationen untereinander um etwa 6 bis 8 Tausendstel eines Elektronenvolts pro Atom divergieren, und dass diese Unstimmigkeit bei schwierigeren Fällen auf zwischen 16 und 30 Tausendstel eines Elektronenvolts ansteigt. Dies setzt ein realistisches Ziel: Kein Modell kann erwarten, genauer zu sein als die Unstimmigkeit zwischen den besten menschengemachten Berechnungen.

Als die Forscher diesen neuen Standard anlegten, verschoben sich die Rankings der Modelle dramatisch. Ein Modell, das zuvor einen führenden Vorsprung innehatte, sah seinen Vorteil fast vollständig schrumpfen, sobald die Forscher berücksichtigten, dass das Modell einen leicht anderen Satz von Regeln zur Berechnung der Energie gelernt hatte als die verwendete Testdatenbank. Ein anderes Modell, das als klarer Zweitplatzierter erschienen war, stellte sich als nahezu ebenbürtig mit dem Spitzenreiter heraus, wenn beide auf derselben Grundlage gemessen wurden. Die Studie zeigte, dass viele der scheinbaren Fehler dieser Modelle nicht auf ein Versagen beim Verständnis der Physik zurückzuführen waren, sondern auf „Buchhaltungsunterschiede“ – kleine, konsistente Abweichungen in der Art und Weise, wie verschiedene Forschungsgruppen die Energie einzelner Elemente definieren. Durch die Korrektur dieser Abweichungen fanden die Forscher heraus, dass die Top-Modelle mit der unabhängigen Datenbank fast so eng übereinstimmten wie zwei verschiedene hochwertige Simulationen untereinander.

Die Untersuchung ging tiefer und betrachtete Eigenschaften, die überhaupt nicht von diesen Energiedefinitionen abhängen, wie etwa die Steifigkeit eines Materials oder die Art und Weise, wie es seine Form beibehält. Hier zeigten die Modelle eine andere Art der Leistung. Während die Top-Modelle exzellent darin waren, Energie vorherzusagen, variierte ihre Fähigkeit, die Steifigkeit von Metallen vorherzusagen, stärker. Die Forscher entdeckten auch, dass einige Modelle „kaputte Referenzen“ aufwiesen, bei denen sie fälschlicherweise eine seltsame, instabile Anordnung von Atomen als die stabilste Form eines reinen Elements identifizierten. Dieser Fehler verzerrte die Vorhersagen für jede Verbindung, die dieses Element enthielt. Sobald diese kaputten Referenzen korrigiert wurden, verbesserte sich die Leistung mehrerer Modelle signifikant und brachte sie auf das Niveau der anderen.

Ein wesentlicher Befund der Studie war, dass die Modelle bemerkenswert gut darin sind, auf neue, ungesehene Materialien zu generalisieren, aber sie sind nicht perfekt. Wenn sie mit Strukturen getestet wurden, die sie noch nie zuvor gesehen hatten, wurden die besten Modelle etwas ungenauer, aber der Leistungsabfall war moderat. Der Fehler nahm nur zu, wenn die Materialien weit von ihrem stabilsten Zustand entfernt waren, tief im Bereich hochgradig instabiler, metastabiler Strukturen. Dies deutet darauf hin, dass diese Werkzeuge zwar leistungsstark für das Finden neuer stabiler Materialien sind, aber mit den chaotischsten und energiereichsten Konfigurationen immer noch Schwierigkeiten haben. Die Forscher fanden auch heraus, dass die Modelle, die auf den größten und vielfältigsten Datensätzen trainiert wurden, am besten abschnitten, aber selbst die besten Modelle waren nicht immun gegen die Einschränkungen der Daten, mit denen sie gefüttert wurden.

Die Studie kommt zu dem Schluss, dass die Art und Weise, wie diese Modelle derzeit bewertet werden, geändert werden muss. Es reicht nicht aus, lediglich zu messen, wie eng ein Modell mit einer spezifischen Datenbank übereinstimmt, da diese Datenbank keine perfekte Wahrheit darstellt. Stattdessen schlagen die Forscher einen neuen Ansatz vor, der die Fehler der Modelle gegen die natürliche Unstimmigkeit zwischen verschiedenen hochwertigen Simulationen vergleicht. Sie empfehlen zudem, auf „Buchhaltungsfehler“ und kaputte Referenzen zu prüfen, bevor man ein Modell als Erfolg oder Misserfolg deklariert. Durch die Anwendung dieser strengeren Kontrollen stellten die Forscher fest, dass der Abstand zwischen den besten und dem Rest der Modelle viel geringer ist als bisher angenommen. Die führenden Modelle liegen nun direkt an der Grenze dessen, was mit Computersimulationen derzeit möglich ist, und erreichen die Genauigkeit der besten menschlichen Berechnungen.

Diese Arbeit erklärt kein einzelnes Modell zum ultimativen Gewinner, sondern liefert vielmehr eine ehrlichere Karte der Landschaft. Sie zeigt, dass die Werkzeuge der künstlichen Intelligenz leistungsstark und zuverlässig für die Entdeckung neuer Materialien sind, sofern ihre Ergebnisse mit den richtigen Kontrollen interpretiert werden. Die Studie betont, dass die Zukunft der Materialentdeckung nicht nur darin liegt, schnellere Modelle zu bauen, sondern bessere Benchmarks zu entwickeln, die die inhärenten Unsicherheiten in den Daten selbst berücksichtigen. Der Weg nach vorn besteht darin, diese schnellen Modelle zur Erkundung riesiger chemischer Räume zu nutzen, während man stets die kleinen, aber realen Fehlermargen im Hinterkopf behält, die zwischen verschiedenen Arten der Berechnung desselben Sachverhalts bestehen. Durch das Verständnis der Grenzen sowohl der Modelle als auch der Daten, gegen die sie getestet werden, können Wissenschaftler mit größerem Vertrauen in die Materialien fortschreiten, die sie entwerfen. Der Pfad nach vorn beinhaltet, diese schnellen Modelle zur Erforschung gewaltiger chemischer Räume zu nutzen, während man stets die kleinen, aber realen Fehlermargen berücksichtigt, die zwischen verschiedenen Wegen der Berechnung desselben Dings existieren.