Probing out-of-distribution generalization in machine learning for materials
Diese Studie zeigt auf, dass gängige heuristische Evaluierungen im maschinellen Lernen der Materialwissenschaften die Generalisierbarkeit und die Vorteile des Neural Scaling oft überschätzen, da sie primär die Interpolation innerhalb des Trainingsbereichs anstatt echte Out-of-Distribution-Extrapolation testen, bei der eine Erhöhung der Datenmenge oder der Modellgröße zu abnehmenden oder negativen Erträgen führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Auf der Suche nach neuen Materialien haben sich Wissenschaftler zunehmend der künstlichen Intelligenz zugewandt, um den Prozess zu beschleunigen. Stellen Sie sich eine riesige Bibliothek vor, die Millionen von Rezepten für verschiedene Substanzen enthält, von denen jede einzigartige Eigenschaften wie Festigkeit, Leitfähigkeit oder den Energieaufwand für ihre Entstehung besitzt. Traditionell bedeutete das Finden eines neuen Materials, ein Rezept nach dem anderen im Labor zu testen – ein langsames und teures Unterfangen. Maschinelles Lernen bietet eine Abkürzung: Durch das Studium der bestehenden Bibliothek kann ein Computer die Regeln der Chemie erlernen und die Eigenschaften von Materialien vorhersagen, die er noch nie zuvor gesehen hat. Das ultimative Ziel ist es, Modelle zu bauen, die wirklich allgemein gültig sind, was bedeutet, dass sie präzise Vorhersagen über völlig neue Arten von Materie treffen können und nicht nur über solche, die den bereits untersuchten ähneln. Diese Fähigkeit, mit dem Unbekannten umzugehen, ist entscheidend für die Lösung globaler Herausforderungen, von der Entwicklung besserer Batterien bis hin zum Design effizienterer Solarpanels. Es bleibt jedoch die anhaltende Frage, wie gut diese digitalen Werkzeuge tatsächlich funktionieren, wenn sie mit dem wirklich Unbekannten konfrontiert werden.
Ein Forscherteam machte sich daran, die Grenzen dieser maschinellen Lernmodelle im Bereich der Materialwissenschaften zu testen. Sie wollten wissen, ob die Modelle tatsächlich die tiefen Naturgesetze erlernten oder ob sie lediglich Muster auswendig lernten, die zufällig wie neue Entdeckungen aussähen. Zu diesem Zweck entwarfen sie ein massives Experiment, das über 700 verschiedene Herausforderungen umfasste. In jeder Herausforderung trainierten sie ein Computermodell an einer großen Sammlung bekannter Materialien und baten es dann, die Eigenschaften einer spezifischen Gruppe von Materialien vorherzusagen, die vollständig in den Trainingsdaten fehlten. Diese Gruppen wurden durch spezifische Regeln definiert, wie etwa „alle Materialien, die ein bestimmtes Element enthalten“ oder „alle Materialien mit einer spezifischen Kristallform“. Die Forscher testeten eine große Vielfalt an Modellen, die von einfachen, etablierten Algorithmen bis hin zu komplexen, modernen neuronalen Netzen reichten, die das menschliche Gehirn nachahmen.
Die Ergebnisse waren überraschend. In der überwiegenden Mehrheit dieser 700 Herausforderungen schnitten die Modelle außergewöhnlich gut ab, selbst wenn die Testmaterialien Elemente oder Strukturen enthielten, die sie während des Trainings noch nie erlebt hatten. Einfache Modelle, die grundlegende Entscheidungsregeln verwenden, schnitten oft genauso gut ab wie die ausgeklügeltesten Deep-Learning-Systeme. Dieser hohe Grad an Erfolg deutet darauf hin, dass die Modelle nicht so sehr damit kämpfen, auf neue Chemie zu generalisieren, wie bisher angenommen. Die Forscher gruben jedoch tiefer, um zu verstehen, warum dies geschah. Sie entdeckten, dass die Definition von „neu“ in diesen Tests oft irreführend war. Obwohl die Testmaterialien in Bezug auf ihre chemischen Bestandteile technisch gesehen unterschiedlich waren, befanden sie sich oft im gleichen allgemeinen mathematischen Nachbarschaftsbereich, den die Modelle nutzen, um Materialien zu verstehen. Mit anderen Worten: Die Modelle wagten sich nicht wirklich in das Unbekannte vor; sie füllten lediglich die Lücken zwischen dem aus, was sie bereits wussten.
Um dies zu beweisen, kartografierte das Team die mathematische Landschaft, in der diese Materialien existieren. Sie fanden heraus, dass bei den Aufgaben, bei denen die Modelle erfolgreich waren, die neuen Materialien tatsächlich von den Trainingsdaten umgeben waren, was es den Modellen ermöglichte, sichere Vermutungen basierend auf nahegelegenen Beispielen anzustellen. Doch als sie sich die wenigen Aufgaben ansah, bei denen die Modelle versagten, stellten sie fest, dass die Testmaterialien wirklich isoliert waren, weit entfernt von allen Daten, die die Modelle gesehen hatten. Diese Unterscheidung offenbarte einen kritischen Fehler in der Art und Weise, wie das Feld seinen Erfolg misst. Viele der Tests, die als Beweis für die Fähigkeit eines Modells zum Umgang mit dem Unbekannten gefeiert wurden, waren in Wirklichkeit lediglich Tests seiner Fähigkeit zur Interpolation, also das Schätzen des Mittelwerts zwischen bekannten Punkten. Die Modelle demonstrierten keine magische Fähigkeit zur Extrapolation in die fernen Bereiche des chemischen Raums; sie verbanden lediglich die Punkte in einer Region, die sie bereits verstanden.
Die Studie stellte auch eine populäre Idee der künstlichen Intelligenz infrage, die als Skalierung bekannt ist. Die vorherrschende Annahme ist, dass die Fähigkeit zur Generalisierung immer besser wird, wenn man einfach den Trainingsdatensatz vergrößert oder das Modell länger trainieren lässt. Die Forscher testeten dies, indem sie den Modellen immer mehr Daten zuführten. Für die einfachen Aufgaben, bei denen die neuen Materialien nah an den alten lagen, verbesserte sich die Leistung mit mehr Daten tatsächlich. Aber für die wirklich schwierigen Aufgaben, bei denen die Materialien weit außerhalb der Trainingszone lagen, half weder mehr Daten noch mehr Trainingszeit. In einigen Fällen machte es die Modelle sogar schlechter, da es dazu führte, dass sie sich zu sehr auf die bekannten Daten anpassten (Overfitting) und dadurch ihre Fähigkeit verloren, korrekte Vermutungen über das Unbekannte anzustellen. Dies deutet darauf an, dass das Versprechen, durch Skalierung alle Generalisierungsprobleme zu lösen, in Bezug auf wirklich neuartige Materialien übertrieben ist.
Die Forscher kamen zu dem Schluss, dass das Feld vorsichtiger bei der Definition und dem Testen von Generalisierung sein muss. Die derzeitigen Methoden, die sich auf einfache Regeln zur Trennung von Trainings- und Testdaten stützen, erzeugen oft Illusionen des Erfolgs. Sie zeigen, dass Modelle gut darin sind, was sie gut können, beweisen aber nicht unbedingt, dass diese Modelle die wirklich schwierigen, ungesehenen Herausforderungen bewältigen können, die zukünftige wissenschaftliche Durchbrüche vorantreiben werden. Die Studie besagt nicht, dass das maschinelle Lernen scheitert; vielmehr legt sie nahe, dass wir die falschen Fragen gestellt haben. Indem die Wissenschaftler erkennen, dass viele unserer „schweren“ Tests in Wirklichkeit recht einfach für die Modelle sind, können sie sich nun darauf konzentrieren, wirklich schwierige Herausforderungen zu entwerfen. Dieser Wandel wird helfen, die tatsächlichen Lücken in unserem Verständnis zu identifizieren und die Entwicklung von Modellen zu leiten, die wirklich in der Lage sind, die unkartierten Gebiete der Materialwissenschaft zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.