Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis

Auf der Suche nach der Entwicklung besserer Materialien haben Wissenschaftler ein mächtiges neues Werkzeug eingesetzt: künstliche Intelligenz, die in der Lage ist, die unsichtbare Architektur der Materie zu „sehen“. Diese Systeme, bekannt als Graph Neural Networks, betrachten ein Material nicht als einen soliden Block, sondern als eine Karte von Atomen, die durch Bindungen miteinander verbunden sind – ganz ähnlich wie ein U-Bahn-System, bei dem die Stationen die Atome und die Gleise die chemischen Verbindungen zwischen ihnen sind. Durch das Studium dieser Karten lernt der Computer vorherzusagen, wie sich ein Material verhalten wird – ob es elektrischen Strom leitet, wie hart es zu zerdrücken ist oder wie es vibriert. Jahrelang war der einzige Weg, zu beurteilen, ob eines dieser KI-Modelle gut war, bestand darin, auf seine Endpunktzahl zu schauen: wie nah seine Vorhersage an dem realen, im Labor gemessenen Wert lag. Wenn der Fehler klein war, galt das Modell als Erfolg. Doch diese einzelne Zahl verbirgt ein entscheidendes Mysterium. Sie verrät uns nicht, wie das Modell die Antwort tatsächlich gelernt hat oder wie viel seiner eigenen internen „Denkkraft“ es benötigte, um dorthin zu gelangen.

Ein Team von Forschern an der King Abdullah University of Science and Technology beschloss, hinter den Vorhang zu blicken. Sie wollten nicht nur das Endergebnis verstehen, sondern auch den Pfad, den das Modell einschlug, um dorthin zu gelangen. Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt. Wenn zwei Schüler beide eine Eins schreiben, gehen wir davon aus, dass sie gleichermaßen klug sind. Aber was, wenn einer der Schüler jedes einzelne Detail im Lehrbuch auswendig lernen musste, um diese Eins zu bekommen, während der andere nur ein paar Kernkonzepte verstehen musste? Der erste Schüler ist zerbrechlich; wenn man ihm einige Seiten aus seinem Lehrbuch entfernt, scheitert er. Der zweite Schüler ist robust; er kann auch dann noch bestehen, wenn er ein viel kleineres Buch vor sich hat. Die Forscher erkannten, dass aktuelle KI-Modelle für Materialien oft wie der erste Schüler behandelt werden. Wir wissen, dass sie die richtige Antwort geben, aber wir wissen nicht, ob sie sich auf ein riesiges, komplexes Geflecht von Verbindungen verlassen oder ob sie das Problem mit einem viel einfacheren Verstand lösen könnten. Um dies herauszufinden, entwickelten sie eine neue Methode, um diese Modelle zu testen, indem sie deren Fähigkeit zu lernen bewusst einschränkten.

Das Team nahm drei populäre KI-Modelle, die zur Vorhersage von Materialeigenschaften verwendet werden, und zwang sie dazu, unter Verwendung nur eines winzigen Bruchteils ihres verfügbaren „Denkraums“ zu lernen. Normalerweise verfügen diese Modelle über Hunderttausende von einstellbaren Reglern, an denen sie drehen können, um ihre Vorhersagen zu verbessern. Die Forscher fixierten die meisten dieser Regler und erlaubten den Modellen, nur eine kleine, zufällige Auswahl davon anzupassen. Sie begannen mit einer sehr kleinen Auswahl – nur einem winzigen Schlitz des verfügbaren Gesamtraums – und beobachteten, wie gut die Modelle performten. Dann entsperrten sie langsam mehr Regler und gaben den Modellen mehr Freiheit beim Lernen, bis sie Zugang zu ihrer vollen Kapazität hatten. Indem sie maßen, wie sich die Leistung der Modelle verbesserte, während sie diese Freiheiten zurückgewannen, konnten die Forscher eine „Erholungskurve“ (recovery curve) für jede Aufgabe zeichnen. Diese Kurve enthüllte eine verborgene Wahrheit: Einige Materialeigenschaften sind leicht zu lernen und erfordern nur sehr wenig geistige Anstrengung, während andere unglaublich schwierig sind und die volle Leistung des gesamten Gehirns des Modells verlangen.

Die Ergebnisse zeigten, dass sich verschiedene Materialien auf überraschend unterschiedliche Weise verhalten. Die Vorhersage, ob ein Metall magnetisch ist oder die Berechnung seiner elastischen Steifigkeit, erwies sich als relativ einfach. Diese Modelle konnten eine nahezu perfekte Genauigkeit erreichen, selbst wenn sie nur etwa fünf bis zehn Prozent ihrer gesamten einstellbaren Parameter nutzen durften. Es war, als ließen sich diese Aufgaben mit einem kleinen, fokussierten Satz von Regeln lösen. Das Vorhersagen der Energie, die zur Bildung eines Materials erforderlich ist, oder die Größe seiner elektronischen Bandlücke war jedoch viel schwieriger. Diese Aufgaben zeigten eine starke Abhängigkeit vom spezifischen Design des KI-Modells. Ein Modell namens ALIGNN konnte das Problem der Bildungsenergie unter Verwendung von nur fünfzehn Prozent seiner Kapazität lösen, während die anderen beiden Modelle die Hälfte ihrer Parameter freischalten mussten, um dieselbe Genauigkeit zu erreichen. Dies deutet darauf hin, dass die Art und Weise, wie ein Modell aufgebaut ist, für bestimmte Aufgaben von tiefer Bedeutung ist und dass die Endpunktzahl eines Modells allein nicht die ganze Geschichte seiner Effizienz erzählt.

Die bemerkenswerteste Erkenntnis ergab sich aus der Untersuchung der Vibration von Materialien, bekannt als Phononen-Vorhersage. Diese Aufgabe reagierte am empfindlichsten auf die Einschränkung der Lernfreiheit. Wenn die Forscher mehr der Parameter des Modells sperrten, verschlechterte sich die Leistung der Modelle im Allgemeinen signifikant. Das Verhalten variierte jedoch je nach Architektur: Ein Modell, DimeNet++, war in absoluten Begriffen weniger genau als das am besten performende Modell ALIGNN, zeigte jedoch über einen Teil des dimensionalen Durchlaufs einen weniger ausgeprägten durchschnittlichen Leistungsabfall. Dieser Kontrast verdeutlichte einen Zielkonflikt: Das Modell mit dem niedrigsten Endfehler war nicht zwangsläufig dasjen ich, das sich am wenigsten verschlechterte, wenn die Lernfreiheit eingeschränkt wurde. Dies deutete darauf hin, dass die Vorhersage von Vibrationen eine hochgradig koordinierte Anstrengung über das gesamte Netzwerk der Modellparameter hinweg erfordert. Es ist keine Aufgabe, die durch ein paar clevere Tricks gelöst werden kann; sie verlangt den uneingeschränkten Zugriff auf den gesamten Optimierungsraum des Modells. Darüber hinaus fanden die Forscher heraus, dass diese Sensitivität variierte, je nachdem, mit welcher Menge an Daten das Modell trainiert wurde. Bei der Vorhersage von Bandlücken führte das Hinzufügen von mehr Daten dazu, dass die Aufgabe für das Modell schwieriger zu lösen war, was einen größeren Anteil der Modellparameter erforderte, um dieselbe Genauigkeit zu erzielen. Dies legt nahe, dass mit zunehmender Komplexität der Daten das Modell mehr seiner internen Mechanik freischalten muss, um die neuen Informationen zu verarbeiten.

Die Studie stellte auch eine gängige Annahme darüber infrage, wie diese Modelle skalieren. Als die Forscher die Modelle vergrößerten, indem sie ihre Größe erhöhten, stellten sie fest, dass die absolute Anzahl der Parameter, die zur Lösung eines Problems benötigt werden, direkt proportional zur Größe des Modells wuchs. Ein Modell, das zwölfmal größer war, benötigte auch etwa zwölfmal so viele einstellbare Regler, um sein volles Potenzial auszuschöpfen. Das bedeutet, dass das bloße Vergrößern eines Modells es nicht automatisch effizienter macht; es gibt ihm lediglich einen größeren Pool an Ressourcen, aus dem es schöpfen kann. Der Anteil des Modells, der zur Lösung des Problems benötigt wird, blieb etwa gleich, aber die gesamte benötigte „Denkkraft“ stieg an. Dieser Befund legt nahe, dass die Komplexität der Aufgabe an die spezifische Bauweise des Modells gebunden ist und nicht eine feste Eigenschaft des Materials selbst darstellt.

Letztlich bietet diese Arbeit eine neue Perspektive für das Verständnis künstlicher Intelligenz in der Wissenschaft. Sie zeigt, dass eine hohe Punktzahl in einem Test nicht das einzige Maß für die Qualität eines Modells ist. Ein Modell, das eine hohe Punktzahl erreicht, indem es fast alle seine verfügbaren Ressourcen nutzt, unterscheidet sich grundlegend von einem Modell, das dieselbe Punktzahl mit nur einem winzigen Bruchteil seiner Kapazität erreicht. Ersteres ist zerbrechlich und könnte Schwierigkeiten haben, wenn es mit neuen oder leicht abweichenden Daten konfrontiert wird, während letzteres robust und effizient ist. Indem Wissenschaftler kartieren, wie viel Freiheit ein Modell benötigt, um verschiedene Materialeigenschaften zu lernen, können sie nun das richtige Werkzeug für die jeweilige Aufgabe wählen, bessere Datensätze entwerfen und die wahre Komplexität der physischen Welt, die sie zu simulieren versuchen, verstehen. Die Endpunktzahl sagt uns, was das Modell tun kann, aber diese neue Methode sagt uns, wie es es tut, und offenbart die verborgene Architektur des Lernens selbst.