LLMs as Acquisition Policies for Finite-Pool Materials Optimization: A Controlled Study

Die Suche nach neuen Materialien ist ein langsames, teures und oft frustrierendes Unterfangen. Wissenschaftler müssen spezifische Kombinationen von Elementen finden, die wünschenswerte Eigenschaften besitzen, wie etwa ein Metall, das sowohl unglaublich stark als auch leicht ist, oder eine Keramik, die extremer Hitze standhalten kann. Traditionell beruhte das Finden dieser Kombinationen auf Versuch und Irrtum, wobei tausende Möglichkeiten einzeln im Labor oder durch komplexe Computersimulationen getestet wurden. Da jeder Test Zeit und Geld kostet, haben Forscher auf eine Strategie namens „Active Learning“ zurückgegriffen. Dieser Ansatz nutzt einen Computer als Wegweiser, der die Ergebnisse früherer Tests analysiert, um zu entscheiden, welchen einzelnen Kandidaten als Nächstes zu testen ist. Das Ziel ist es, das bestmögliche Material mit so wenig Tests wie möglich zu finden, anstatt blind jede Option aus einer riesigen Liste abzuarbeiten.

Jahrelang war das Standardwerkzeug für diese Orientierung eine statistische Methode namens Gauß-Prozess. Stellen Sie sich diese Methode wie einen Kartografen vor, der eine Karte einer nebligen Landschaft zeichnet; er nutzt die wenigen Punkte, die er bereits gesehen hat, um die Form des Geländes dazwischen zu erraten, wobei er die Notwendigkeit, unbekannte Gebiete zu erkunden, mit dem Wunsch abwägt, bekannte Hochpunkte auszunutzen. Vor kurzem ist ein neuer Typ künstlicher Intelligenz, ein Large Language Model (großes Sprachmodell), in das Gespräch eingestiegen. Dies sind dieselben leistungsstarken Systeme, die Geschichten schreiben, Fragen beantworten und Rätsel lösen können, indem sie aus riesigen Mengen an Text lernen. Forscher haben begonnen, sich zu fragen, ob diese Modelle, die während ihres Trainings eine enorme Menge an wissenschaftlichem Wissen aufgesogen haben, selbst als Wegweiser fungieren könnten. Könnte ein Large Language Model eine Liste potenzieller Materialien betrachten und einfach „wissen“, welches man als Nächstes testen sollte, ohne zuerst eine statistische Karte erstellen zu müssen?

Ein Team von Forschern am RIKEN Center for Computational Science in Tokio ging mit einem kontrollierten Experiment dieser Frage nach. Sie bauten keine neue chemische Fabrik oder führten physische Tests durch; stattdessen nutzten sie eine Methode namens „retrospektives Benchmarking“. Sie nahmen vier bestehende Datensätze von Materialien, die bereits getestet worden waren, und behandelten sie als ein geschlossenes Universum an Möglichkeiten. In diesem Aufbau wurden die Computerprogramme mit einer kleinen Startliste bekannter Ergebnisse und einem großen Pool unvertester Kandidaten konfrontiert. Die Aufgabe war simpel: Den einzelnen besten Kandidaten im Pool so schnell wie möglich zu finden. Die Forscher testeten fünf verschiedene Open-Source-Sprachmodelle gegen den Standard-Statistik-Guide und eine völlig zufällige Auswahlmethode. Sie wollten sehen, ob die Sprachmodelle aus der Geschichte der Tests lernen und eigenständig kluge Entscheidungen treffen können.

Die Ergebnisse zeigten, dass die Large Language Models tatsächlich in der Lage waren, als Wegweiser zu fungieren. In jeder einzelnen Aufgabe fanden die Modelle das beste Material wesentlich schneller als ein Zufallsrater. Dies war ein bedeutender Befund, da es bewies, dass diese Modelle auch ohne spezifisches Training für diese Aufgabe nützliches wissenschaftliches Wissen in sich tragen. Sie konnten die Historie dessen, was funktionierte und was nicht, betrachten und diese Informationen nutzen, um die Suche einzugrenzen. Die Sprachmodelle konnten jedoch nicht konsistent mit dem Standard-Statistik-Guide mithalten. In drei der vier Aufgaben war die traditionelle Methode immer noch schneller und zuverlässiger. Die Sprachmodelle übertrafen den Standard-Guide nur in einer spezifischen Aufgabe, und selbst dort variierten die Ergebnisse je nach verwendetem Modell und der Art und Weise, wie die Informationen präsentiert wurden.

Die Studie zeigte auch, dass die Art und Weise, wie Informationen an das Modell präsentiert werden, eine tiefe Bedeutung hat. Wenn die Forscher den Modellen eine Liste von Kandidaten mit einfachen, anonymen Bezeichnungen wie „Merkmal eins“ und „Merkmal zwei“ gaben, schnitten die Modelle zwar immer noch gut ab, aber nicht so gut wie, wenn sie die tatsächlichen wissenschaftlichen Namen wie „Eisen“ oder „Streckgrenze“ erhielten. Dies deutet darauf hin, dass die Modelle nicht nur Zahlen verarbeiten, sondern ihr Verständnis der realen Welt nutzen. Wenn sie den Namen eines Elements oder einer physikalischen Eigenschaft sehen, können sie auf ihr Training zurückgreifen, um eine bessere Vermutung anzustellen. Die Forscher fanden jedoch auch eine Schwäche der Modelle: Sie neigen dazu, Gegenstände zu bevorzugen, die am Anfang einer Liste erscheinen. Wenn die Liste der Kandidaten gemischt wird, wählt das Modell unter Umständen einen anderen aus, selbst wenn die Daten identisch sind. Dieser „Positionsbias“ bedeutet, dass die Modelle nicht perfekt konsistent sind und ihre Leistung sich basierend auf der Reihenfolge ändern kann, in der die Optionen gezeigt werden.

Um die Größe der Listen zu bewältigen, versuchten die Forscher eine andere Strategie namens „Batch Tournament“. Anstatt dem Modell die gesamte Liste von hunderten Kandidaten auf einmal zu zeigen, teilten sie die Liste in kleinere Gruppen auf, ließen das Modell einen Gewinner aus jeder Gruppe wählen und wiederholten diesen Prozess mit den Gewinnern, bis nur noch einer übrig blieb. Diese Methode half einigen Modellen, besser abzuschneiden, insbesondere bei Aufgaben mit sehr großen Listen, da sie verhinderte, dass die Modelle von zu vielen Informationen auf einmal überwältigt wurden. Doch selbst mit dieser Verbesserung gewann kein einzelnes Modell und keine einzelne Strategie jedes Mal. Der beste Ansatz hing vollkommen vom spezifischen gesuchten Material und der Größe des Kandidatenpools ab.

Die Forscher kamen zu dem Schluss, dass Large Language Models zwar ein vielversprechendes neues Werkzeug zur Steuerung der Materialentdeckung sind, sie aber noch keinen Ersatz für etablierte statistische Methoden darstellen. Sie bieten ein nützliches Signal, das die Suche beschleunigen kann, insbesondere wenn die Modelle einen klaren wissenschaftlichen Kontext erhalten, aber es mangelt ihnen an der Zuverlässigkeit und Konsistenz der traditionellen Werkzeuge. Die Studie hebt hervor, dass die Zukunft der KI in der Wissenschaft nicht darin bestehen könnte, die alten Methoden zu ersetzen, sondern darin, den richtigen Weg zu finden, sie zu kombinieren. Die Modelle zeigen, dass sie das Potenzial haben, hilfreiche Partner zu sein, aber ihre Leistung ist sensibel gegenüber der Art und Weise, wie man sie zur Arbeit auffordert. Während sich das Feld weiterentwickelt, wird die Herausforderung darin bestehen, genau zu verstehen, wie man die Daten präsentiert, damit diese mächtigen Werkzeuge so zuverlässig sein können wie die Wissenschaftler, die sie nutzen.