A Large Scale Investigation of Scaling Limits in Chemical Language Models
Diese groß angelegte Studie über mehr als 30.000 Experimente zeigt auf, dass die Skalierung chemischer Sprachmodelle zwar den Pretraining-Loss und das Verständnis der chemischen Syntax verbessert, diese Gewinne sich jedoch nicht in proportionalen Verbesserungen beim zielgerichteten molekularen Design niederschlagen, was trotz der Einführung der hochmodernen NovoMolGen-Suite auf eine kritische Diskrepanz zwischen Repräsentationslernen und dem Nutzen für nachgelagerte Anwendungen hinweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten Landschaft der modernen Wissenschaft wächst der Glaube an die Vorstellung, dass ein Computermodell zwangsläufig intelligenter wird, wenn man es einfach nur größer macht und ihm mehr Daten zuführt. Diese Idee, bekannt als Skalierung, hat unser Verständnis von Sprache transformiert und ermöglicht es Maschinen, Aufsätze zu schreiben, Texte zu übersetzen und Gespräche zu führen, indem sie aus riesigen Bibliotheken menschlicher Texte lernen. Wissenschaftler haben diese Logik kürzlich auf die Chemie angewandt und „chemische Sprachmodelle“ erschaffen. Dies sind Systeme der künstlichen Intelligenz, die darauf trainiert wurden, die Zeichenketten zu lesen und zu schreiben, die Moleküle repräsentieren, ganz so, wie ein Computer lernt, Sätze zu lesen. Die Hoffnung war, dass durch das Größerwerden dieser chemischen Modelle und das Training mit mehr Molekülen diese Modelle von Natur aus besser darin werden würden, neue Medikamente von Grund auf zu entwerfen und neuartige Verbindungen zu finden, die Krankheiten heilen oder Leiden lindern könnten.
Eine jüngste groß angelegte Untersuchung stellt diese einfache Annahme jedoch infrage. Forscher gingen der Frage nach, ob die Regeln, die das Erlernen von Sprache bestimmen, auch für die komplexe Welt des chemischen Designs gelten. Sie entwickelten eine Familie von Modellen, die von sehr klein bis extrem groß reichte, und trainierten sie mit Milliarden von Molekülen, um zu sehen, wie sich ihre Leistung veränderte. Die Studie, die von einem Team verschiedener Institutionen, darunter dem IIT Madras und dem Mila – Quebec AI Institute, durchgeführt wurde, offenbart eine überraschende Diskrepanz. Während die Modelle tatsächlich besser darin wurden, die grundlegende Grammatik der Chemie zu verstehen, während sie wuchsen, führte diese Verbesserung nicht zu besseren Ergebnissen, wenn sie gebeten wurden, spezifische, nützliche Medikamente zu entwerfen. Tatsächlich stellten die Forscher fest, dass ein relativ kleines Modell bei der schwierigen Aufgabe, neue Arzneimittel zu finden, genauso gut abschneiden konnte wie ein massives Modell, was darauf hindeutet, dass das bloße Vergrößern des Computers nicht der Schlüssel zur Entschlüsselung der Geheimnisse der Arzneimittelentwicklung ist.
Die Forscher begannen damit, über dreißigtausend verschiedene Versionen dieser chemischen Modelle zu trainieren. Sie variierten die Größe der Modelle von einer halben Million Parametern bis zu einer Milliarde Parametern, fütterten sie mit unterschiedlichen Arten von molekularen Daten und testeten sie mit verschiedenen Methoden zur Darstellung chemischer Strukturen. Ein zentraler Befund war, dass die Modelle lernten, den nächsten Teil einer chemischen Zeichenkette mit zunehmender Genauigkeit vorherzusagen, während sie größer wurden und mehr Daten sahen. Dies ist vergleichbar mit einem Kind, das eine Sprache lernt und schließlich immer besser darin wird, das nächste Wort in einem Satz zu erraten. Die Modelle wurden exzellent darin, die Regeln der chemischen Syntax zu verstehen – sie wussten, welche Kombinationen von Atomen gültige Moleküle bilden und welche nicht. Dieses interne Verständnis der chemischen Struktur verbesserte sich selbst für die größten Modelle kontinuierlich, was darauf hindeutete, dass der Computer erfolgreich den „Wortschatz“ und die „Grammatik“ der Chemie auswendig lernte.
Doch als die Forscher diese Modelle auf das eigentliche Ziel des Wirkstoffdesigns testeten, änderte sich die Geschichte dramatisch. Sie baten die Modelle, neue Moleküle zu generieren, die an spezifische Krankheitsziele binden oder eine Reihe wünschenswerter chemischer Eigenschaften erfüllen würden – ein Prozess, der eine komplexe Schleife aus Versuch und Irrtum beinhaltet. Hier verschwand der Vorteil der Größe. Die Leistung der Modelle beim Entwurf dieser zielgerichteten Moleküle stagnierte oder flachte ab, sobald die Modelle eine Größe von etwa fünf Millionen Parametern erreichten. Die Erhöhung der Modellgröße auf eine Milliarde Parameter – das Zweihundertfache – brachte fast keine zusätzliche Verbesserung der Qualität der Medikamente, die sie entwerfen konnten. Ein Modell mit fünf Millionen Parametern schnitt bei der Suche nach neuen Kandidaten für die Arzneimittelentwicklung genauso gut ab wie das massive Modell mit einer Milliarde Parametern.
Dieses Ergebnis legt nahe, dass die aktuelle Methode des Trainings dieser Modelle, die sich darauf konzentriert, das nächste Zeichen in einer chemischen Zeichenkette vorherzusagen, dem Computer zwar die Regeln der Chemie lehrt, aber nicht unbedingt die tiefere Bedeutung dessen, wie diese Moleküle mit biologischen Systemen interagieren. Die Modelle lernten, die Sprache der Chemie fließend zu sprechen, aber sie lernten nicht, diese Sprache zu nutzen, um spezifische Probleme zu lösen. Die Forscher fanden heraus, dass die größeren Modelle zwar in der Lage waren, gültige Moleküle zu erzeugen, sie aber nicht signifikant besser darin wurden, die spezifischen, hochwertigen Moleküle zu finden, die für die Medizin benötigt werden. Die Studie deutet darauf an, dass der Engpass nicht die Größe des Modells oder die Menge der Daten ist, sondern die Art und Weise, wie die Modelle trainiert werden und welche Ziele sie optimieren sollen.
Die Implikationen dieser Entdeckung sind bedeutend für die Zukunft der künstlichen Intelligenz in der Wissenschaft. Es deutet darauf hin, dass der Weg nach vorn für die Arzneimittelentwicklung möglicherweise nicht im Bau immer größerer Computermodelle liegt, sondern in der Entwicklung intelligenterer Wege, um die Modelle zu trainieren, die wir bereits besitzen. Die Forscher schlagen vor, dass wir, anstatt Computern nur beizubringen, das nächste chemische Symbol vorherzusagen, ihnen stattdessen die funktionellen Eigenschaften von Molekülen beibringen müssen – etwa wie sie mit Proteinen interagieren oder wie sie sich im menschlichen Körper verhalten. Indem wir uns auf diese tieferen chemischen Bedeutungen statt auf oberflächliche Muster konzentrieren, könnten Wissenschaftler in der Lage sein, effizientere und effektivere Werkzeuge für den Entwurf der nächsten Generation lebensrettender Medikamente zu schaffen. Die Arbeit dient als Erinnerung daran, dass in der komplexen Welt der Chemie „größer“ nicht immer „besser“ ist und dass wahre Intelligenz mehr erfordert als nur ein riesiges Gedächtnis für Muster.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.