A Large Scale Investigation of Scaling Limits in Chemical Language Models
Deze grootschalige studie van meer dan 30.000 experimenten onthult dat hoewel het schalen van chemische taalmodellen de pretraining-loss en het begrip van chemische syntaxis verbetert, deze winst niet vertaalt naar evenredige verbeteringen in doelgerichte moleculaire vormgeving, wat een kritieke disconnect benadrukt tussen representatieleer en downstream-nut ondanks de introductie van de state-of-the-art NovoMolGen-suite.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne wetenschap groeit het geloof dat als je een computermodel simpelweg groter maakt en er meer data in voert, het onvermijdelijk slimmer zal worden. Dit idee, bekend als schaling, heeft ons begrip van taal getransformeerd, waardoor machines essays kunnen schrijven, teksten kunnen vertalen en gesprekken kunnen voeren door te leren van enorme bibliotheken aan menselijke geschriften. Wetenschappers hebben dezezelfde logica onlangs toegepast op de chemie door "chemische taalmodellen" te creëren. Dit zijn kunstmatige intelligentiesystemen die getraind zijn om de reeksen tekens te lezen en te schrijven die moleculen vertegenwoordigen, vergelijkbaar met hoe een computer leert zinnen te lezen. De hoop is geweest dat door deze chemische modellen groter te maken en ze te trainen op meer moleculen, ze vanzelf beter zouden worden in het ontwerpen van nieuwe medicijnen vanuit het niets, waarbij ze nieuwe verbindingen zouden vinden die ziekten kunnen genezen of kwalen kunnen behandelen.
Een recent grootschalig onderzoek daagt echter deze rechtstreekse aanname uit. Onderzoekers zetten zich af om te testen of de regels die het leren van taal beheersen, ook van toepassing zijn op de complexe wereld van chemisch ontwerp. Ze bouwden een familie van modellen variërend van zeer klein tot extreem groot, en trainden ze op miljarden moleculen om te zien hoe hun prestaties veranderden. De studie, uitgevoerd door een team van instellingen waaronder IIT Madras en de Mila – Quebec AI Institute, onthult een verrassende discrepantie. Hoewel de modellen inderdaad beter werden in het begrijpen van de basisgrammatica van de chemie naarmere groei, vertaalde deze verbetering zich niet in betere resultaten wanneer ze gevraagd werden om specifieke, nuttige medicijnen te ontwerpen. Sterker nog, de onderzoekers ontdekten dat een relatief klein model net zo goed kon presteren als een enorm model bij de moeilijke taak van het vinden van nieuwe medicijnen, wat suggereert dat het simpelweg groter maken van de computer niet de sleutel is tot het ontsluiten van de geheimen van medicijnontwikkeling.
De onderzoekers begonnen met het trainen van meer dan dertigduizend verschillende versies van deze chemische modellen. Ze varieerden de grootte van de modellen van een half miljoen parameters tot één miljard parameters, voedden ze verschillende soorten moleculaire data en testten ze ze met diverse methoden om chemische structuren weer te geven. Een belangrijke bevinding was dat de modellen steeds nauwkeuriger werden in het voorspellen van het volgende deel van een chemische reeks naarmate ze groter werden en meer data zagen. Dit is vergelijkbaar met hoe een kind dat een taal leert, uiteindelijk beter wordt in het raden van het volgende woord in een zin. De modellen werden uitstekend in het begrijpen van de regels van de chemische syntaxis, wetende welke combinaties van atomen geldige moleculen vormen en welke niet. Dit interne begrip van de chemische structuur bleef verbeteren, zelfs voor de grootste modellen, wat suggereert dat de computer succesvol de "woordenschat" en "grammatica" van de chemie aan het memoriseren was.
Toch veranderde het verhaal drastisch toen de onderzoekers deze modellen testten op het werkelijke doel van medicijnontwerp. Ze vroegen de modellen om nieuwe moleculen te genereren die zouden binden aan specifieke ziekte-doelwitten of die aan een reeks gewenste chemische eigenschappen zouden voldoen, een proces dat een complexe lus van trial-and-error inhoudt. Hier verdween de voordelen van omvang. De prestaties van de modellen bij het ontwerpen van deze doelgerichte moleculen vlaken af, of vlakten af, zodra de modellen een grootte van ongeveer vijf miljoen parameters bereikten. Het vergroten van de modelgrootte naar één miljard parameters, wat tweehonderd keer groter is, leverde bijna geen extra verbetering op in de kwaliteit van de medicijnen die ze konden ontwerpen. Een model met vijf miljoen parameters presteerde net zo goed als het enorme miljard-parameter model bij het vinden van nieuwe kandidaten voor medicijnontwikkeling.
Dit resultaat suggereert dat de huidige methode van het trainen van deze modellen, die zich richt op het voorspellen van het volgende karakter in een chemische reeks, de computer weliswaar de regels van de chemie leert, maar niet noodzakelijkerwijs de diepere betekenis van hoe die moleculen interageren met biologische systemen. De modellen leerden vloeiend de taal van de chemie te spreken, maar ze leerden niet om die taal te gebruiken om specifieke problemen op te lossen. De onderzoekers ontdekten dat hoewel de grotere modellen in staat waren om geldige moleculen te genereren, ze niet significant beter werden in het vinden van de specifieke, hoogwaardige moleculen die nodig zijn voor de geneeskunde. De studie geeft aan dat de flessenhals niet de grootte van het model of de hoeveelheid data is, maar de manier waarop de modellen worden getraind en de doelen die ze moeten optimaliseren.
De implicaties van deze ontdekking zijn aanzienlijk voor de toekomst van kunstmatige intelligentie in de wetenschap. Het suggereert dat de weg voorwaarts voor medicijnontwikkeling mogelijk niet ligt in het bouwen van steeds grotere computermodellen, maar in het ontwikkelen van slimmere manieren om de modellen die we al hebben te trainen. De onderzoekers stellen voor dat, in plaats van computers alleen te leren om het volgende chemische symbool te voorspellen, we hen moeten leren om de functionele eigenschappen van moleculen te begrijpen, zoals hoe ze interageren met eiwitten of hoe ze zich in het menselijk lichaam gedragen. Door de focus te leggen op deze diepere chemische betekenissen in plaats van alleen op de oppervlakkige patronen, kunnen wetenschappers mogelijk efficiëntere en effectievere instrumenten creëren voor het ontwerpen van de volgende generatie levensreddende medicijnen. Het werk dient als een herinnering dat in de complexe wereld van de chemie groter niet altijd beter is, en dat ware intelligentie meer vereist dan alleen een enorme herinnering aan patronen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.