JURY: A Comprehensive Training-Free to Fully-Supervised Framework for Evaluating Chemical Language Models

In de race om nieuwe medicijnen te ontdekken, worden wetenschappers geconfronteerd met een flessenhals die elke doorbraak vertraagt: voordat een nieuwe chemische verbinding een medicijn kan worden, moet deze een reeks strenge veiligheidscontroles doorstaan. Onderzoekers moeten weten of het lichaam het zal absorberen, hoe het door het bloed zal reizen, of de lever het zal afbreken en of het giftig kan zijn. Deze controles, bekend als absorptie, distributie, metabolisme, excretie en toxiciteit, zijn duur en traag om in een laboratorium uit te voeren. Om dit te versnellen, hebben wetenschappers zich tot computers gekeerd en gebruiken ze kunstmatige intelligentie om deze eigenschappen te voorspellen door enkel naar de structuur van een molecuul te kijken. Jarenlang waren de meest succesvolle hulpmiddelen "taalmodellen" die getraind zijn op miljoenen chemische formules geschreven als tekstreeksen. Deze modellen leren een complex molecuul te comprimeren tot een enkele, vaste lijst met getallen, een digitale vingerafdruk die de chemische essentie ervan vastlegt. De standaardmanier om te beoordelen hoe goed deze modellen zijn, is door een eenvoudig voorspellingsinstrument aan hen te koppelen, dat instrument te trainen op een kleine set experimentele gegevens en te kijken hoe goed het het antwoord raadt. Als de gok goed is, krijgt het model een hoge score.

Echter, een nieuwe studie suggereert dat deze standaardmethode een cruciale waarheid heeft verborgen. De onderzoekers ontdekten dat het voorspellingsinstrument zelf vaak zo veel van het zware werk doet, dat het maskeert wat het onderliggende model daadwerkelijk heeft geleerd. Een krachtig instrument kan veel leren, enkel door de antwoorden die het krijgt, zelfs als de digitale vingerafdruk die het leest zwak of onbruikbaar is. Om dit op te lossen, heeft een team onderzoekers uit Duitsland een nieuwe manier ontwikkeld om deze modellen te testen, genaamd JURY. In plaats van te vertrouwen op één enkel getraind instrument, gebruikten zij vier verschillende methoden om de digitale vingerafdrukken van de modellen te lezen. Twee van deze methoden vereisten geen enkele training; ze keken simpelweg naar hoe dicht moleculen bij elkaar liggen in de digitale ruimte. De andere twee methoden gebruikten eenvoudige training, variërend van een basislijnberekening tot een klein, flexibel netwerk. Door deze vier methoden toe te passen op tien verschillende chemische modellen over drieënzeventig verschillende veiligheidstests, ontdekte het team dat de modellen veel meer op elkaar lijken dan men voorheen besefte. Geen enkel model was het beste in alles. Sterker nog, een decennia oude, handmatig vervaardigde methode om moleculen te beschrijven, presteerde in veel gevallen net zo goed als de meest geavanceerde moderne AI.

De meest verrassende ontdekking was dat de modellen niet verschillen in hoeveelheid chemische kennis die ze bezitten, maar in hoe ze die kennis organiseren. Sommige modellen ordenen hun digitale vingerafdrukken zo dat moleculen met vergelijkbare eigenschappen van nature dicht bij elkaar liggen, waardoor ze gemakkelijk te vinden zijn zonder extra training. Andere modellen verbergen diezelfde chemische kennis op een manier die pas zichtbaar wordt nadat een voorspeller is getraind om de data te herschikken. Het is als het kijken naar een bibliotheek waar de ene bibliothecaris boeken al heeft gesorteerd op genre, terwijl een andere de boeken willekeurig heeft gestapeld, maar precies weet waar een specifiek boek te vinden is als je de juiste vraag stelt. De studie toonde aan dat een model dat uitblinkt in de eerste benadering, kan falen in de tweede, en vice versa. Dit betekent dat een enkele score niet kan vertellen of een model goed is; je moet naar het profiel ervan kijken over verschillende testmethoden om te begrijpen waar de sterke punten liggen.

De onderzoekers testten tien verschillende chemische taalmodellen, waaronder verschillende die gebruikmaken van drie verschillende transformer-families, naast een traditionele handmatig vervaardigde methode die bekend staat als een extended-connectivity fingerprint. Ze pasten hun vier testmethoden toe op drieënzeventig verschillende taken, variërend van hoe een medicijn wordt geabsorbeerd tot hoe giftig het zou kunnen zijn. Toen ze naar de resultaten keken, ontdekten ze dat de rangschikking van de modellen volledig veranderde afhankelijk van welke testmethode werd gebruikt. Een model dat op de eerste plaats kwam wanneer het werd getest met een methode die geen training vereiste, zakte vaak naar de onderkant van de lijst wanneer het werd getest met een methode die een training van een voorspeller inhield. Omgekeerd steeg een model dat moeite had zonder training naar de top zodra er een eenvoudige voorspeller werd toegevoegd. Deze inconsistentie bewees dat de modellen niet simpelweg "beter" of "slechter" waren, maar dat ze hun chemische kennis op fundamenteel verschillende manieren opslaan.

Eén model, genaamd MoLFormer-XL, toonde aan dat het zijn digitale ruimte zo duidelijk had ingericht dat moleculen met vergelijkbaar gedrag al gegroepeerd waren. Het presteerde uitzonderlijk goed wanneer de onderzoekers simpelweg naar de dichtstbijzijnde buren in de digitale ruimte keken, zonder extra tools te trainen. In contrast hiermee presteerde een ander model, MolEncoder, slecht wanneer de onderzoekers naar de ruwe ordening van de ruimte keken. Echter, zodra een eenvoudige voorspeller op zijn data werd getraind, schoot MolEncoder naar de top van de ranglijsten. Dit toonde aan dat MolEncoder over dezelfde hoeveelheid chemische kennis beschikte, maar dat deze in een formaat verborgen was dat een getraind instrument vereiste om te ontsluiten. De studie vond ook dat de traditionele, handmatig vervaardigde fingerprint-methode, die ouder is dan de moderne AI, vaak beter presteerde dan de meest geavanceerde modellen wanneer er geen training werd toegestaan, met name bij het voorspellen van hoe chemicaliën zich in het lichaam gedragen. Dit suggereert dat voor bepaalde taken de oude manier van chemische data organiseren nog steeds zeer effectief is.

Het team concludeerde dat het vakgebied heeft vertrouwd op een enkele waarde om complexe systemen te beoordelen, wat vergelijkbaar is met het beoordelen van een muzikant op basis van slechts één liedje. Een model kan uitstekend zijn in het ene type voorspelling, maar verschrikkelijk in het andere, afhankelijk van hoe de interne data van dat model is gestructureerd. Het nieuwe framework, JURY, vervangt die enkele score door een gedetailleerd profiel dat laat zien hoe een model presteert over verschillende niveaus van supervisie. Dit stelt wetenschappers in staat om het juiste instrument voor de taak te kiezen. Als een onderzoeker snel een bibliotheek met chemicaliën wil screenen zonder tijd te besteden aan het trainen van een nieuw instrument, moet hij een model kiezen dat goed presteert op de ongetrainde tests. Als hij over voldoende data beschikt en een specifieke voorspeller wil trainen voor een taak met hoge inzet, kan hij wellicht kiezen voor een model dat pas excelleert na training. Door te begrijpen waar de kennis van een model zich bevindt en hoe deze is georganiseerd, kunnen wetenschappers betere beslissingen nemen over welke tools te gebruiken, waarbij ze verder gaan dan eenvoudige rangschikkingen naar een dieper begrip van wat deze kunstmatige intelligenties daadwerkelijk hebben geleerd.