A Comprehensive Evaluation of Machine Learning Pipelines for Toxic Endpoint Prediction
Deze studie presenteert een uitgebreide benchmark van machine learning-pipelines voor het voorspellen van hormoonreceptortoxiciteit over 52 ToxCast-assays, waarbij wordt aangetoond dat Random Forest-modellen getraind op fysisch-chemische eigenschappen zonder dimensionaliteitsreductie consistent presteren beter dan deep learning en andere geavanceerde methoden op het gebied van nauwkeurigheid, efficiëntie en interpreteerbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen: welke nieuwe chemische verbindingen zijn veilig om in medicijnen te gebruiken, en welke zijn giftige tijdbommen die wachten om te exploderen? In de echte wereld betekent het uitzoeken hiervan meestal het mengen van chemicaliën in een laboratorium en kijken wat er gebeurt met levende cellen of dieren. Het is duur, traag en brengt vaak testen op wezens met zich mee die liever niet deel zouden uitmaken van het experiment. Hier komen de digitale detectives van "Machine Learning" (ML) in beeld. In plaats van bekers met chemicaliën te mengen, kijken deze computerprogramma's naar de moleculaire "vingerafdruk" van een chemische stof—een digitale kaart van de vorm en eigenschappen—en proberen ze te raden of het gevaarlijk is. Maar hier komt het lastige gedeelte bij: net zoals een detective misleid kan worden door een slechte aanwijzing of een verwarrende beschrijving van een verdachte, kunnen deze computermodellen in de war raken door het verkeerde type data of de verkeerde manier van denken. Wetenschappers discussiëren al jaren over de vraag of we supercomplexe, hoogtechnologische "deep learning"-hersenen nodig hebben om dit op te lossen, of dat de ouderwetse, simpelere logica eigenlijk beter is. Deze vraag is belangrijk omdat als we het verkeerde gereedschap kiezen, we een giftig medicijn kunnen missen of tijd kunnen verspillen aan het testen van veilige stoffen, wat de ontdekking van levensreddende medicijnen vertraagt.
In dit onderzoek besloot een team van onderzoekers van de Universiteit van Saarland de discussie te beslechten door een enorme, georganiseerde wedstrijd te organiseren. Ze testten niet slechts één model; ze bouwden een "pipeline" voor 52 verschillende hormoongerelateerde toxiciteitstests (om te controleren of chemicaliën de oestrogeen-, testosteron- en andere hormoonreceptoren verstoren). Denk aan deze pipeline als een kookrecept waarbij je drie dingen moet kiezen: de ingrediënten (hoe je de chemische stof beschrijft), de bereidingsmethode (of je de ingrediënten vereenvoudigt of ze allemaal behoudt) en de kok (het specifieke computeralgoritme dat het koken uitvoert). Ze testten 98 verschillende combinaties van deze keuzes over 52 verschillende "assays" (de specifieke toxiciteitstests), waarbij ze meer dan 7.000 individuele modellen trainden om te zien wie de gevaren het meest nauwkeurig kon voorspellen.
De resultaten waren een schok voor de hoogtechnologische crowd. Ondanks de populariteit van chique, complexe "Deep Neural Networks" (de superhersenen van de AI-wereld), bleek uit de studie dat ze vaak struikelden. In plaats daarvan was de kampioen een veel simpelere, ouderwetse methode genaamd Random Forest. Stel je een Random Forest niet voor als een enkele genie, maar als een menigte gewone mensen die stemmen over een beslissing; elke persoon kijkt naar een iets ander deel van de data, en de groep neemt de uiteindelijke beslissing. Deze "menigte"-aanpak, wanneer gevoed met fysisch-chemische eigenschappen (basis, fysieke feiten over het molecuul zoals het gewicht of hoe vettig het is) en zonder enige fancy vereenvoudiging van de data, won het het vaakst. Sterker nog, deze simpele combinatie was de beste presteerder in 12 van de 52 tests en bleef in bijna de helft van de gevallen in de top vijf staan.
De onderzoekers testten ook of het eerst "vereenvoudigen" van de data (een stap genaamd Dimensiereductie) hielp, vergelijkbaar met hoe een student misschien probeert een heel tekstboek samen te vatten in één enkel spiekbriefje voor een examen. Verrassend genoeg bleek uit de studie dat het juist beter was om de data helemaal niet te vereenvoudigen. De modellen leken al die rommelige, gedetailleerde informatie nodig te hebben om de juiste beslissing te nemen; het weggooien van "overbodige" kenmerken betekende simpelweg het weggooien van nuttige aanwijzingen. Bovendien betoogt de studie expliciet tegen het idee dat complexere modellen of complexere chemische beschrijvingen (zoals deep learning embeddings) automatisch superieur zijn. In dit specifieke gebied van hormoontoxiciteit hield de regel "simpel is beter" stand.
De paper levert echter ook een reality check. Zelfs de beste modellen behaalden gemiddeld slechts een "Matthews Correlation Coefficient" (een score voor hoe goed ze omgaan met lastige, ongebalanceerde data) van ongeveer 0,32. Dit is geen perfecte score; het is een bescheiden score. De onderzoekers ontdekten dat de grootste hindernis niet het computermodel zelf was, maar de aard van de data. Ze ontdekten dat "activity cliffs"—waarbij twee chemicaliën bijna identiek lijken maar de een veilig is en de ander giftig—voorspelling extreem moeilijk maken. Het is alsoer proberen te raden of een koekje giftig is door er alleen naar te kijken, terwijl twee koekjes die er exact hetzelfde uitzien, andere ingrediënten verborgen hebben. Omdat deze "cliffs" zo gebruikelijk zijn in hormoondata, worstelt zelfs de beste AI met het zien van het verschil. De studie suggereert dat hoewel simpele modellen zoals Random Forest de beste instrumenten zijn die we nu hebben, de echte uitdaging in de data zelf ligt, en dat toekomstige doorbraken waarschijnlijk zullen vereisen dat we betere manieren vinden om deze kleine, gevaarlijke verschillen in chemische structuren te begrijpen, in plaats van alleen maar grotere, complexere computers te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.