Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

Deze studie presenteert een uitgebreide benchmark van diverse machine learning- en deep learning-modellen voor het voorspellen van kernreceptoractiviteit op basis van Tox21-data, waarbij wordt aangetoond dat boomgebaseerde modellen beter presteren bij datasets met een hoge proportie actieve chemicaliën, terwijl deep learning-modellen robuuster zijn bij matige proporties, en dat ongeveer 40% van de misclassificaties wordt veroorzaakt door structureel geïsoleerde verbindingen.

De kern

De Digitale Chemische Detective: Hoe AI helpt om gevaarlijke stoffen te vinden

Stel je voor dat er duizenden nieuwe chemicaliën op de markt komen, van shampoo tot plastic speelgoed. De vraag is: zijn deze stoffen veilig voor ons lichaam? Vooral voor onze hormonen, die als de "hoofdcommissaris" van ons lichaam werken. Als bepaalde chemicaliën deze commissaris verwarren, kunnen ze ziektes veroorzaken.

Vroeger moesten wetenschappers duizenden proefdieren gebruiken om dit te testen. Dat is duur, duurt lang en ethisch gezien niet ideaal. Daarom wilden deze onderzoekers een slimme oplossing vinden: kunstmatige intelligentie (AI) die kan voorspellen welke chemicaliën gevaarlijk zijn, puur op basis van hun chemische structuur.

Hier is wat ze hebben gedaan, vertaald in begrijpelijke taal:

1. Het Grote Boek van de Chemie

De onderzoekers begonnen met een enorme digitale bibliotheek genaamd Tox21. Dit is een verzameling van testresultaten van bijna 10.000 chemicaliën. Ze hebben hieruit 43 specifieke "hoofdstukken" geselecteerd, elk gericht op een ander type hormoonreceptor (de sloten in ons lichaam waar chemicaliën op passen).

2. De Wedstrijd: Wie is de Slimste Detective?

Ze hebben verschillende soorten "detectives" (AI-modellen) op deze data losgelaten om te zien wie het beste kon voorspellen of een stof gevaarlijk is. Ze hadden drie soorten detectives:

• De Traditionele Detectives (Machine Learning): Denk aan slimme, maar wat ouderwetse methoden zoals Random Forest en XGBoost. Deze kijken naar een lijstje met eigenschappen van de stof (zoals gewicht, vorm, lading).
• De Moderne Detectives (Deep Learning): Deze kijken naar de moleculen alsof het een 3D-puzzel is, waarbij ze de verbindingen tussen atomen zien.
• De Super-Detectives (Transformers): Dit zijn de nieuwste modellen, vergelijkbaar met de technologie achter ChatGPT. Ze lezen de chemische formule als een verhaal en proberen de betekenis te begrijpen zonder dat ze eerst een lijstje met eigenschappen nodig hebben.

3. De Uitdaging: De "Naald in de Hooiberg"

Het grootste probleem was dat er in de testdata veel meer "veilige" stoffen waren dan "gevaarlijke" stoffen. Het is alsof je in een berg hooi moet zoeken naar één naald.

• De ontdekking: De traditionele detectives (Machine Learning) waren het beste in het vinden van de naald als er al een paar naalden in de buurt lagen (meer dan 10% gevaarlijke stoffen).
• De verrassing: De moderne detectives (Deep Learning) waren robuuster als er maar heel weinig naalden waren (tussen 5% en 10%). Ze konden beter omgaan met de ongelijkheid.
• De les: De nieuwste "Super-Detectives" (zoals de AI die op taal is getraind) deden het niet altijd beter dan de traditionele methoden. Soms is een simpele, goed georganiseerde lijst met feiten beter dan een ingewikkeld verhaal.

4. Waarom faalden sommige voorspellingen?

De onderzoekers keken naar de fouten. Ze ontdekten iets interessants: ongeveer 40% van de gevaarlijke stoffen die de AI verkeerd inschatte, waren chemische eenzame wolven.

• De Analogie: Stel je voor dat je een detective bent die leert door voorbeelden te zien. Als je leert wat een "hond" is door te kijken naar een Golden Retriever, een Beagle en een Duitse Herder, weet je wat een hond is. Maar als je plotseling een heel vreemd dier ziet dat eruitziet als een hond, maar dan met een staart van een kikker, weet je niet wat je moet doen.
• In de chemische wereld waren deze "vreemde dieren" stoffen die er zo anders uitzagen dan alles wat de AI eerder had gezien. Omdat ze geen "familie" hadden in de trainingsdata, kon de AI ze niet herkennen.

5. De Proef op de Som

Om te zien of hun AI echt goed was, testten ze het op een volledig nieuwe set data (die ze niet eerder hadden gezien).

• Het resultaat: Het werkte verrassend goed! Vooral voor mannelijke hormonen (androgenen) en vrouwelijke hormonen (oestrogenen) kon de AI betrouwbaar voorspellen of een stof gevaarlijk was, zelfs als de data uit echte dierproeven kwam.
• De beperking: Soms faalde de AI bij complexe situaties in het levende lichaam (zoals hoe de lever een stof afbreekt), omdat de AI alleen was getraind op simpele laboratoriumtests.

Conclusie: Waarom is dit belangrijk?

Deze studie is als een grote "testrit" voor verschillende soorten AI-auto's op een speciaal circuit.

• Ze hebben laten zien dat er geen "één oplossing voor alles" is. Afhankelijk van hoeveel gevaarlijke stoffen je zoekt, moet je een ander type AI gebruiken.
• Ze hebben ook laten zien dat we moeten opletten voor die "chemische eenzame wolven". Als een stof er heel anders uitziet dan alles wat we kennen, moeten we extra voorzichtig zijn.

Kortom: Deze onderzoekers hebben een betere routekaart gemaakt voor het ontwikkelen van slimme computers die ons helpen om de wereld veiliger te maken, zonder dat we duizenden dieren hoeven te gebruiken. Het is een stap in de richting van een toekomst waar we chemische stoffen sneller en slimmer kunnen testen.

Technische samenvatting

Probleemstelling

Nucleaire receptoren spelen een cruciale rol in de regulatie van ontwikkeling, reproductie en metabolisme, maar zijn ook primaire doelen voor xenobiotische endocriene verstorende chemicaliën (EDC's). Het traditionele dierexperimentele testen is duur, tijdrovend en ethisch belastend, wat de noodzaak onderstreept voor betrouwbare in silico (computermodellen) en in vitro benaderingen.

Hoewel er reeds machine learning (ML) en deep learning (DL) modellen zijn ontwikkeld voor toxiciteitsvoorspelling op basis van Tox21-data, bestaan er belangrijke beperkingen in de huidige literatuur:

1. Beperkte datasets: Veel studies gebruiken verouderde datasets (zoals de Tox21 Data Challenge) die een beperkt aantal nucleaire receptoren dekken en geen onderscheid maken tussen agonistische en antagonistische activiteit.
2. Gebrek aan benchmarking: Er is weinig systematisch onderzoek gedaan naar de prestaties van verschillende AI-architecturen (ML, DL, Transformers) in combinatie met diverse chemische feature-representaties (descriptoren, vingerafdrukken, grafen) over een breed scala aan datasets.
3. Class imbalance: De datasets vertonen vaak een sterke onbalans tussen actieve en inactieve chemicaliën, wat de prestaties van modellen sterk beïnvloedt, maar dit wordt niet altijd adequaat geanalyseerd.

Methodologie

De auteurs hebben een uitgebreide benchmarkstudie uitgevoerd met de volgende stappen:

1. Data Curation en Voorbereiding:

• Bron: Data is gehaald uit ToxCast invitrodb v4.3, de meest actuele en uitgebreide database voor in vitro bioactiviteit.
• Selectie: Er zijn 43 datasets gecureerd die corresponderen met 18 unieke nucleaire receptoren (inclusief agonist- en antagonisten-assays).
• Chemische Representatie: Voor 8430 chemicaliën zijn diverse features gegenereerd:
  • Vingerafdrukken (Fingerprints): MACCS, Morgan (ECFP4, FCFP4) en Layered.
  • Moleculaire Descriptoren: 2D en 3D descriptoren berekend met PaDEL en RDKit (in totaal >2000 descriptoren).
  • Grafen: Moleculen gemodelleerd als grafen (atomen als knopen, bindingen als randen).
  • SMILES: Voor transformer-modellen.

2. Model Architecturen:
Er zijn drie categorieën AI-modellen getest:

• Traditionele ML (7 algoritmen): Logistische regressie, Decision Trees, Random Forest (RF), Gradient Boosting (GBT), XGBoost, Support Vector Machines (SVM) en Multi-Layer Perceptrons (MLP).
• Deep Learning (DL): Dual-graph neural networks contrastive learning (DGCL), een zelf-supervised graf-neuraal netwerk dat grafen combineert met vingerafdrukken.
• Transformer-based modellen: ChemBERTa, MoLFORMER en MolRAG (een Retrieval-Augmented Generation model met Llama 3).

3. Evaluatie en Validatie:

• Class Imbalance: Vanwege de onbalans (vaak <10% actieve chemicaliën) is de F1-score gebruikt als primaire metriek in plaats van nauwkeurigheid (accuracy).
• Data Splitsing: Stratified splitsing (80/10/10 of 80/20) met drie verschillende random seeds om bias te minimaliseren.
• Toepassingsdomein (Applicability Domain - AD): Een DA-index (gebaseerd op k-NN) werd gebruikt om te bepalen of voorspellingen betrouwbaar zijn binnen het trainingsdomein.
• Externe Validatie: Onafhankelijke validatie uitgevoerd met in vivo en in vitro data van de NTP ICE-database voor androgeen (AR) en oestrogeen (ERα, ERβ) receptoren.
• Literatuur Review: Een systematische review van 207 studies om de resultaten te vergelijken met bestaand werk.

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: Dit is een van de eerste studies die ML, DL en Transformer-modellen systematisch vergelijkt op een breed scala aan nucleaire receptor-datasets uit de nieuwste ToxCast-versie, inclusief gescheiden agonist/antagonist data.
2. Analyse van Class Imbalance: De studie kwantificeert hoe de prestaties van modellen sterk afhankelijk zijn van het percentage actieve chemicaliën in de dataset.
3. Structurale Analyse van Fouten: Door middel van Chemische Similariteitsnetwerken (CSN) werd geanalyseerd waarom modellen bepaalde actieve chemicaliën verkeerd classificeren.
4. Validatie van NAM's: De resultaten dragen bij aan de ontwikkeling van "New Approach Methodologies" (NAMs) voor het screenen van endocriene verstorende chemicaliën.

Resultaten

1. Prestaties per Dataset-Karakteristiek:

• Hoge Actieve Ratio (>10%): Tree-based ML-modellen, specifiek Random Forest (RF) en XGBoost, getraind op moleculaire descriptoren (of een combinatie van descriptoren en vingerafdrukken), presteerden consistent het beste.
• Matige Actieve Ratio (5-10%): Deep Learning-modellen (vooral DGCL met descriptoren) toonden meer robuustheid en presteerden beter dan traditionele ML-modellen.
• Lage Actieve Ratio (<5%): Er was geen duidelijke trend; de prestaties varieerden sterk per dataset, wat suggereert dat bij ernstige onbalans dataset-specifieke factoren de doorslag geven.

2. Invloed van Feature Types:

• Modellen die gebruikmaken van moleculaire descriptoren (alleen of in combinatie met vingerafdrukken) presteerden over het algemeen beter dan modellen die alleen op vingerafdrukken vertrouwen.
• Onder de transformer-modellen presteerde MoLFORMER het beste, waarschijnlijk vanwege de grotere pre-training dataset en atoom-gebaseerde tokenisatie, maar deze overtroffen de beste ML/DL-modellen niet systematisch.

3. Analyse van Fouten (Misclassificatie):

• Ongeveer 40% van de verkeerd geclassificeerde actieve chemicaliën bevond zich op geïsoleerde knopen in het chemische similariteitsnetwerk. Dit betekent dat deze chemicaliën geen structurele analogen hadden in de trainingsset, waardoor het model geen leerpatroon kon vinden.
• Dit verklaart ook de lagere prestaties van MolRAG, omdat de "retrieval" van vergelijkbare moleculen faalt voor geïsoleerde verbindingen.

4. Externe Validatie:

• De modellen toonden goede overeenkomst voor AR-agonisten en ERα-agonisten (zowel in vitro als in vivo).
• Prestaties waren lager voor AR-antagonisten en ERβ-agonisten in in vivo data, waarschijnlijk omdat in vivo processen (zoals metabolisme) complexer zijn dan wat in vitro assays kunnen vangen.

5. Vergelijking met Bestaande Literatuur:

• De in deze studie behaalde F1-scores zijn over het algemeen vergelijkbaar met of beter dan die in eerdere studies, vooral dankzij het gebruik van de nieuwste dataset (v4.3) en de combinatie van descriptoren met geavanceerde ML-algoritmen.

Betekenis en Conclusie

Deze studie biedt cruciale inzichten voor de ontwikkeling van betrouwbare in silico tools voor toxicologie:

• Aanbeveling: Voor datasets met een redelijk aantal actieve chemicaliën (>10%) zijn XGBoost of Random Forest met moleculaire descriptoren de meest efficiënte en accurate keuze. Voor matig onbalans datasets kunnen Deep Learning-modellen (zoals DGCL) een betere optie zijn.
• Uitdaging: De aanwezigheid van structureel geïsoleerde actieve chemicaliën blijft een grote uitdaging voor alle AI-modellen, wat suggereert dat toekomstige modellen mogelijk meer contextuele of mechanistische informatie nodig hebben.
• Impact: De bevindingen ondersteunen de overgang naar NAMs voor het screenen van endocriene verstorende stoffen, waarbij de keuze van het model en de feature-representatie moet worden afgestemd op de specifieke kenmerken van de dataset (vooral de class imbalance).

De auteurs benadrukken dat hoewel transformer-modellen veelbelovend zijn, ze in deze specifieke context nog niet systematisch beter presteren dan goed getrainde ML-modellen met descriptoren, maar dat hun vermogen om direct uit SMILES te leren potentieel heeft voor toekomstige toepassingen.