💻 bioinformatics

Tox21mer, A transformer foundation model for Tox21 high-throughput concentration-response curves data

Het artikel introduceert Tox21mer, een met 43,5 miljoen parameters uitgerust transformer-fundamentmodel dat vooraf is getraind op 2,5 miljoen Tox21 concentratie-respons-curves via gemaskeerde responsreconstructie, wat hoogwaardige 768-dimensionale embeddings genereert die een state-of-the-art prestatie bereiken in het voorspellen van assay-uitkomsten en AC50-waarden, terwijl ze extrapolatie naar niet-geteste verbindingen mogelijk maken.

Oorspronkelijke auteurs: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je het Amerikaanse Tox21-project voor als een enorme bibliotheek die miljoenen "verhalen" heeft verzameld over hoe verschillende chemicaliën reageren op diverse biologische tests. Elk van deze verhalen is een concentratie-responscurve—een grafiek die laat zien wat er met een cel gebeurt wanneer je er een heel klein beetje van een chemische stof aan geeft, dan iets meer, en dan heel veel. Het een voor een lezen van deze grafieken is traag en moeilijk voor mensen.

Maak kennis met Tox21mer, een nieuw computerbrein (een AI-model) dat ontworpen is om deze verhalen direct te lezen en te begrijpen.

Zo werkt het, met behulp van enkele alledaagse analogieën:

1. De "Superlezer"

Zie Tox21mer als een supergeavanceerde bibliothecaris die over 2,5 miljoen van deze chemische verhalen heeft gelezen. Het is niet alleen bezig met het memoriseren van de feiten; het leert het patroon van hoe chemicaliën zich gedragen. Het neemt een complexe grafiek en een lijst met testdetails (de "metadata") en comprimeert deze tot één compacte "identiteitskaart" (een 768-dimensionale representatie). Deze identiteitskaart legt de essentie van het gedrag van de chemische stof vast op een manier die een computer gemakkelijk kan verwerken.

2. Hoe het heeft geleerd (Het "Invul-de-gaten-spel")

Om zo slim te worden, speelde het model een enorm spel van "Mad Libs" of "Vul de gaten in."

De onderzoekers lieten het miljoenen curves zien, maar verborgen delen van de gegevens (masked-response reconstructie).
Het model moest de ontbrekende getallen raden op basis van de rest van de curve en de context van de test.
Het kreeg ook een klein beetje extra hulp (low-weight supervision) om specifieke uitkomsten te leren, zoals of de chemische stof "actief" of "inactief" was, maar de belangrijkste leraar was het spel zelf.

3. De resultaten: Hoe goed is het?

Toen de onderzoekers dit model testten op chemicaliën die het nog nooit eerder had gezien, presteerde het als een kampioen:

De "Verkeerslicht"-test: Het kon naar een curve kijken en je vertellen of een chemische stof een "Agonist" (Rij door) is, een "Antagonist" (Stop) of "Inactief" (Neutraal), met een nauwkeurigheid van 98,5%.
De "Aan/Uit"-schakelaar: Het kon simpelweg zeggen "Actief" of "Inactief" met een nauwkeurigheid van 99,4%.
De "Sterkte"-meter: Het kon de sterkte van de chemische stof (specifiek de AC50-waarde) schatten met een nauwkeurigheidsscore (R2) van 0,87.

4. Wat doet er eigenlijk toe?

De onderzoekers wilden weten: Is het model slim omdat het de antwoorden heeft uit het hoofd geleerd, of omdat het de vorm van de curves heeft geleerd?

Ze probeerden het model te trainen zonder de extra "antwoordsleutels" (auxiliary labels). Het werkte nog steeds bijna even goed. Dit bewijst dat het model de vorm en het patroon van de gegevens heeft geleerd, en niet alleen de labels.
Ze ontdekten ook dat het model vooral geeft om de algemene verdeling van de gegevenspunten (de algemene trend van de curve) in plaats van de strikte volgorde van elke individuele stip. Het is alsof je een liedje herkent aan de melodie in plaats van elke noot te tellen.

5. Waarom dit nuttig is

De paper concludeert dat Tox21mer een universele "taal" creëert voor deze chemische curves. Omdat het deze taal zo goed begrijpt, kan het worden gebruikt als fundament om:

Te voorspellen hoe nieuwe, niet-geteste chemicalen zich kunnen gedragen door dit model te combineren met chemische gegevens.
Kleinere, eenvoudigere modellen (genaamd "student-modellen") hetzelfde werk te leren, waardoor massale screening van chemicalen buiten de oorspronkelijke bibliotheek mogelijk wordt.

Kortom, Tox21mer is een hulpmiddel dat rommelige, complexe chemische grafieken omzet in heldere, begrijpelijke gegevens, waardoor wetenschappers het gedrag van chemicalen met hoge snelheid en nauwkeurigheid kunnen voorspellen.

Technische Samenvatting: Tox21mer

Probleemstelling
De Amerikaanse Tox21-collaboratie heeft een enorme referentielibrairie van high-throughput concentratie-respons (CR) assays geproduceerd. Het effectief benutten van deze data vereist echter robuuste methoden om complexe CR-curves samen met de bijbehorende assay-metadata te coderen in verenigde representaties. Traditionele benaderingen hebben vaak moeite om de genuanceerde patronen binnen deze curves te vangen of om te generaliseren naar niet-geteste verbindingen zonder uitgebreide hertraining.

Methodologie
De auteurs introduceren Tox21mer, een transformer-gebaseerd foundation model met 43,5 miljoen parameters, dat specifiek is ontworpen voor Tox21-data.

Architectuur en Input: Het model codeert individuele concentratie-responscurves gecombineerd met assay-metadata in een vaste 768-dimensionale vectorrepresentatie.
Pretraining Strategie: Tox21mer werd gepre-trained op ongeveer 2,5 miljoen curves afkomstig van 102 verschillende assay-protocollen en 6.727 verbindingen. Het primaire trainingsdoel was masked-response reconstructie, een zelfgesuperviseerde taak waarbij het model leert ontbrekende waarden binnen een curve te voorspellen.
Auxiliaire Supervisie: Om het leren te verbeteren, maakte het model gebruik van laag-gewogen hulp-supervisietaken voor het voorspellen van de assay-uitkomst (bijv. actief/inactief) en de AC50-waarde, hoewel deze secundair waren aan het zelfgesuperviseerde doel.
Evaluatieprotocol: De kwaliteit van de geleerde representaties werd beoordeeld door lichtgewicht "probe"-modellen te trainen op bevroren embeddings. Deze probes werden getest op concentratie-responscurves van verbindingen die tijdens de pretraining buiten beschouwing waren gelaten.

Belangrijkste Resultaten
De evaluatie toonde aan dat de geleerde embeddings zeer effectief zijn voor downstream-taken:

Classificatieprestaties: Het model behaalde een macro-F1 score van 0,985 voor drie-klasse uitkomstvoorspelling (agonist, antagonist, inactief) en een binaire F1 score van 0,994 voor actieve/inactieve classificatie.
Regressieprestaties: Voor het voorspellen van de potentie-metriek behaalde het model een $R^2$ van 0,87 voor $\log_{10}(\text{AC50})$ .
Representatiekwaliteit: De embeddings vormden coherente groeperingen op basis van curve-klasse categorieën, wat aangeeft dat het model erin geslaagd is structurele gelijkenissen in dosis-responsgedrag te vangen.
Ablatie-inzichten:
- Een variant die uitsluitend werd getraind met het masked-response objectief (zonder hulp-labels) behield een prestatie nabij de baseline, wat suggereert dat de representatie primair wordt geleerd via het zelfgesuperviseerde objectief in plaats van via de hulp-labels.
- Verdere analyse onthulde dat de voorspellende prestaties voornamelijk rusten op de distributie van respons-waarden op curve-niveau, geconditioneerd op de assay-context, met een beperkte afhankelijkheid van de gedetailleerde ordening van punten binnen een specifieke curve.

Betekenis en Claims
Het artikel positioneert Tox21mer als een herbruikbare foundation-representatie voor Tox21 concentratie-respons data. De primaire betekenis ligt in het vermogen om extrapolatie naar niet-geteste verbindingen te ondersteunen. De auteurs stellen dat dit kan worden bereikt via twee hoofdroutes:

Integratie met Chemische Kenmerken: Het combineren van de curve-embeddings met moleculaire descriptoren.
Distillatie: Het overdragen van de geleerde kennis naar chemie-gebaseerde student-modellen om grootschalige externe screening te faciliteren.

Het werk benadrukt dat de capaciteiten van het model grotendeels voortkomen uit het zelfgesuperviseerde leren van curvepatronen, wat een schaalbare oplossing biedt voor de analyse van high-throughput toxicologische data zonder zwaar te vertrouwen op gelabelde uitkomsten voor elke nieuwe taak.