💻 bioinformatics

Tox21mer, A transformer foundation model for Tox21 high-throughput concentration-response curves data

Das Paper stellt Tox21mer vor, ein mit 43,5 Millionen Parametern ausgestattetes Transformer-Foundation-Modell, das mittels Masked-Response-Reconstruction auf 2,5 Millionen Tox21-Konzentrations-Wirkungs-Kurven vortrainiert wurde, wodurch hochwertige 7_68-dimensionale Embeddings generiert werden, die eine State-of-the-Art-Leistung bei der Vorhersage von Assay-Ergebnissen und AC50-Werten erzielen und gleichzeitig die Extrapolation auf nicht getestete Verbindungen ermöglichen.

Ursprüngliche Autoren: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

Veröffentlicht 2026-06-19

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Li, L., Hwang, J., Shockley, K., Li, Y., Motsinger-Reif, A., Hsieh, J.-H., Auerbach, S. S., Reif, D.

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (https://creativecommons.org/publicdomain/zero/1.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das US-Tox21-Projekt wie eine riesige Bibliothek vor, die Millionen von „Geschichten“ gesammelt hat, wie verschiedene Chemikalien auf verschiedene biologische Tests reagieren. Jede dieser Geschichten ist eine Konzentrations-Wirkungs-Kurve – ein Graph, der zeigt, was mit einer Zelle passiert, wenn man ihr ein winziges bisschen einer Chemikalie gibt, dann etwas mehr, dann sehr viel mehr. Diese Graphen einzeln zu lesen, ist langsam und schwierig für Menschen.

Hier kommt Tox21mer ins Spiel, ein neues Computergehirn (ein KI-Modell), das darauf ausgelegt ist, diese Geschichten sofort zu lesen und zu verstehen.

So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Der „Super-Leser“

Betrachten Sie Tox21mer als einen hochmodernen Bibliothekar, der über 2,5 Millionen dieser chemischen Geschichten gelesen hat. Er lernt nicht nur die Fakten auswendig; er lernt das Muster, wie Chemikalien sich verhalten. Er nimmt einen komplexen Graphen und eine Liste von Testdetails (die „Metadaten“) und komprimiert sie in einen einzigen, kompakten „Ausweis“ (eine 768-dimensionale Repräsentation). Dieser Ausweis erfasst das Wesen des chemischen Verhaltens in einer Weise, die ein Computer leicht verarbeiten kann.

2. Wie es gelernt hat (Das „Lückentext-Spiel“)

Um so intelligent zu werden, spielte das Modell ein massives Spiel der „Lückentexte“ oder des „Lückenfüllens“.

Die Forscher zeigten ihm Millionen von Kurven, versteckten aber Teile der Daten (maskierte Antwort-Rekonstruktion).
Das Modell musste die fehlenden Zahlen basierend auf dem Rest der Kurve und dem Testkontext erraten.
Es erhielt auch ein wenig zusätzliche Hilfe (schwache Überwachung/Low-weight Supervision), um spezifische Ergebnisse zu lernen, wie etwa, ob die Chemikalie „aktiv“ oder „inaktiv“ war, aber der Hauptlehrer war das Spiel selbst.

3. Die Ergebnisse: Wie gut ist es?

Als die Forscher dieses Modell an Chemikalien testeten, die es noch nie zuvor gesehen hatte, schnitt es wie ein Champion ab:

Der „Ampel-Test“: Es konnte sich eine Kurve ansehen und Ihnen sagen, ob eine Chemikalie ein „Agonist“ (Grün), ein „Antagonist“ (Rot) oder „Inaktiv“ (Neutral) ist – mit einer Genauigkeit von 98,5 %.
Der „An/Aus-Schalter“: Es konnte einfach sagen, ob eine Chemikalie „aktiv“ oder „inaktiv“ ist, mit einer Genauigkeit von 99,4 %.
Die „Stärke“-Anzeige: Es konnte die Stärke der Chemikalie (speziell den AC50-Wert) mit einem Genauigkeitswert (R2) von 0,87 schätzen.

4. Was eigentlich wichtig ist

Die Forscher wollten wissen: Ist das Modell klug, weil es die Antworten auswendig gelernt hat, oder weil es die Form der Kurven gelernt hat?

Sie versuchten, das Modell ohne die zusätzlichen „Antwortschlüssel“ (Hilfslabels) zu trainieren. Es funktionierte fast genauso gut. Dies beweist, dass das Modell die Form und das Muster der Daten gelernt hat, nicht nur die Labels.
Sie fanden auch heraus, dass das Modell sich hauptsächlich auf die Gesamtverteilung der Datenpunkte (den allgemeinen Trend der Kurve) konzentriert und nicht auf die strikte Reihenfolge jedes einzelnen Punktes. Es ist wie das Erkennen eines Liedes anhand seiner Melodie, anstatt jeden einzelnen Ton zu zählen.

5. Warum das nützlich ist

Das Paper kommt zu dem Schluss, dass Tox21mer eine universelle „Sprache“ für diese chemischen Kurven schafft. Da es diese Sprache so gut versteht, kann es als Grundlage dienen, um:

Zu vorhersagen, wie neue, ungetestete Chemikalien reagieren könnten, indem man dieses Modell mit chemischen Daten kombiniert.
Kleinere, einfachere Modelle (sogenannte „Studenten-Modelle“) anzuleiten, dieselbe Aufgabe zu erfüllen, was ein massives Screening von Chemikalien außerhalb der ursprünglichen Bibliothek ermöglicht.

Kurz gesagt ist Tox21mer ein Werkzeug, das unordentliche, komplexe chemische Graphen in klare, verständliche Daten verwandelt und es Wissenschaftlern ermöglicht, das chemische Verhalten mit hoher Geschwindigkeit und Genauigkeit vorherzusagen.

Technisches Resümee: Tox21mer

Problemstellung
Die US-amerikanische Tox21-Kollaboration hat eine massive Referenzbibliothek für hochdurchsatzbasierte Konzentrations-Wirkungs-Assays (CR-Assays) erstellt. Die effektive Nutzung dieser Daten erfordert jedoch robuste Methoden, um komplexe CR-Kurven zusammen mit den zugehörigen Assay-Metadaten in einheitliche Repräsentationen zu kodieren. Traditionelle Ansätze haben oft Schwierigkeiten, die nuancierten Muster innerhalb dieser Kurven zu erfassen oder auf nicht getestete Verbindungen ohne umfangreiches Retraining zu generalisieren.

Methodik
Die Autoren führen Tox21mer ein, ein Transformer-basiertes Foundation-Modell mit 43,5 Millionen Parametern, das speziell für Tox21-Daten entwickelt wurde.

Architektur und Input: Das Modell kodiert einzelne Konzentrations-Wirkungs-Kurven kombiniert mit Assay-Metadaten in eine feste 768-dimensionale Vektorrepräsentation.
Pretraining-Strategie: Tox21mer wurde auf etwa 2,5 Millionen Kurven vortrainiert, die aus 102 verschiedenen Assay-Protokollen und 6.727 Verbindungen stammen. Das primäre Trainingsziel war die Masked-Response-Rekonstruktion, eine selbstüberwachte Aufgabe (self-supervised task), bei der das Modell lernt, fehlende Werte innerhalb einer Kurve vorherzusagen.
Auxiliäre Supervision: Um das Lernen zu verbessern, nutzte das Modell schwach gewichtete auxiliäre Supervision-Aufgaben zur Vorhersage des Assay-Ergebnisses (z. B. aktiv/inaktiv) und des AC50-Wertes, wobei diese sekundär zum selbstüberwachten Ziel waren.
Evaluationsprotokoll: Die Qualität der gelernten Repräsentationen wurde bewertet, indem leichte „Probe“-Modelle auf eingefrorenen Embeddings trainiert wurden. Diese Probes wurden auf Konzentrations-Wirkungs-Kurven von Verbindungen getestet, die während des Pretrainings zurückgehalten wurden.

Wichtigste Ergebnisse
Die Evaluierung zeigte, dass die gelernten Embeddings äußerst effektiv für Downstream-Aufgaben sind:

Klassifikationsleistung: Das Modell erreichte einen Macro-F1-Score von 0,985 für die Drei-Klassen-Ergebnisvorhersage (Agonist, Antagonist, Inaktiv) und einen binären F1-Score von 0,994 für die Aktiv/Inaktiv-Klassifizierung.
Regressionsleistung: Für die Vorhersage der Potenzmetrik erreichte das Modell ein $R^2$ von 0,87 für $\log_{10}(\text{AC50})$ .
Qualität der Repräsentation: Die Embeddings bildeten kohärente Gruppierungen basierend auf Kurven-Klassen-Kategorien, was darauf hindeutet, dass das Modell erfolgreich strukturelle Ähnlichkeiten im Dosis-Wirkungs-Verhalten erfasst hat.
Ablationsstudien:
- Eine Variante, die ausschließlich mit dem Masked-Response-Ziel (ohne auxiliäre Labels) trainiert wurde, behielt eine Leistung nahe am Baseline-Wert bei, was darauf hindeutet, dass die Repräsentation primär durch das selbstüberwachte Ziel und weniger durch die auxiliären Labels gelernt wird.
- Weitere Analysen ergaben, dass die Vorhersageleistung hauptsächlich auf der Verteilung der Antwortwerte auf Kurvenebene basiert, die unter Berücksichtigung des Assay-Kontexts erfolgt, mit einer begrenzten Abhängigkeit von der detaillierten Anordnung der Punkte innerhalb einer spezifischen Kurve.

Bedeutung und Ansprüche
Das Paper positioniert Tox21mer als wiederverwendbare Foundation-Repräsentation für Tox21-Konzentrations-Wirkungs-Daten. Die primäre Bedeutung liegt in der Fähigkeit, die Extrapolation auf nicht getestete Verbindungen zu unterstützen. Die Autoren behaupten, dass dies durch zwei Hauptwege erreicht werden kann:

Integration mit chemischen Merkmalen: Kombination der Kurven-Embeddings mit molekularen Deskriptoren.
Destillation: Übertragung des gelernten Wissens auf rein chemiebasierte Student-Modelle, um groß angelegte externe Screenings zu erleichtern.

Die Arbeit betont, dass die Fähigkeiten des Modells größtenteils aus dem selbstüberwachten Lernen von Kurvenmustern resultieren, was eine skalierbare Lösung für die Analyse von Hochdurchsatz-Toxikologiedaten bietet, ohne stark auf gelabelte Ergebnisse für jede neue Aufgabe angewiesen zu sein.