Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

Diese Studie führt ein umfassendes Benchmarking verschiedener maschineller Lern- und Deep-Learning-Architekturen zur Vorhersage der Aktivität nuklearer Rezeptoren aus Tox21-Assays durch und zeigt, dass die Modellleistung stark von der Klassenungleichgewichtigkeit abhängt, wobei baumbasierte Modelle bei höheren Anteilen aktiver Chemikalien und Deep-Learning-Modelle bei moderaten Anteilen besser abschneiden.

Das Wesentliche

Titel: Wie KI Chemikalien auf ihre Gefährlichkeit prüft – Eine Reise durch die Welt der Hormon-Rezeptoren

Stellen Sie sich vor, Sie haben einen riesigen Koffer voller verschiedener Chemikalien – von Putzmitteln über Plastik bis hin zu Medikamenten. Die Frage ist: Welche dieser Stoffe stören das empfindliche Hormonsystem von Menschen und Tieren? Um das herauszufinden, müssen wir testen, wie sie mit unseren „Schlüssellöchern" im Körper interagieren, die wir Nukleäre Rezeptoren nennen. Diese Rezeptoren sind wie Türsteher, die entscheiden, ob ein Hormon (der Schlüssel) hereinkommt und einen Prozess startet. Wenn eine Chemikalie diesen Türsteher fälschlicherweise öffnet oder blockiert, kann das zu schweren Gesundheitsproblemen führen.

Früher musste man dafür tausende Tiere im Labor testen. Das ist teuer, dauert lange und ethisch problematisch. Deshalb haben die Forscher in diesem Papier eine digitale Lösung entwickelt: Sie haben künstliche Intelligenz (KI) trainiert, um diese Tests am Computer durchzuführen.

Hier ist die einfache Erklärung dessen, was sie getan haben und was sie herausfanden:

1. Das große Daten-ABC: Der Tox21-Schatz

Die Forscher haben Zugriff auf eine riesige digitale Bibliothek namens Tox21. Stellen Sie sich das wie eine gigantische Datenbank vor, in der fast 10.000 verschiedene Chemikalien bereits in kleinen Laborversuchen getestet wurden. Sie haben sich daraus 43 spezifische „Aufgabenblätter" (Datensätze) herausgesucht, die sich alle auf die 18 wichtigsten Hormon-Rezeptoren beziehen.

2. Die KI-Schüler: Drei verschiedene Teams

Um herauszufinden, welche KI am besten lernt, haben sie drei verschiedene Teams von Algorithmen gegeneinander antreten lassen:

• Team Klassisch (Maschinelles Lernen): Diese Modelle schauen sich die Chemikalien wie einen Chemiker an, der eine Checkliste abarbeitet. Sie nutzen mathematische Beschreibungen (Deskriptoren) und Fingerabdrücke der Moleküle.
  • Das Ergebnis: Wenn es viele „aktive" (gefährliche) Chemikalien in der Testgruppe gibt (mehr als 10%), sind diese klassischen Modelle wie erfahrene Handwerker: Sie arbeiten mit Zufallswäldern (Random Forest) und XGBoost (starke Entscheidungsbäume) am besten. Sie nutzen die detaillierten chemischen Beschreibungen am effektivsten.
• Team Tiefenlernen (Deep Learning): Diese Modelle sind wie Schüler, die versuchen, das Muster selbst zu erkennen, ohne eine Checkliste zu haben. Sie schauen sich die Struktur der Moleküle als Graphen an.
  • Das Ergebnis: Wenn die Daten etwas knapper sind (5–10% aktive Chemikalien), sind diese Modelle robuster. Sie können auch mit weniger „Beispielen" gut umgehen.
• Team Moderne Transformer (Die Sprach-KIs): Diese Modelle (wie ChemBERTa oder MolRAG) behandeln chemische Formeln wie einen Text. Sie lesen die chemische Formel (SMILES) wie einen Satz und versuchen, die Bedeutung zu verstehen.
  • Das Ergebnis: Sie waren gut, aber in diesem speziellen Rennen nicht die absoluten Gewinner. Sie haben oft nicht so gut abgeschnitten wie die klassischen Modelle, besonders wenn die Daten sehr unausgewogen waren.

3. Das Problem mit den „Einsamen Inseln"

Ein sehr spannendes Ergebnis der Studie ist die Entdeckung eines „blinden Flecks".
Stellen Sie sich vor, Sie lernen, Autos zu erkennen. Wenn Sie nur rote und blaue Autos gesehen haben, erkennen Sie ein rotes Auto sofort. Aber wenn plötzlich ein grünes, fliegendes Auto auftaucht, das niemandem sonst gleicht, werden Sie es wahrscheinlich nicht erkennen.

Genau das passiert mit den KI-Modellen bei den Chemikalien:

• Etwa 40% der Chemikalien, die die KI falsch einschätzte, waren wie diese „fliegenden grünen Autos". Sie hatten in der Trainingsdatenbank keine strukturellen Verwandten. Sie waren isolierte Inseln im Meer der Chemikalien.
• Da die KI keine ähnlichen Beispiele in ihrer Erinnerung hatte, konnte sie nicht raten, ob diese einzigartigen Stoffe gefährlich sind oder nicht. Das ist eine fundamentale Grenze: KI kann nur das lernen, wovon sie Beispiele hat.

4. Der Realitätscheck: Funktioniert es auch in der echten Welt?

Um zu prüfen, ob ihre Modelle nicht nur im Computer gut sind, haben sie sie mit echten Daten aus anderen Quellen (sowohl aus Zellkulturen als auch aus Tierversuchen) verglichen.

• Das Ergebnis: Für bestimmte Rezeptoren (wie den Androgen-Rezeptor, der für männliche Hormone zuständig ist) stimmten die Vorhersagen der KI sehr gut mit der Realität überein.
• Die Ausnahme: Bei komplexeren Szenarien, bei denen der Körper die Chemikalie erst noch verarbeiten muss (Stoffwechsel), bevor sie wirkt, waren die Modelle manchmal unsicher. Das ist verständlich, denn die KI wurde nur mit einfachen Labor-Daten trainiert, nicht mit dem ganzen menschlichen Körper.

5. Fazit: Was lernen wir daraus?

Diese Studie ist wie ein großer Wettkampf, um herauszufinden, welches Werkzeug am besten für welchen Job geeignet ist:

• Wenn viele Beispiele da sind: Nutzen Sie die klassischen, bewährten Modelle mit chemischen Beschreibungen.
• Wenn die Daten knapp sind: Die tieferen Lernmodelle sind oft robuster.
• Die große Warnung: KI ist nur so gut wie die Daten, mit denen sie gefüttert wurde. Wenn eine Chemikalie so einzigartig ist, dass sie in der Datenbank keine Verwandten hat, wird die KI wahrscheinlich versagen.

Warum ist das wichtig?
Diese Forschung hilft uns, neue, schnellere und ethischere Methoden zu entwickeln, um Chemikalien zu testen. Anstatt Tausende von Tieren zu opfern, können wir in Zukunft viele Stoffe zuerst am Computer screenen. Nur die vielversprechendsten oder verdächtigsten müssen dann noch im Labor geprüft werden. Es ist ein großer Schritt hin zu einer sichereren Welt, in der wir Umweltschadstoffe schneller erkennen können.

Technische Zusammenfassung

Titel: Benchmarking von künstlichen Intelligenz-Modellen zur Vorhersage der Aktivität nuklearer Rezeptoren basierend auf Tox21-Assays

1. Problemstellung und Motivation

Nukleare Rezeptoren sind entscheidende Transkriptionsfaktoren, die durch Hormone, Steroide und Vitamine reguliert werden. Sie sind primäre Ziele für xenobiotische endokrine Disruptoren (EDCs), die schwerwiegende gesundheitliche Schäden verursachen können. Traditionelle tierbasierte Tests sind teuer, zeitaufwendig und ethisch bedenklich. Daher besteht ein dringender Bedarf an zuverlässigen in silico-Modellen (Computergestützte Methoden) und in vitro-Ansätzen, um Chemikalien auf endokrine Disruptivität zu screenen.

Obwohl das Tox21-Programm umfangreiche Bioaktivitätsdaten generiert hat, gibt es in der aktuellen Forschung folgende Lücken:

• Viele Studien nutzen veraltete oder eingeschränkte Datensätze (z. B. Tox21 Data Challenge), die keine Unterscheidung zwischen Agonismus und Antagonismus treffen.
• Es fehlt ein systematischer Vergleich verschiedener KI-Architekturen (ML, DL, Transformer) in Kombination mit unterschiedlichen chemischen Repräsentationen über einen breiten Spektrum nuklearer Rezeptoren.
• Der Einfluss von Klassenungleichgewicht (Class Imbalance) und der strukturellen Verteilung der Daten im chemischen Raum auf die Modellleistung ist unzureichend verstanden.

2. Methodik

Datengrundlage und Curierung:

• Quelle: ToxCast invitrodb v4.3.
• Auswahl: 43 Datensätze wurden für 18 nukleare Rezeptoren (einschließlich AHR) systematisch kuratiert.
• Chemikalien: Ausgehend von 9.800 Chemikalien wurden nach Bereinigung (Salzentfernung, Duplikate, Strukturvalidierung) 8.430 Verbindungen mit 2D- und 3D-Strukturen für die Analyse verwendet.
• Labeling: Chemikalien wurden als "aktiv" (Hit-Call ≥ 0,9) oder "inaktiv" klassifiziert. Inkonsistente Labels wurden ausgeschlossen. Für Rezeptoren mit beiden Datenlagen (Agonist/Antagonist) wurden kombinierte Profile erstellt.

Merkmalsrepräsentation (Feature Engineering):

• Deskriptoren: 2D- und 3D-molekulare Deskriptoren (berechnet mit PaDEL und RDKit, insgesamt >2.000 Merkmale).
• Fingerabdrücke: MACCS, Morgan (ECFP4, FCFP4) und Layered Fingerprints.
• SMILES: Als Eingabe für Transformer-Modelle.

Modell-Architekturen (Benchmarking):
Es wurden 54 Modelle pro Datensatz getestet, unterteilt in drei Kategorien:

1. Traditionelles Machine Learning (ML): 7 Algorithmen (Logistic Regression, Decision Tree, Random Forest, Gradient Boosting, XGBoost, SVM, MLP) in Kombination mit Deskriptoren, Fingerprints oder einer Mischung.
2. Deep Learning (DL): Dual-Graph Neural Network Contrastive Learning (DGCL), das Graph-Neuronale Netze (GAT, GIN) mit Fingerprints oder Deskriptoren kombiniert.
3. Transformer-basierte Modelle: ChemBERTa, MoLFORMER und MolRAG (ein Retrieval-Augmented-Generation-Ansatz mit Chain-of-Thought-Reasoning basierend auf Llama 3).

Validierungsstrategie:

• Aufteilung: Stratifiziertes Train-Test-Splitting (80/20 oder 80/10/10) unter Verwendung mehrerer Random Seeds zur Sicherstellung der Stabilität.
• Umgang mit Klassenungleichgewicht: Einsatz von SMOTE (Synthetic Minority Oversampling) und F1-Score als primäre Metrik (statt Accuracy).
• Anwendbarkeitsbereich (Applicability Domain - AD): Analyse mittels DA-Index (k-NN-basiert), um die Zuverlässigkeit von Vorhersagen für neue Chemikalien zu bewerten.
• Externe Validierung: Nutzung unabhängiger in vivo und in vitro Daten für Androgen- (AR) und Östrogenrezeptoren (ERα, ERβ) aus dem NTP ICE-Dashboard.

3. Wichtige Beiträge und Ergebnisse

Einfluss des Klassenungleichgewichts und der Merkmalsarten:

• Hoher Anteil aktiver Chemikalien (>10%): Tree-basierte ML-Modelle (Random Forest, XGBoost), trainiert mit Deskriptoren oder einer Kombination aus Deskriptoren und Fingerprints, erzielten konsistent die besten Ergebnisse.
• Mittlerer Anteil (5–10%): Deep-Learning-Modelle (insbesondere DGCL mit Deskriptoren) zeigten eine größere Robustheit und übertrafen oft die ML-Modelle.
• Sehr geringer Anteil (<5%): Keine klaren Trends; die Leistung war stark datensatzabhängig.
• Transformer-Modelle: MoLFORMER schnitt unter den Transformern am besten ab, blieb aber in den meisten Fällen hinter den besten ML- und DL-Modellen zurück. MolRAG zeigte aufgrund der strukturellen Isolation vieler aktiver Verbindungen schwächere Leistungen.

Strukturelle Analyse des chemischen Raums:

• Eine Analyse der Chemischen Ähnlichkeitsnetzwerke (CSN) ergab, dass etwa 40% der falsch klassifizierten aktiven Chemikalien isolierte Knoten im Netzwerk waren.
• Schlussfolgerung: Diese Chemikalien haben keine strukturellen Analoga im Trainingsset, was es den Modellen erschwert, generalisierbare Muster zu lernen. Dies ist ein kritischer Faktor für Misclassifications, der über das reine Klassenungleichgewicht hinausgeht.

Externe Validierung:

• Die Modelle zeigten eine gute Übereinstimmung bei AR-Agonisten und ERα-Agonisten (sowohl in vitro als auch in vivo).
• Bei AR-Antagonisten in vivo und ERβ-Agonisten in vivo war die Leistung geringer. Dies wird auf komplexe biologische Prozesse (z. B. Metabolismus, Toxikokinetik) zurückgeführt, die in in vitro-Tox21-Daten nicht vollständig erfasst werden.

Vergleich mit der Literatur:

• Der systematische Literaturvergleich (207 Studien, 49 relevant) zeigte, dass die in dieser Studie entwickelten Modelle ein breiteres Spektrum an Architekturen und Endpunkten abdecken.
• Die erzielten F1-Scores waren in den meisten Fällen vergleichbar oder besser als in früheren Studien, wobei Verbesserungen oft durch die Nutzung von Deskriptoren in Kombination mit modernen ML-Methoden (RF, XGBoost) erreicht wurden.

4. Bedeutung und Fazit

Diese Studie liefert einen umfassenden Benchmark für KI-Modelle zur Vorhersage der Aktivität nuklearer Rezeptoren. Die wichtigsten Erkenntnisse sind:

1. Kein "One-Size-Fits-All": Die Wahl des optimalen Modells hängt stark vom Anteil der aktiven Verbindungen im Datensatz ab. Deskriptor-basierte ML-Modelle dominieren bei weniger unausgewogenen Daten, während DL-Modelle bei moderateren Ungleichgewichten robuster sind.
2. Strukturelle Isolation als Limitierung: Die Existenz von aktiven Chemikalien in isolierten Regionen des chemischen Raums ist eine fundamentale Herausforderung für in silico-Vorhersagen, die durch reine Datenvergrößerung allein nicht gelöst werden kann.
3. Rolle der Deskriptoren: Die Integration molekularer Deskriptoren verbessert die Vorhersagegenauigkeit signifikant, insbesondere im Vergleich zu reinen Fingerabdruck- oder SMILES-basierten Ansätzen in diesem Kontext.
4. Beitrag zu NAMs: Die Ergebnisse tragen zur Weiterentwicklung von "New Approach Methodologies" (NAMs) bei, indem sie evidenzbasierte Leitlinien für die Auswahl von Modellen und Merkmalen zur Risikobewertung endokriner Disruptoren liefern.

Trotz der Einschränkungen (z. B. Abhängigkeit von externen Werkzeugen zur Deskriptor-Berechnung, Limitationen bei extremen Klassenungleichgewichten) bietet die Studie einen wertvollen Rahmen für die Entwicklung zuverlässigerer in silico-Werkzeuge im Bereich der Toxikologie.