CardioSafe: Multi-task prediction of cardiac ion channel activity with reverse-leak audited benchmarking

CardioSafe ist ein Multi-Task-Neurales Netz, das chemische und transkriptomische Merkmale integriert, um die Aktivität kardialer Ionenkanäle vorherzusagen, und dabei eine überlegene Leistung gegenüber bestehenden Methoden zeigt, sobald eine Reverse-Leak-Prüfung eine Kontamination der Trainingsdaten aufdeckte und entfernte, die zuvor die Benchmark-Ergebnisse für die Nav1.5- und Cav1.2-Kanäle künstlich aufgebläht hatte.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues, köstliches Rezept (ein neues Medikament) zu kreieren. Doch es gibt einen Haken: Manche Zutaten, obwohl schmackhaft, könnten versehentlich das wichtigste Sicherheitssystem der Küche vergiften – die elektrische Verkabelung des Herzens. Insbesondere ist eine Zutat (der hERG-Kanal) berüchtigt dafür, dass sie dazu führt, dass das Herz einen Schlag überspringt. Die neuen Kochregeln (das CiPA-Rahmenwerk) besagen jedoch, dass Sie nicht nur diese eine Zutat prüfen dürfen; Sie müssen testen, wie sich Ihr Rezept auf drei weitere elektrische Schalter im Herzen auswirkt (Nav1.5, Cav1.2 und IKs), um sicherzustellen, dass es sicher ist.

Das Problem: Der „betrügerische" Test
Wissenschaftler haben Computerprogramme entwickelt, um vorherzusagen, ob ein Medikament diese Herzschalter durcheinanderbringt. Doch es gibt einen versteckten Fehler in der Art und Weise, wie diese Programme zuvor getestet wurden. Es ist, als würde man einem Schüler einen Mathe-Test geben, ihm aber heimlich die Lösungen in die Tasche stecken, bevor die Prüfung beginnt. Die alten Computerprogramme wurden an Medikamenten getestet, die sie während ihres Trainings bereits „gesehen" hatten. Das ließ sie schlauer erscheinen, als sie tatsächlich waren, trieb ihre Punktzahlen in die Höhe und erzeugte ein falsches Sicherheitsgefühl.

Die Lösung: CardioSafe
Die Forscher bauten ein neues, superschlaueres Computerhirn namens CardioSafe. Stellen Sie es sich als einen dreiköpfigen Detektiv vor:

1. Kopf Eins betrachtet die chemische Form des Medikaments (wie das Überprüfen der Zutatenliste).
2. Kopf Zwei liest die „Persönlichkeit" des Medikaments mithilfe fortschrittlicher Sprachwerkzeuge (wie das Verstehen der Geschichte hinter den Zutaten).
3. Kopf Drei sagt voraus, wie das Medikament die inneren Anweisungen des Körpers verändert (wie das Raten, wie die Zutaten im Topf reagieren werden).

Diese drei Köpfe kommunizieren über ein „Cross-Attention"-System miteinander, was bedeutet, dass sie sich Notizen austauschen, um eine einzelne, hochpräzise Vorhersage zu treffen, ob das Medikament die elektrischen Schalter des Herzens blockieren wird.

Das Training: Eine riesige Bibliothek
Um CardioSafe zu unterrichten, nutzten die Forscher nicht nur ein kleines Notizbuch; sie bauten die weltweit größte Bibliothek von Medikamentsdaten, die Millionen von Datensätzen vereint. Sie waren sehr sorgfältig darin, die „schmutzigen" Daten (bei denen die Ergebnisse unklar waren) zu behalten, denn diese Daten wegzuwerfen wäre, als würde man ein Warnzeichen ignorieren, nur weil es schwer zu lesen ist.

Die große Enthüllung: Die „Reverse-Leak"-Prüfung
Hier kommt der aufregendste Teil. Die Forscher beschlossen, die anderen Computerprogramme selbst zu durchleuchten. Sie führten eine „Reverse-Leak"-Prüfung durch, was so ist, als würde man die Mülltonnen der anderen Schüler durchsuchen, um zu sehen, ob sie die Testantworten hatten.

Sie stellten fest, dass 22 % der Medikamente, die zum Testen des Nav1.5-Schalters verwendet wurden, und 21 % der Medikamente für den Cav1.2-Schalter tatsächlich in den Trainingsdaten der anderen Programme enthalten waren. Mit anderen Worten: Diese Programme hatten sich einfach die Antworten gemerkt, anstatt die Regeln zu lernen.

Das Ergebnis
Sobald die Forscher diese „betrügerischen" Medikamente aus dem Test entfernten:

• CardioSafe schnitt immer noch gut ab, was bewies, dass es tatsächlich die Regeln gelernt hatte.
• Die anderen Programme, die sich auf Auswendiglernen verließen, sahen plötzlich viel schlechter aus.

Als das Spielfeld geebnet und die „betrügerischen" Daten entfernt wurden, wurde statistisch nachgewiesen, dass CardioSafe die beste Vorhersage für die Sicherheit der kleineren, schwerer zu testenden Herzschalter trifft. Diese Studie zeigt, dass frühere Vergleiche unfair waren, weil sie die Datenlecks nicht aufdeckten, und etabliert einen neuen, ehrlichen Standard für die Vorhersage der Arzneimittelsicherheit.

Technische Zusammenfassung

Technische Zusammenfassung: CardioSafe

Problemstellung
Die zentrale Herausforderung besteht in der hohen Rate an Arzneimittelabgängen, die durch die arzneimittelinduzierte Hemmung des menschlichen ether-à-go-go-related gene (hERG)-Kaliumkanals verursacht wird, einem kritischen Faktor für die kardiale Sicherheit. Obwohl das Rahmenwerk des Comprehensive in Vitro Proarrhythmia Assay (CiPA) das Paradigma hin zur Bewertung des proarrhythmischen Risikos über Aktivitätsdaten mehrerer kardialer Ionenkanäle (insbesondere hERG, Nav1.5 und Cav1.2) verschoben hat, ist die experimentelle Generierung dieser Daten ressourcenintensiv. Bestehende computergestützte Modelle verfügen häufig nicht über die Kapazität, diverse Datenmodalitäten zu integrieren oder leiden unter Evaluationsverzerrungen, bei denen Testverbindungen in vergleichenden Benchmarks mit Trainingsdaten überlappen.

Methodik
Die Autoren stellen CardioSafe vor, ein dreizweigiges Multi-Task-Neuronales Netzwerk, das entwickelt wurde, um den Blocker-Status und die Potenz für hERG, Nav1.5 und Cav1.2 vorherzusagen, ergänzt durch einen explorativen Kopf für IKs. Die Architektur nutzt Cross-Attention-Fusion, um drei unterschiedliche Datenmodalitäten zu integrieren:

1. Chemische Fingerabdrücke: Strukturrepräsentationen der Verbindungen.
2. ChemBERTa-Embeddings: Kontextuelle molekulare Repräsentationen, die aus vortrainierten Sprachmodellen abgeleitet sind.
3. Vorhergesagte L1000-transkriptomische Merkmale: Genexpressionsprofile, die vorhergesagt werden, um den biologischen Kontext zu erfassen.

Das Modell wurde auf dem bisher größten öffentlich berichteten Datensatz für kardiale Ionenkanäle mit mehreren Kanälen trainiert. Dieser Datensatz kombiniert ChEMBL 36 und die hERGCentral-Datenbank und umfasst:

• 331.127 hERG-Verbindungen
• 3.160 Nav1.5-Verbindungen
• 1.138 Cav1.2-Verbindungen
• 115 IKs-Verbindungen

Ein wesentlicher methodischer Aspekt bei der Kuratierung des Datensatzes war eine pharmakologiebewusste Richtlinie, die zensierte Messwerte beibehielt und Stimmen basierend auf Hemmungsprozentsätzen nutzte, anstatt mehrdeutige Datenpunkte zu verwerfen.

Hauptbeiträge und Ergebnisse

• Leistung bei datenreichen Zielen: Unter Tanimoto-Ähnlichkeitskontrollierten Aufteilungen (die ein Leckage struktureller Ähnlichkeit zwischen Trainings- und Testdaten verhindern) übertraf CardioSafe führende veröffentlichte Vergleichsmodelle, insbesondere CToxPred2 und CardioGenAI, beim hERG-Vorhersagekopf.
• Statistische Inkonklusion bei kleineren Zielen: Initiale Evaluierungen an den kleineren Nav1.5- und Cav1.2-Köpfen lieferten im Vergleich zu denselben Benchmarks statistisch inconclusive Ergebnisse.
• Reverse-Leak-Audit: Ein kritischer Beitrag der Arbeit ist das „Reverse-Leak-Audit", das Datenkontamination in früheren Benchmarks untersuchte. Das Audit ergab, dass 22 % der Nav1.5- und 21 % der Cav1.2-Testverbindungen, die in früheren Studien verwendet wurden, in den Trainingsdaten der konkurrierenden Modelle vorhanden waren (wobei 92 % exakte Verbindungsübereinstimmungen waren).
• Korrigiertes Benchmarking: Nach Entfernung dieser kontaminierten Verbindungen erreichte die Leistung von CardioSafe an den Nav1.5- und Cav1.2-Köpfen im Vergleich zu den Vergleichsmodellen statistische Signifikanz. Diese Erkenntnis zeigt, dass frühere benchmarkübergreifende Vergleiche für diese Kanäle aufgrund von Überlappungen der Trainingsdaten künstlich aufgebläht waren.

Bedeutung
Die Arbeit behauptet, dass CardioSafe einen robusten Fortschritt in der Multi-Task-Vorhersage der kardialen Sicherheit darstellt, indem es chemische und transkriptomische Daten effektiv fusioniert. Seine primäre Bedeutung liegt nicht nur in der Vorhersagegenauigkeit, sondern in der methodischen Korrektur der Evaluierungsstandards des Fachgebiets. Indem die Autoren Datenlecks in früheren Benchmarks aufdecken und korrigieren, zeigen sie, dass frühere Bewertungen von Nav1.5- und Cav1.2-Modellen fehlerhaft waren. CardioSafe etabliert eine neue, rigoros geprüfte Baseline und beweist, dass Multi-Task-Learning mit diverser Merkmalsintegration, wenn es auf truly unabhängigen Daten evaluiert wird, bestehende Single-Task- oder weniger integrierte Ansätze signifikant übertreffen kann.