Conformal Prediction for Molecular Properties under Label Shift
Dieses Paper führt ein Framework für konforme Prädiktion ein, das auf Label Shift zugeschnitten ist und statistisch fundierte Vorhersageintervalle für molekulare Eigenschaften generiert, indem es Scores mit marginalen Label-Wahrscheinlichkeitsverhältnissen gewichtet und dadurch die Zuverlässigkeit und regulatorische Konformität der KI-gestützten Wirkstoffforschung ohne eine Notwendigkeit zur Modell-Retrainings verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Reise von der Umwandlung einer chemischen Verbindung in ein lebensrettendes Medikament ist ein Marathon der Ungewissheit. Es ist ein Prozess, der mehr als ein Jahrzehnt dauern und Milliarden von Dollar kosten kann und oft im Scheitern endet, weil ein Molekül, das in einem Computermodell perfekt aussah, sich in einem lebenden Körper unvorhersehbar verhält. Um dies zu beschleunigen, verlassen sich Wissenschaftler zunehmend auf künstliche Intelligenz, um vorherzusagen, wie ein neues Molekül reagieren wird, etwa ob es sich in Wasser auflöst oder eine Zelle vergiftet. Diese digitalen Vorhersagen sind jedoch nur so gut wie die Daten, mit denen sie trainiert wurden. Wenn ein Modell auf einen neuen Typ von Molekül stößt, der sich signifikant von den untersuchten Beispielen unterscheidet, kann sein Vertrauen zu einem Haftungsrisiko werden, indem es eine einzige, präzise Zahl liefert, die zwar selbstbewusst, aber falsch ist. Um diese Werkzeuge für den realen Einsatz sicher zu machen, müssen Forscher einen Weg finden, nicht nur die Antwort selbst, sondern auch die Zuverlässigkeit dieser Antwort zu messen, insbesondere wenn sich die Spielregeln ändern.
In einer kürzlich durchgeführten Studie befassten sich Forscher des Mogam Institute for Biomedical Research und von Intellicode mit genau diesem Problem der sich ändernden Regeln, was in Fachkreisen als Label Shift bekannt ist. Dies tritt auf, wenn sich die Verteilung der Eigenschaften, die ein Modell vorherzusagen versucht, zwischen der Trainingsphase und der realen Anwendung ändert. Beispielsweise könnte ein Modell an einer Vielzahl gängiger Moleküle trainiert worden sein, dann aber gefragt werden, seltene Verbindungen mit außergewöhnlich hoher Potenz zu finden. In einem solchen Szenario bricht die Standardmethode zur Messung der Unsicherheit zusammen und führt oft zu Vorhersageintervallen, die zu eng sind, um den wahren Wert zu erfassen. Das Team entwickelte ein neues Framework, das die Konfidenzintervalle dieser KI-Vorhersagen anpasst, ohne die teuren zugrunde liegenden Modelle neu trainieren zu müssen. Durch die Verwendung einer statistischen Technik namens Conformal Prediction, die einen Bereich wahrscheinlicher Werte anstelle einer einzelnen Punktschätzung konstruiert, schufen sie ein System, das auch dann zuverlässig bleibt, wenn die Datenverteilung driftet.
Die Forscher testeten ihre Methode anhand eines großen Datensatzes von fast zehntausend Verbindungen mit bekannten Löslichkeitswerten, einem kritischen Faktor im Wirkstoffdesign. Sie setzten ein hochentwickeltes Sprachmodell ein, das auf Hunderten von Millionen chemischen Strukturen trainiert wurde, um ihre ursprünglichen Vorhersagen zu treffen. Um die reale Herausforderung des Label Shift zu simulieren, veränderten sie die Testdaten künstlich, sodass die Verteilung der Löslichkeitswerte vom Trainingsdatensatz abwich. Als sie die Standardmethode ohne Anpassung auf diese verschobenen Daten anwandten, versagte das System dabei, die wahren Werte so oft innerhalb der vorhergesagten Bereiche zu erfassen, wie es eigentlich sollte, was zu gefährlich übermäßig selbstbewussten Ergebnissen führte. Der traditionelle Ansatz, der davon ausgeht, dass die Testdaten den Trainingsdaten ähneln, konnte mit der Veränderung schlichtweg nicht Schritt halten.
Um dies zu beheben, führten die Forscher ein Gewichtungssystem ein, das wie eine korrigierende Linse für die Vorhersagen wirkt. Zuerst unterteilten sie die verfügbaren Daten in drei verschiedene Gruppen: eine zum Trainieren des Modells, eine zur Schätzung, wie sich die Datenverteilung verschoben hat, und eine dritte zur Kalibrierung der endgültigen Vorhersagebereiche. Mithilfe der zweiten Gruppe berechneten sie das Verhältnis zwischen der erwarteten Häufigkeit verschiedener Löslichkeitswerte in der neuen Umgebung gegenüber der alten. Sie wendeten diese Verhältnisse dann als Gewichte auf die Fehler an, die das Modell während der Kalibrierung machte. Dieser Prozess sagte dem System effektiv, dass es den Arten von Fehlern, die in den neuen Daten häufiger wurden, mehr Aufmerksamkeit schenken und jenen, die seltener wurden, weniger Aufmerksamkeit widmen sollte. Auf diese Weise konnten sie Vorhersageintervalle konstruieren, die ihre statistische Validität beibehielten und sicherstellten, dass der wahre Wert mit dem gewünschten Konfidenzniveau innerhalb des vorhergesagten Bereichs lag, unabhängig davon, wie sich die Daten verschoben hatten.
Die Ergebnisse ihrer Simulationen, die tausendmal wiederholt wurden, um Robustheit zu gewährleisten, zeigten eine klare Verbesserung. Während die Standardmethode unter Label Shift häufig Intervalle lieferte, die die wahren Werte verfehlten, stellte der neue gewichtete Ansatz die Abdeckung konsistent auf das Zielniveau wieder her. Die Forscher fanden heraus, dass die Methode am besten funktionierte, wenn sie eine spezifische statistische Technik namens Maximum Likelihood Estimation verwendeten, um die notwendigen Gewichte zu berechnen, obwohl auch andere Methoden vielversprechend waren. Interessanterweise neigte die genaueste Methode zur Wiederherstellung der Abdeckung dazu, etwas breitere Intervalle als die anderen zu erzeugen – ein Kompromiss, der eine ehrlichere Einschätzung der Unsicherheit widerspiegelt. Die Studie zeigte, dass es möglich ist, bestehende, leistungsstarke KI-Modelle an neue, sich verändernde chemische Landschaften anzupassen, ohne die prohibitiven Kosten eines kompletten Neu-Trainings in Kauf nehmen zu müssen.
Diese Arbeit bietet einen praktischen Weg für die Integration künstlicher Intelligenz in das hochsensible Umfeld der Arzneimittelentwicklung. Indem sie einen Weg aufzeigt, statistisch rigorose Konfidenzmaße zu generieren, die sich an verändernde Bedingungen anpassen, hilft das Framework dabei, die Lücke zwischen theoretischer Modellleistung und den regulatorischen Anforderungen an Transparenz zu schließen. Es stellt sicher, dass Wissenschaftler, wenn sie eine Vorhersage für ein neuartiges Molekül betrachten, nicht nur eine Zahl sehen, sondern eine realistische Einschätzung seines Potenzials, ergänzt um ein klares Verständnis der damit verbundenen Risiken. Dieser Übergang von blinder Zuversicht zu gemessener Zuverlässigkeit ist ein entscheidender Schritt, um die KI zu einem vertrauenswürdigen Partner bei dem milliardenschweren Unterfangen zu machen, neue Medikamente zu Patienten zu bringen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.