MolSanity: A Reliability Audit for Feature Attributions on Molecular Graph Neural Networks
MolSanity führt ein umfassendes Zuverlässigkeitsaudit-Framework für die Merkmalsattribuierung molekularer Graph-Neural-Netzwerke ein, das aufzeigt, dass die Treue zum Modell nicht mit chemischer Korrektheit oder der Lokalisierung der Grundwahrheit korreliert, insbesondere unter Scaffold-Shifts, und damit demonstriert, dass die Zuverlässigkeit von Erklärungen auf einer Fall-für-Fall-Basis bewertet werden muss, anstatt sie allein aus Treuemetriken abzuleiten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt der Wirkstoffforschung verlassen sich Wissenschaftler oft auf künstliche Intelligenz, um vorherzusagen, wie sich eine neue chemische Verbindung im menschlichen Körper verhalten wird. Diese Systeme, bekannt als Graph Neural Networks, behandeln Moleküle als Ansammlungen von Atomen, die durch Bindungen verbunden sind, ähnlich wie eine Karte von Städten und Straßen. Wenn die KI eine Vorhersage trifft, etwa indem sie eine Verbindung als potenziell toxisch markiert, ist es gängige Praxis, das System nach seiner Begründung zu fragen. Die KI antwortet, indem sie bestimmte Atome auf dem Molekül hervorhebt und so eine Heatmap erstellt, die suggeriert, welche Teile der chemischen Struktur am wichtigsten für die Entscheidung waren. Chemiker vertrauen diesen Karten, um ihre Arbeit zu leiten, unter der Annahme, dass die hervorgehobenen Atome die wahren chemischen Treiber des Ergebnisses sind.
Eine neue Studie enthüllt jedoch eine beunrugende Diskrepanz zwischen dem, was diese KI-Systeme zu sagen behaupten, und dem, was sie tatsächlich getan haben. Die Forschung führt ein strenges Audit namens MolSanity ein, das darauf ausgelegt ist, zu testen, ob diese Erklärungen zuverlässig sind. Das zentrale Ergebnis ist, dass eine Erklärung perfekt mit der internen Logik der KI übereinstimmen kann, während sie in Bezug auf die Chemie völlig falsch liegt. Mit anderen Worten: Das System kann ehrlich über seinen eigenen Denkprozess sein, doch dieser Prozess kann auf einem Missverständnis des Moleküls basieren. Diese Unterscheidung ist wichtig, denn wenn ein Wissenschaftler sich auf eine irreführende Heatmap verlässt, könnte er ein vielversprechendes Medikament verwerfen oder, schlimmer noch, ein gefährliches verfolgen, in dem Glauben, die KI habe den korrekten chemischen Verursacher identifiziert, obwohl dies nicht der Fall ist.
Die Forscher begannen, diese Lücke zu untersuchen, indem sie eine breite Palette bestehender KI-Tools einsetzten und sie gegen eine massive Sammlung molekularer Daten testeten. Sie erfanden keine neue Art, Erklärungen zu generieren; stattdessen nahmen sie die Standardwerkzeuge, die in der wissenschaftlichen Gemeinschaft verwendet werden, und unterzogen sie einem strengen Zuverlässigkeitsaudit. Dieses Audit untersuchte jede mögliche Kombination aus Datensatz, KI-Architektur, Erklärungsmethode und Datenaufteilung. Sie maßen zwei verschiedene Dinge: Treue (Faithfulness) und Korrektheit (Correctness). Treue fragt, ob die Erklärung die internen Berechnungen des Modells korrekt widerspiegelt. Wenn das Modell sagt: „Ich habe auf dieses Atom geschaut“, zeigt die Erklärung dann auf dieses Atom? Korrektheit fragt, ob die Erklärung das tatsächliche chemische Merkmal identifiziert, das die Eigenschaft bestimmt. Wenn das Modell Toxizität vorhersagt, zeigt die Erklärung dann auf den toxischen Teil des Moleküls?
Die Studie fand heraus, dass diese beiden Qualitäten nicht miteinander verknüpft sind. Eine Methode kann hochgradig treu sein, also das Verhalten des Modells perfekt beschreiben, und dennoch völlig inkorrekt sein, indem sie auf die falschen chemischen Merkmale zeigt. Tatsächlich wählte ein Rankingsystem, das die beste Erklärungsmethode allein basierend auf der Treue auswählte, in zwanzig von dreißig Tests die falsche Methode aus. Die Forscher testeten dies unter zwei Bedingungen: wenn die KI auf Molekülen getestet wurde, die denen, mit denen sie trainiert wurde, ähnlich sind, und wenn sie auf völlig neuen chemischen Strukturen getestet wurde – ein Szenario, das als Scaffold Shift bezeichnet wird und die reale Wirkstoffforschung nachbildet. Das Scheitern war nicht auf diese schwierigen neuen Fälle beschränkt; es geschah genauso häufig in den vertrauten Fällen. In einem spezifischen Fall mit einem bekannten Datensatz zeigte die treueste Methode auf Atome, die das exakte Gegenteil der wahren toxischen Gruppe waren, während die Methode, die die toxische Gruppe korrekt identifizierte, als weniger treu eingestuft wurde.
Dieser Mangel an Verbindung bedeutet, dass es keine einzelne „beste“ Erklärungsmethode gibt, die in jeder Situation funktioniert. Die Zuverlässigkeit einer Erklärung hängt von der spezifischen Kombination aus Datensatz, KI-Modell und der Methode ab, die zur Generierung der Erklärung verwendet wird. Die Forscher entdeckten, dass während das Ranking der Erklärungsmethoden über verschiedene Arten von Molekülen hinweg relativ stabil blieb, die Beziehung zwischen Treue und Korrektheit stark variierte. Auf einigen Datensätzen waren die beiden positiv verknüpft; auf anderen waren sie negativ verknüpft. Diese Inkonsistenz bedeutet, dass ein Wissenschaftler nicht einfach die Methode wählen kann, die in der Treue am höchsten punktet, und erwarten kann, dass sie auch korrekt ist. Die Studie widerlegt explizit die Vorstellung, dass Treue ein zuverlässiger Stellvertreter für Korrektheit sei, und zeigt, dass ein hoher Wert in der einen Kategorie keinen hohen Wert in der anderen garantiert.
Das Audit untersuchte auch, wie sich diese Erklärungen verhalten, wenn die KI sicher ist versus wenn sie falsch liegt. Die Forscher fanden heraus, dass die Erklärung oft treuer gegenüber der internen Logik des Modells wird, wenn die KI eine sichere, aber falsche Vorhersage trifft, während sie gleichzeitig hinsichtlich der Chemie ungenauer wird. Dies schafft eine gefährliche Falle: Je sicherer sich die KI bei einer falschen Antwort ist, desto überzeugender mag ihre Erklärung erscheinen, obwohl die Erklärung den Wissenschaftler in die Irre führt. Darüber hinaus zeigte die Studie, dass die Wahl der zugrunde liegenden KI-Architektur maßgeblich beeinflusst, wie gut eine Erklärung die wahren chemischen Merkmale lokalisieren kann, unabhängig von der verwendeten Erklärungsmethode. Dies deutet darauf hin, dass die Zuverlässigkeit einer Erklärung eine Eigenschaft des Gesamtsystems ist und nicht nur des Werkzeugs, mit dem die Heatmap erstellt wird.
Letztendlich dient diese Arbeit als notwendige Realitätsprüfung für das Feld der Künstlichen Intelligenz in der Chemie. Sie zeigt, dass die derzeitige Praxis, KI-Erklärungen ohne Überprüfung gegen bekannte chemische Wahrheiten zu vertrauen, riskant ist. Die Forscher stellen einen Rahmen für das Audit dieser Systeme bereit, aber ihre primäre Schlussfolgerung ist eine negative: Es gibt kein universelles Gesetz, das garantiert, dass eine treue Erklärung auch eine korrekte ist. Für den medizinischen Chemiker, der eine Heatmap betrachtet, impliziert die Studie, dass die hervorgehobenen Atome nicht zwangsläufig die Atome sind, die zählen. Der einzige Weg zu wissen, ob eine Erklärung vertrauenswürdig ist, besteht darin, sie gegen die „Ground Truth“ zu testen – ein Luxus, der in der realen Wirkstoffforschung selten verfügbar ist. Bis diese Lücke geschlossen ist, ist der zuverlässigste Ansatz, diese Erklärungen als Hypothesen zu behandeln, die getestet werden müssen, statt als Fakten, die akzeptiert werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.