Auditing an AI-Agent Computational Drug-Discovery Workflow Through an SMPD1 Case Study

In der modernen Suche nach neuen Medikamenten verlassen sich Wissenschaftler oft auf leistungsstarke Computer, um zu simulieren, wie winzige Moleküle mit den Proteinen des Körpers interagieren könnten. Dieses Feld, bekannt als computergestützte Wirkstoffforschung (computational drug discovery), fungiert als Hochgeschwindigkeitsfilter, der es Forschern ermöglicht, Millionen potenzieller Kandidaten zu testen, noch bevor sie jemals Chemikalien im Labor mischen. Der Prozess beinhaltet das Aneinanderreihen verschiedener digitaler Werkzeuge: Datenbanken, die bekannte biologische Zielstrukturen auflisten, Motoren, die vorhersagen, wie Moleküle wie Puzzleteile zusammenpassen, und Simulationsprogramme, die beobachten, wie sich diese Strukturen im Laufe der Zeit bewegen. Vor kurzem wurde eine neue Ebene der Automatisierung hinzugefügt: KI-Agenten. Dies sind Softwareprogramme, die darauf ausgelegt sind, wie Forscher zu agieren, indem sie Entscheidungen treffen, Simulationen durchführen und Berichte schreiben, indem sie diese Werkzeuge eigenständig miteinander verbinden. Das Versprechen ist ein schnellerer, effizienterer Weg zu Heilmitteln, aber das Risiko besteht darin, dass diese automatisierten Systeme subtile Fehler machen könnten – Verwechslung von Maßeinheiten, Verwechslung ähnlicher Proteine oder Fehlinterpretation von Daten –, die ihre eigenen internen Kontrollen überstehen und zu falschen Schlussfolgerungen führen.

Eine aktuelle Studie von Yiming Zuo von der Wuhan University of Technology stellt diesen neuen automatisierten Ansatz einem strengen Test unter. Der Forscher führte nicht einfach nur eine Kampagne zur Wirkstoffforschung durch; er baute ein System, in dem ein KI-Agent versuchte, einen Wirkstoffkandidaten für ein spezifisches menschliches Enzym namens SMPD1 zu finden, das mit kognitiver Beeinträchtigung in Verbindung gebracht wird, während ein zweiter, unabhängiger Agent als strenger Auditor fungierte. Das Ziel war es zu sehen, ob der automatisierte Arbeitsablauf zuverlässige Wissenschaft hervorbringen kann oder ob er einen kohärent erscheinenden Bericht voller versteckter Fehler generiert. Die Studie konzentrierte sich auf SMPD1, da es ein bekannter Akteur bei neurologischen Erkrankungen ist, aber die Forscher waren vorsichtig, die ursprünglichen Ergebnisse als Hypothesen zu behandseten, die getestet werden müssen, und nicht als bewiesene Fakten.

Der automatisierte Agent begann damit, Beweise zu sammeln, um SMPD1 als Zielstruktur zu nominieren. Er kompilierte Daten aus genetischen Datenbanken und wissenschaftlicher Literatur und wählte schließlich das Enzym basierend auf der Verfügbarkeit seiner 3D-Struktur und einem behaupteten Nutzen durch eine partielle Hemmung aus. Der Agent ging dann zum nächsten Schritt über: das virtuelle Screening. Er filterte eine Bibliothek von über 20.000 Molekülen auf einige tausend herunter, die vielversprechend aussah, führte eine Docking-Simulation durch, um zu sehen, wie gut sie in die aktive Stelle des Enzyms passen, und wählte die besten Kandidaten aus. Im Anschluss daran führte der Agent kurze Molekulardynamik-Simulationen durch – im Wesentlichen „Filme“, die zeigen, wie sich die Moleküle bewegen und interagieren –, um zu sehen, ob die besten Kandidaten an das Ziel gebunden bleiben. Schließlich sagte der Agent die Sicherheit und Synthetisierbarkeit dieser Kandidaten voraus und schlug einen chemischen Syntheseweg zu deren Herstellung vor. Oberflächlich betrachtet wirkte der Arbeitsablauf vollständig und erfolgreich und lieferte ein Narrativ, das den Weg zu einer neuen Therapie nahelegte.

Als der zweite Agent, der Auditor, jedoch die Rohdaten und die vom ersten Agenten unternommenen Schritte untersuchte, änderte sich die Geschichte dramatisch. Die Prüfung ergab, dass das anfängliche Vertrauen fehl am Platz war. Der signifikanteste Fehler war ein Fall von Identitätsverwechslung: Der Agent hatte SMPD1 mit einem sehr ähnlichen Enzym namens SMPD2 verwechselt. Die Daten, die der Agent nutzte, um die Richtung der Wirkung des Medikaments zu rechtfertigen, gehörten tatsächlich zu SMPD2 und nicht zu dem Ziel, das er eigentlich untersuchen sollte. Darüber hinaus stellte der Audit fest, dass der Agent Maßeinheiten vertauscht hatte, indem er Distanzen in Nanometern so bezeichnete, als wären sie Ångström, und dass er einen anderen Satz physikalischer Parameter für ein Metallion verwendet hatte, als er eigentlich zu verwenden vorgab. Dies waren keine geringfügigen Tippfehler; sie veränderten die Interpretation der Simulationsergebnisse grundlegend.

Die Folgen dieser Fehler waren schwerwiegend. Als der Auditor die Analyse mit den korrekten Einheiten und Parametern erneut durchführte, zeigte die Simulation, dass der vorgeschlagene Wirkstoffkandidat nicht wie im ursprünglichen Bericht behauptet in der aktiven Stelle verweilt. Tatsächlich erfüllte der Kandidat unter den korrigierten Bedingungen nicht einmal die Kriterien für die Bindung, die der Agent ursprünglich angeführt hatte. Zusätzlich deckte der Audit ein Stück bestehender wissenschaftlicher Literatur auf, die der Schlussfolgerung des Agenten bezüglich der Frage, ob die Hemmung dieses Enzyms vorteilhaft für das Gedächtnis wäre, direkt widersprach. Der Agent hatte diese Gegenbeweise übersehen, was zu einer klinischen Strategie führte, die der Auditor als umstritten und potenziell gefährlich einstufte.

Die Studie testete auch die Zuverlässigkeit der KI-Systeme selbst durch eine Reihe kontrollierter Experimente. Die Forscher erstellten achtzehn spezifische Fehler, wie das Vertauschen von Zahlen oder das Falschlabeln von Daten, und speisten sie in den Arbeitsablauf ein, um zu sehen, ob das System sie entdecken würde. Die automatisierten Kontrollen erkannten fünfzehn der achtzehn Fehler, was eine hohe Sensitivität für die spezifischen Fehler zeigte, nach denen sie suchen sollten. Die Forscher merkten jedoch an, dass sie aufgrund der Tatsache, dass die Tests innerhalb desselben Projekts konzipiert wurden, nicht beweisen konnten, dass das System jeden Typ von Fehler in einem anderen Kontext erkennen würde. Der Audit verglich zudem drei verschiedene Arten, den Arbeitsablauf auszuführen: einen einzelnen Agenten, der alleine arbeitet, ein Team von Agenten, die zusammenarbeiten, und ein Team mit einem Auditor. Obwohl alle drei Ansätze Ergebnisse lieferten, fand die Studie keinen klaren Gewinner hinsichtlich der wissenschaftlichen Genauigkeit, und die Zeit, die das auditierte Team benötigte, war länger, was den Kompromiss zwischen Geschwindigkeit und Verifizierung verdeutlichte.

Letztendlich produzierte die Studie kein neues Medikament oder eine validierte Behandlung für kognitive Beeinträchtigungen. Stattdessen lieferte sie eine detaillierte Fehleranalyse. Das endgültige Ergebnis ist ein korrigierter, transparenter Datensatz darüber, was schiefgelaufen ist und wie es behoben wurde. Die Forscher kamen zu dem Schluss, dass KI-Agenten zwar komplexe wissenschaftliche Aufgaben verketten können, aber dazu neigen, Fehler fortzuarbeiten, die ihre eigene Selbstprüfung überleben. Die „kohärenten“ Berichte, die sie generieren, können kritische Mängel in Bezug auf Identität, Einheiten und Logik verbergen. Der einzige Weg, um sicherzustellen, dass die Wissenschaft fundiert ist, ist laut der Studie, diese automatisierten Narrative einer frischen, adversen Prüfung zu unterziehen, die die Rohdaten prüft, anstatt nur die Zusammenfassung zu akzeptieren. Das überlebende Resultat dieser Kampagne ist kein Medizinprodukt, sondern ein wiederverwendbares Protokoll zur Überprüfung der Arbeit von Maschinen, welches beweist, dass im Wettlauf um die Automatisierung der Entdeckung das wichtigste Werkzeug weiterhin ein skeptischer, unabhängiger Blick bleibt.