MolGlueBench reveals heterogeneous transfer of context gains across molecular-glue DC50 domains

Auf der Suche nach Heilmitteln für Krankheiten suchen Wissenschaftler oft nach winzigen Molekülen, die als molekularer Klebstoff fungieren können. Dies sind kleine chemische Verbindungen, die darauf ausgelegt sind, zwei spezifische Proteine innerhalb einer Zelle zusammenzubinden. Wenn diese beiden Proteine dazu gezwungen werden, zu interagieren, wird die natürliche Reinigungscrew der Zelle oft ausgetrickst, das Zielprotein zu zerstören, das beispielsweise das Krebswachstum vorantreibt. Dieser Ansatz bietet Hoffnung für die Behandlung von Krankheiten, die mit herkömmlichen Medikamenten bisher als unbehandelbar galten. Es ist jedoch unglaublich schwierig, den richtigen Klebstoff zu finden. Wissenschaftler müssen tausende chemische Strukturen testen, um zu sehen, welche davon erfolgreich diese Zerstörung auslösen. Der Prozess ist langsam, teuer und oft unvorhersehbar. Um dies zu beschleunigen, haben sich Forscher der Computer zugewandt, in der Hoffnung, Modelle entwickeln zu können, die vorhersagen, wie gut ein neues Molekül funktionieren wird, bevor es jemals in einem Labor synthetisiert wird.

Das Versprechen dieser Computermodelle besteht darin, dass sie aus vergangenen Experimenten lernen können, um zukünftige Erfolge zu prognostizieren. Doch es gibt eine versteckte Falle in der Art und Weise, wie diese Modelle normalerweise getestet werden. Oft wird einem Computerprogramm ein Satz vergangener Daten gezeigt, es wird gebeten, die Muster zu erlernen, und dann an einem anderen Teil derselben Daten getestet. Wenn die Testdaten dieselben experimentellen Bedingungen teilen oder aus derselben Quelle stammen wie die Trainingsdaten, kann das Modell wie ein Genie wirken. In Wirklichkeit hat es möglicherweise einfach nur die Eigenheiten des spezifischen Labors oder der Datenbank auswendig gelernt, mit der es trainiert wurde, anstatt die wahren Regeln der Chemie zu erlernen. Dies erzeugt ein falsches Vertrauen, bei dem ein Modell auf dem Papier perfekt aussieht, aber völlig versagt, wenn es mit einem neuen Typ von Experiment oder einem neuen biologischen Ziel konfrontiert wird.

Ein Forscherteam der Nantong University und der National University of Singapore setzte sich zum Ziel, dieses Problem mit einem neuen, strengen Test namens MolGlueBench aufzuzeigen. Anstatt nur zu prüfen, ob ein Modell die richtige Antwort für ein bekanntes Molekül erraten kann, entwarfen sie eine Herausforderung, die das Modell dazu zwingt, zu beweisen, dass es mit völlig neuen Situationen umgehen kann. Sie sammelten 1.560 spezifische Messungen darüber, wie gut verschiedene molekulare Klebstoffe funktionierten, die aus vier verschiedenen öffentlichen Datenbanken stammten. Diese Messungen deckten über tausend einzigartige chemische Verbindungen und hunderte verschiedene strukturelle Gerüste ab. Entscheidend war, dass sie nicht nur die chemische Struktur des Klebstoffs aufzeichneten, sondern auch den vollen Kontext des Experiments: welche Zelllinie verwendet wurde, welche Proteine beteiligt waren und aus welcher Datenbank die Daten stammten.

Die Forscher unterzogen ihre Modelle daraufhin einer Reihe von zunehmend schwierigeren Tests. Zuerst baten sie die Modelle, die Leistung neuer chemischer Strukturen vorherzusagen, die zuvor noch nie gesehen worden waren, die jedoch aus derselben Mischung von Experimenten stammten wie die Trainingsdaten. In diesem Szenario schnitten die Modelle recht gut ab. Wenn der Computer sowohl die chemische Struktur als auch den experimentellen Kontext nutzen durfte, verbesserte sich seine Vorhersagegenauigkeit leicht, was darauf hindeutete, dass das Wissen um die Versuchsbedingungen half, die Moleküle korrekt einzustufen. Dieses Ergebnis sah vielversprechend aus, als ob die zusätzlichen Informationen über das Experiment ein wertvoller Hinweis wären.

Die Geschichte änderte sich jedoch dramatisch, als die Forscher die Regeln änderten, um ein reales Szenario zu simulieren. Sie baten die Modelle, die Leistung von Molekülen in völlig neuen Datenbanken oder für völlig neue Zielproteine vorherzusagen, die das Modell während des Trainings nie zuvor gesehen hatte. Dies ist der wahre Test dafür, ob ein Modell eine universelle Regel gelernt hat oder nur einen spezifischen Datensatz auswendig gelernt hat. In diesen neuen, ungesehenen Umgebungen verschwand der Vorteil der Nutzung des experimentellen Kontexts. Tatsächlich machte das Hinzufügen der zusätzlichen Kontextinformationen die Vorhersagen oft schlechter. Die Modelle, die sich auf die experimentellen Details verließen, scheiterten beim Transfer ihres Wissens auf die neuen Domänen, während die Modelle, die sich ausschließlich auf die chemische Struktur verließen, etwas besser abschnitten, wenngleich sie immer noch erhebliche Fehler aufwiesen.

Die Studie zeigte, dass die Nützlichkeit des experimentellen Kontexts keine universelle Wahrheit, sondern eine lokale Abkürzung ist. Innerhalb der vertrauten Daten half der Kontext dem Modell, die richtige Reihenfolge der Moleküle zu erraten. Doch als das Modell seinen Komfortbereich verließ und in eine neue Datenbank oder zu einem neuen biologischen Ziel überging, wurden dieselben Kontextinformationen irreführend. Das Modell hatte gelernt, bestimmte Versuchsaufbauten mit bestimmten Ergebnissen zu assoziieren, aber diese Assoziationen hielten nicht stand, wenn sich der Aufbau änderte. Beispielsweise hatten die Modelle besonders Schwierigkeiten bei der Vorhersage von Ergebnissen für spezifische Ziele wie GSPT1 und CDK2 oder beim Wechsel weg von Daten, die aus einer spezifischen Datenbank namens TPDdb stammten. Die Fehler waren nicht gering; die Vorhersagen der Modelle wichen um etwa das Acht- bis Zehnfache der tatsächlich benötigten Konzentration ab, um das Zielprotein abzubauen.

Dieses Ergebnis dient als entscheidender Realitätscheck für das Feld der Arzneimittelentdeckung. Es zeigt, dass die Fähigkeit eines Modells, innerhalb einer einzelnen Datensammlung gut vorherzusagen, nicht garantiert, dass es bei zukünftigen Entdeckungen oder für andere Arten von biologischen Problemen funktionieren wird. Die Forscher kamen zu dem Schluss, dass diese Computermodelle zwar helfen können, Moleküle innerhalb eines bekannten Satz von Experimenten zu ranken, man ihnen aber noch nicht vertrauen kann, um absolute Werte vorherzusagen oder Kandidaten für neue, ungesehene Ziele zu priorisieren. Die Studie besagt nicht, dass der Kontext nutzlos ist, sondern dass sein Wert fragil ist und vollständig von den spezifischen Bedingungen der Daten abhängt. Bis Modelle beweisen können, dass sie über diese verschiedenen Domänen hinweg funktionieren, müssen Wissenschaftler vorsichtig bleiben, sich auf sie zu verlassen, um endgültige Entscheidungen darüber zu treffen, welche Moleküle im Labor getestet werden sollen. Der Weg nach vorn erfordert den Aufbau von Modellen, die gegen diese schwierigeren, realistischeren Herausforderungen getestet werden, um sicherzustellen, dass die Werkzeuge, die wir bauen, wirklich robust genug sind, um die Komplexität der lebenden Welt zu bewältigen.