Unlocking Multimodal Protein Language Models at Inference Time

Proteine sind die molekularen Maschinen, die das Leben am Laufen halten, indem sie sich in komplexe dreidimensionale Formen falten, um die essenzielle Arbeit in jeder Zelle zu verrichten. Die Anweisungen für den Bau dieser Maschinen sind in einer einfachen Kette aus zwanzig verschiedenen Aminosäuren geschrieben, doch die Beziehung zwischen diesem linearen Code und der endgültigen, funktionalen Form ist eines der tiefgründigsten Rätsel der Biologie. Jahrzehntelang haben sich Wissenschaftler auf komplexe Computermodelle verlassen, um vorherzusagen, wie sich eine Kette von Aminosäuren falten wird oder um völlig neue Proteine von Grund auf zu entwerfen. Kürzlich ist eine neue Generation von Modellen der künstlichen Intelligenz aufgetaucht, die sowohl die Sequenz der Buchstaben als auch die 3D-Struktur als eine einzige, einheitliche Sprache behandelt. Diese Modelle können neue Proteine generieren, aber bis jetzt haben sich Forscher hauptsächlich darauf konzentriert, wie man sie trainiert, unter der Annahme, dass die Art und Weise, wie der Computer seine eigenen Antworten während des abschließenden Generierungsschritts „liest“, eine geklärte Angelegenheit sei.

Ein Team von Forschern aus Hongkong hat entdeckt, dass diese Annahme nicht korrekt ist. Sie fanden heraus, dass die Methode, mit der ein fertiges Proteindesign aus diesen leistungsstarken Modellen extrahiert wird, genauso entscheidend ist wie das Training selbst. Durch das systematische Testen verschiedener Wege, die Entscheidungsfindung des Computers während der Generierungsphase zu steuern, zeigten die Forscher, dass sie die Qualität der produzierten Proteine drastisch verbessern konnten, ohne den zugrunde liegenden Code der Modelle zu ändern. Ihre Arbeit zeigt, dass die Standardeinstellungen, die von diesen Modellen verwendet werden, oft zu suboptimalen Ergebnissen führen, aber durch die Anpassung dessen, wie der Computer Möglichkeiten erkundet im Vergleich dazu, wie er sich auf einen bestimmten Pfad festlegt, konnten sie eine Leistung freisetzen, die spezialisierten Werkzeugen für Einzelaufgaben ebenbürtig ist oder diese sogar übertrifft.

Die Forscher begannen damit, die aktuelle Funktionsweise dieser Modelle zu untersuchen. Stellen Sie sich vor, ein Modell versucht, ein Protein als einen Prozess des schrittweisen Ausfüllens einer leeren Leinwand aufzubauen, bei dem es mit einem vollständig maskierten Bild beginnt und die Aminosäuren und ihre Positionen Schritt für Schritt langsam enthüllt. Das Team testete drei verschiedene Modelle bei vier grundlegenden Aufgaben: der Erstellung völlig neuer Proteine, dem Entwurf von Proteinen, die um spezifische funktionale Teile herumpassen, der Vorhersage der Form eines Proteins aus seiner Sequenz und dem Entwurf einer Sequenz, die sich in eine gegebene Form faltet. Sie untersuchten zuerst die grundlegenden „Vanilla“-Einstellungen, welche die Standardanweisungen sind, die die Modelle von Haus aus verwenden, um diese Entscheidungen zu treffen. Sie fanden heraus, dass die Standardeinstellungen oft schlecht auf die jeweilige spezifische Aufgabe abgestimmt waren. Wenn das Modell beispielsweise aufgefordert wurde, ein völlig neues Protein zu entwerfen, musste das Modell ein breites Spektrum an Möglichkeiten mit einem hohen Grad an Zufälligkeit erkunden, um eine stabile Struktur zu finden. Wenn es jedoch darum ging, die Form eines bekannten Proteins vorherzusagen, musste das Modell viel präziser und deterministischer sein und sich eng an die bekannten Einschränkungen halten.

Durch das Durchlaufen tausender Variationen dieser Basiseinstellungen identifizierte das Team das optimale „Rezept“ für jede Aufgabe. Sie entdeckten, dass der bloße Wechsel von einem starren, schrittweisen Ansatz zu einem flexibleren, simultanen Ansatz es den Modellen ermöglichte, weitaus lebensfähigere Proteine zu generieren. In einem spezifischen Fall bei der Erstellung neuer Proteine produzierte ein Modell, das unter seinen Standardeinstellungen zuvor als schwach galt, plötzlich fast dreimal so viele funktionale Designs, als die Sampling-Strategie angepasst wurde. Dieser Befund stellte die vorherrschende Meinung infrage, dass einige Modelle von Natur aus unterlegen seien, und deutete stattdessen darauf hin, dass sie lediglich mit den falschen Werkzeugen für die Aufgabe verwendet wurden.

Die Forscher gingen dann zu einer zweiten Ebene der Kontrolle über und führten eine Technik ein, die wie ein sanfter Anstoß wirkt, um das Modell zu besseren Ergebnissen zu führen. Im Kontext des Proteindesigns bedeutet dies, die Vermutung des Modells für ein Protein mit einem bestimmten Ziel mit einer Vermutung ohne dieses Ziel zu vergleichen und dann die Differenz zu verstärken, um das Ergebnis näher an das gewünschte Ergebnis zu drücken. Diese Methode, bekannt als „Classifier-Free Guidance“, erwies sich als ein mächtiger Hebel. Bei der Aufgabe, neue Proteine von Grund auf zu entwerfen, half diese Steuerung dem Modell, repetitive, unnatürliche Muster zu vermeiden und produzierte Strukturen, die signifikant stabiler und vielfältiger waren. Die Verbesserung war so ausgeprägt, dass ein Modell, das zuvor als Basis-Performer betrachtet wurde, plötzlich seine Konkurrenten unter den Standardeinstellungen übertraf, obwohl es gegenüber spezialisierten Systemen noch zurücklag, bis weitere Optimierungen vorgenommen wurden.

Schließlich untersuchte das Team eine dritte Strategie, die das große Ganze betrachtete, anstatt nur den nächsten Schritt. Anstatt einem einzelnen Pfad zu einer Lösung zu folgen, wiesen sie den Computer an, mehrere verschiedene Versionen des Proteins gleichzeitig zu generieren, so als würde man mehrere potenzielle Routen auf einer Karte offenhalten. In regelmäßigen Abständen bewertete das System, welche dieser Pfade basierend auf der Gesamtqualität der Struktur am vielversprechendsten erschienen, und schnitt dann die schwächeren Optionen ab, um nur mit den besten Kandidaten fortzufahren. Dieser „Beam Search“-Ansatz ermöglichte es den Modellen, lokale Fallen zu umgehen, in denen sie sich vielleicht mit einer mittelmäßigen Lösung begnügt hätten. Bei Anwendung auf das leistungsfähigste Modell trieb diese Strategie die Leistung in neue Höhen und erreichte Erfolgsraten und Designqualitäten, die selbst die zuvor als überlegen geltenden spezialisierten Systeme übertrafen – und das alles ohne zusätzliches Training oder externe Daten.

Die Studie kommt zu dem Schluss, dass die Art und Weise, wie diese Modelle im Moment der Generierung verwendet werden, eine verborgene Variable ist, die weitgehend übersehen wurde. Die Forscher demonstrierten, dass sie durch die sorgfältige Abstimmung des Gleichgewichts zwischen der Erkundung neuer Möglichkeiten und der Nutzung bekannter guter Lösungen die Leistung dieser Modelle konsistent steigern konnten. Diese Arbeit legt nahe, dass das Potenzial der aktuellen Protein-Sprachmodelle unterschätzt wurde – nicht weil die Modelle selbst fehlerhaft sind, sondern weil die Methoden, um ihre Antworten zu erschließen, nicht optimiert waren. Durch die Verfeinerung dieser Inferenzstrategien können Wissenschaftler nun deutlich mehr aus den Werkzeugen herausholen, die sie bereits besitzen, was die Entdeckung neuer Medikamente und biologischer Materialien beschleunigen kann, ohne die Notwendigkeit, völlig neue Modelle von Grund auf neu zu bauen.