In Other Words: Learning When to Trust Generated Protein Function Descriptions

Zellen sind die grundlegenden Einheiten des Lebens, und in jeder Zelle verrichten winzige Maschinen, die Proteine, die schwere Arbeit. Sie bauen Strukturen auf, übertragen Signale und treiben die chemischen Reaktionen voran, die einen Organismus am Leben erhalten. Seit Jahrzehnten wissen Wissenschaftler um das chemische Rezept dieser Maschinen – die Sequenz der Aminosäuren, aus denen sie bestehen – doch das Wissen um das Rezept lässt nicht immer darauf schließen, was die Maschine tatsächlich tut. Während ein kleiner Bruchteil bekannter Proteine von menschlichen Experten sorgfältig untersucht und beschrieben wurde, bleiben die überwältigende Mehrheit ein Rätsel. Für diese unbekannten Proteine haben sich Wissenschaftler auf Computer verlassen, um deren Funktion durch den Vergleich mit bekannten Proteinen zu erraten, aber diese Methode scheitert oft, wenn das neue Protein anders aussieht als alles in der Datenbank. Das Problem ist nicht nur ein Mangel an Daten, sondern ein Mangel an Vertrauen; wenn ein Computer eine Beschreibung schreibt, gibt es keine Möglichkeit zu wissen, ob es sich um eine brillante Erkenntnis oder eine selbstbewusste Halluzination handelt.

Ein Team von Forschern der Emory University und einer Partnerinstitution in Polen hat einen neuen Ansatz entwickelt, um genau dieses Problem des Vertrauens zu lösen. Sie entwickelten ein System namens ProtTale, das freitextliche Beschreibungen dessen generiert, was ein Protein tut, so wie ein Mensch es in einem Biologielehrbuch schreiben würde. Die wahre Innovation liegt jedoch nicht im Schreiben selbst, sondern in einer zweiten Komponente, die als Richter fungiert. Dieses System liefert nicht nur eine Antwort; es berechnet einen Zuverlässigkeitswert für diese Antwort und teilt dem Nutzer genau mit, wie viel Vertrauen er in die Beschreibung setzen sollte. Die Forscher fanden heraus, dass ihre neue Methode zwar nicht perfekt darin ist, jede Funktion vorherzusagen, aber bemerkenswert gut darin ist, zu wissen, wann sie recht hat und wann sie nur rät. Durch das Filtern der Vorhersagen mit geringem Vertrauensgrad konnten sie die Genauigkeit der Beschreibungen für kürzere Proteine verdoppeln und so einen Strom unsicherer Vermutungen in eine zuverlässige Menge an Fakten verwandelt.

Die Kernschwierigkeit in diesem Bereich besteht darin, dass die Proteinfunktion komplex und kontextabhängig ist. Traditionelle Computermethoden versuchen, diese Beschreibungen in starre Kategorien zu zwängen, etwa indem sie ein Protein einer bestimmten Box auf einer Tabelle zuordnen. Während dies für Konsistenz sorgt, übersieht es oft die Nuancen der tatsächlichen Funktionsweise eines Proteins. Neuere Modelle der künstlichen Intelligenz haben gelernt, in natürlicher Sprache zu schreiben, was flexiblere und ausdrucksstärkere Beschreibungen ermöglicht. Doch diese Freiheit hat ihren Preis: Ein flüssiger Satz kann überzeugend klingen, selbst wenn er völlig falsch ist. Es gab bisher keinen Standardweg, um zu messen, ob zwei verschiedene Textbeschreibungen dasselbe bedeuten, was Wissenschaftlern die Möglichkeit nahm zu verifizieren, ob der Computer die Funktion des Proteins wirklich verstanden oder lediglich die Sprache der Biologie nachgeahmt hat.

Um dies zu adressieren, bauten die Forscher einen „Richter“ auf Basis eines Large Language Models, einer Art künstlicher Intelligenz, die darauf trainiert ist, die Qualität von Texten zu bewerten. Anstatt lediglich auf eine einfache Wortüberschneidung zu prüfen, vergleicht dieser Richter die computergenerierte Beschreibung mit der bekannten, von Experten geschriebenen Beschreibung eines Proteins, um zu sehen, ob sie dieselbe Funktion beschreiben. Der Richter weist eine Kennzeichnung zu: eine sichere Übereinstimmung, eine sichere Abweichung oder etwas dazwischen. Die Forscher testeten dieses System an tausenden Proteinen und fanden heraus, dass der Richter hochgradig konsistent und konservativ arbeitete und eine „Übereinstimmung“ nur dann vergab, wenn die Funktionen tatsächlich äquivalent waren. Dieser Richter wurde dann zum Lehrer für das Hauptmodell, ProtTale.

ProtTale wurde in zwei Phasen trainiert. Zuerst lernte es, Muster in Proteinsequenzen zu erkennen, die darauf hindeuten, dass sie eine gemeinsame Funktion teilen, unter Verwendung einer massiven Datenbank aus Millionen von Proteinen. Dann lernte es, Textbeschreibungen basierend auf diesen Mustern zu generieren. Entscheidend war, dass das Modell auch lernte, seine eigene Zuverlässigkeit vorherzusagen. Es lernte, die Proteinsequenz zu betrachten und die Wahrscheinlichkeit abzuschätzen, mit der seine eigene Beschreibung den Test des Richters bestehen würde. Dies resultierte in einem Wert, den die Autoren pJay nennen, der als Vertrauensmesser fungiert. Ein hoher Wert bedeutet, dass das Modell wahrscheinlich korrekt liegt; ein niedriger Wert bedeutet, dass das Modell vermutlich nur rät.

Als die Forscher ProtTale an einem Satz von Proteinen testeten, die das Modell zuvor noch nie gesehen hatte, stellten sie fest, dass es in Bezug auf die rohe Genauigkeit genauso gut abschnitt wie andere führende Methoden. Der entscheidende Unterschied lag jedoch im Detail. Während andere Methoden bei einigen Proteinen richtig und bei anderen falsch lagen, war ProtTale bei einem anderen Set von Proteinen richtig. Viel wichtiger war, dass der Zuverlässigkeitswert als leistungsstarker Filter fungierte. Als die Forscher die Vorhersagen mit niedrigen Werten ignorierten und nur jene mit hohen Werten betrachteten, stieg die Genauigkeit der Beschreibungen signifikant an. Für kurze Proteine verdoppelte sich die Präzision fast. Das bedeutet, dass die Beschreibung für die Proteine, bei denen sich das Modell sicher fühlte, mit an Sicherheit grenzender Wahrscheinlichkeit korrekt war.

Die Studie zeigte auch, dass der Zuverlässigkeitswert nicht nur ein Spiegelbild des internen Zustands des Modells war, sondern eine echte Eigenschaft des Proteins selbst. Proteine, die allein aus ihrer Sequenz leichter zu verstehen waren, erhielten höhere Werte, während solche, die strukturell komplex oder einzigartig waren, niedrigere Werte erhielten. Die Forscher validierten dies, indem sie einen menschlichen Experten, der die Zuverlässigkeitswerte nicht kannte, eine Auswahl der Vorhersagen bewerten ließen. Die Bewertungen des Experten stimmten eng mit dem Vertrauen des Modells überein: Wenn das Modell sagte, es sei unsicher, stimmte der Mensch zu, dass die Beschreibung schwach war, und wenn das Modell vertrauensvoll war, fand der Mensch die Beschreibung präzise.

Diese Arbeit deutet auf einen neuen Standard dafür hin, wie wir künstliche Intelligenz in der Biologie einsetzen. Das Ziel ist nicht unbedingt, das Modell jedes Mal richtig liegen zu lassen – was angesichts der Komplexität des Lebens unmöglich sein mag –, sondern das Modell ehrlich darüber zu machen, wann es recht hat. Durch die Paarung einer generativen Beschreibung mit einem gelernten Vertrauenssignal können Wissenschaftler diese Werkzeuge endlich nutzen, um die „dunklen“ Teile der Proteinstruktur zu annotieren – die riesige Anzahl an Proteinen, die noch nie untersucht wurden. Die Forscher argumentieren, dass die Fähigkeit, „Ich weiß es nicht“ zu sagen, genauso wertvoll ist wie die Fähigkeit, „Ich weiß es“ zu sagen, da sie es Experimentalwissenschaftlern ermöglicht, ihre Zeit und Ressourcen auf die Vorhersagen zu konzentrieren, denen sie tatsächlich vertrauen können.