Task- and dataset-specific information in protein language models
Diese Studie zeigt, dass die informativsten Embeddings für Downstream-Aufgaben von Protein-Sprachmodellen oft in den intermediären Schichten statt in der finalen Schicht zu finden sind, wobei die optimale Schicht davon abhängt, ob die Aufgabe einzelne Residuen, ganze Proteine oder künstliche Sequenzen betrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige, magische Bibliothek, in der jedes Buch ein Rezept für den Bau einer lebenden Maschine namens Protein ist. Jahrelang haben Wissenschaftler versucht, Computern beizubringen, diese Rezepte zu lesen und zu verstehen, was die Maschinen bewirken. Um dies zu erreichen, entwickelten sie „Protein-Sprachmodelle“ (PLMs). Betrachten Sie diese Modelle als hochbegabte Schüler, die Milliarden dieser Proteinrezepte gelesen haben. Sie lernen nicht nur die Wörter auswendig; sie lernen die verborgene Grammatik und den Stil der Sprache. Sobald diese Schüler ihr Studium abgeschlossen haben, können sie das Rezept eines Proteins in einen Geheimcode (ein „Embedding“) umwandeln, den andere Computer nutzen können, um Dinge vorherzusagen wie: Wird dieses Protein leuchten? Wird es an ein Virus binden? Wird es sich in Wasser lösen?
Lange Zeit gingen alle davon aus, dass der „klügste“ Teil dieser Schüler-Modelle ganz am Ende ihres Gehirns liegt – in der letzten Schicht. Es war so, als würde man annehmen, dass nach dem Lesen eines ganzen Buches der letzte Satz, den man gelesen hat, die wichtigste Bedeutung trägt. Aber was wäre, wenn die nützlichsten Hinweise eigentlich mitten im Buch oder sogar auf den ersten Seiten verborgen wären? Diese Arbeit stellt eine einfache, aber knifflige Frage: Wo genau in diesen riesigen KI-Gehirnen geschieht die wahre Magie? Brauchen wir wirklich die allerletzte Schicht, um die besten Antworten zu erhalten, oder übersehen wir etwas Wichtiges, wenn wir die Schichten dazwischen ignorieren?
Die Forscher hinter dieser Studie beschlossen, Detektiv zu spielen. Sie nahmen 13 verschiedene Lernmodelle für Proteine und testeten sie bei 15 verschiedenen Aufgaben, die von der Vorhersage der Stabilität eines Proteins bis hin zur Bestimmung seines Aufenthaltsortes innerhalb einer Zelle reichten. Sie schauten nicht nur auf das Endergebnis; sie spähten in jedem einzelnen Schritt des Denkprozesses in die Modelle hinein, von der ersten Schicht bis zur letzten.
Hier ist, was sie entdeckten, und es stellt sich heraus, dass die alte Regel „die letzte Schicht ist die beste“ größtenteils falsch ist.
Die Mitte ist oft der ideale Punkt
Als die Wissenschaftler diese Modelle bei Aufgaben mit ganzen Proteinen testeten (wie der Vorhersage, ob ein Protein löslich ist oder wo es in einer Zelle lebt), stellten sie fest, dass die allerletzte Schicht selten der Gewinner war. Stattdessen war die „beste“ Schicht meistens irgendwo in der Mitte – oft zwischen dem 10. und 90. Perzentil der Tiefe des Modells. Es ist, als ob der Schüler das Buch liest, die Haupthandlung in den mittleren Kapiteln versteht und dann anfängt, sich zu verwirren oder Dinge zu überanalysieren, wenn er die letzte Seite erreicht. Tatsächlich sank die Leistung bei vielen Aufgaben in den tiefsten Schichten sogar ab.
Es kommt darauf an, was man fragt
Die Arbeit fand heraus, dass die „beste“ Schicht nicht für jeden Job dieselbe ist. Es hängt stark von der Art der Daten ab, die Sie verwenden:
- Die „Mutanten“-Datensätze: Wenn die Daten aus dem „Deep Mutational Scanning“ stammten (bei dem Wissenschaftler ein spezifisches Protein nehmen und tausende winzige, leicht veränderte Versionen davon herstellen), arbeiteten die Modelle am besten mit den flachen, frühen Schichten. Es scheint, dass die frühen Schichten hervorragend darin sind, kleine, lokale Details zu erkennen, wie zum Beispiel, wie die Änderung eines einzelnen Buchstabens in einem Wort dessen Bedeutung verändert.
- Die „diversen“ Datensätze: Wenn die Daten aus einer riesigen Mischung vieler verschiedener, nicht verwandter Proteine stammten (wie eine Bibliothek aus tausenden verschiedenen Büchern), arbeiteten die Modelle am besten mit den tieferen Schichten. Hier muss das Modell große, allgemeine Regeln verstehen, die für viele verschiedene Proteine gelten, was mehr „Denkarbeit“ und tiefere Schichten erfordert, um dies zu erfassen.
Das „künstliche“ Problem
Eine der überraschendsten Entdeckungen betraf „künstliche“ Proteine. Die Forscher testeten die Modelle an Proteinen, die von Computern entworfen wurden, statt in der Natur gefunden zu werden. Die Modelle hatten hier signifikante Schwierigkeiten. Selbst wenn die künstlichen Proteine funktional waren, konnten die Modelle deren Eigenschaften nicht gut vorhersagen. Dies deutet darauf hin, dass diese KI-Modelle zwar gelernt haben, die „Sprache“ der natürlichen Evolution zu verstehen, aber die „Sprache“ computergenerierter Proteine noch nicht ganz begriffen haben. Sie sind fließend in dem alten Dialekt, stolpern aber über den neuen Slang.
Warum die letzte Schicht nicht immer König ist
Die Arbeit erklärt, dass dies durch die Art und Weise geschieht, wie diese Modelle trainiert werden. Sie werden zuerst darauf trainiert, fehlende Wörter in einem Satz zu erraten (eine Aufgabe, die auf kleinen, lokalen Details basiert). Wenn man sie dann nach einer Aufgabe mit dem großen Ganzen fragt (wie der Vorhersage der Stabilität eines gesamten Proteins), versucht die allerletzte Schicht immer noch, diese Aufgabe des kleinen Wort-Erratens zu erfüllen, was der eigentlichen Aufgabe im Wege steht. Wenn man das Modell jedoch gezielt für eine Aufgabe des „großen Ganzen“ „feintuned“ (nachjustiert), beginnen die Schichten besser zu funktionieren, und die letzte Schicht wird wieder am nützlichsten. Aber im Standardzustand der Vor-Trainierung halten die mittleren Schichten oft den eigentlichen Schatz bereit.
Das Fazrazit
Diese Studie legt nahe, dass Wissenschaftler nicht einfach blind die letzte Schicht eines Protein-KI-Modells für ihre Arbeit auswählen sollten. Stattdessen sollten sie tiefer in das „Gehirn“ des Modells schauen, um die spezifische Schicht zu finden, die zu ihrer Aufgabe passt. Wenn sie sich mit winzigen Mutationen beschäftigen, sollten sie die frühen Schichten betrachten. Wenn sie sich mit einer vielfältigen Mischung von Proteinen beschäftigen, sollten sie tiefer schauen. Und wenn sie mit computergenerierten Proteinen arbeiten, sollten sie besonders vorsichtig sein, da die Modelle diese vielleicht nicht so gut verstehen wie die der Natur eigenen Kreationen.
Kurz gesagt: Diese Arbeit offenbart, dass diese KI-Modelle komplexe, vielschichtige Denker sind und dass der „klügste“ Teil ihres Gehirns sich je nach gestellter Frage ändert. Die letzte Seite des Buches ist nicht immer die wichtigste; manchmal liegt die beste Antwort direkt in der Mitte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.