Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins
Das Paper stellt MutFormer vor, ein Transformer-basiertes Modell, das Self-Attention und Convolutional-Layer kombiniert, um schädliche Missense-Mutationen in menschlichen Proteinen vorherzusagen, wobei es eine mit bestehenden Tools vergleichbare oder bessere Leistung zeigt, indem es sowohl kurzreichweitige als auch langreichweitige Sequenzabhängigkeiten effektiv erfasst.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Ihr Körper wäre eine riesige, geschäftige Stadt, die aus einem gigantischen Handbuch gebaut wurde. Dieses Handbuch, geschrieben in einem Vier-Buchstaben-Code (A, C, T, G), sagt Ihren Zellen, wie sie die Maschinen bauen sollen, die Sie am Leben erhalten. Manchmal schleicht sich in dieses Handbuch ein einzelner Buchstabendreher, ein Tippfehler. Meistens sind diese Tippfehler harmlos, wie ein falsch geschriebenes Wort in einem Rezept, das trotzdem noch gut schmeckt. Aber gelegentlich verändert ein Tippfehler eine entscheidende Zutat und verwandelt einen köstlichen Kuchen in einen Backstein. Diese „Tippfehler“ in den Teilen des Handbuchs, die Proteine bauen, werden als Missense-Mutationen bezeichnet. Wissenschaftler versuchen schon lange, digitale Detektive zu bauen, die die gefährlichen Tippfehler von den harmlosen unterscheiden können, aber das ist ein schwieriger Job, weil die Anweisungen so komplex und kontextabhängig sind.
Um das neue Werkzeug zu verstehen, das in dieser Arbeit beschrieben wird, müssen Sie zwei Dinge wissen. Erstens sind Proteine lange Ketten aus Bausteinen, den sogenannten Aminosäuren. Die Reihenfolge dieser Blöcke bestimmt, wie sich das Protein faltet und was es tut. Zweitens gibt es in der Welt der Computer einen Typ von künstlicher Intelligenz, den man „Transformer“ nennt. Sie kennen diese vielleicht als die Gehirne hinter intelligenten Chatbots oder Übersetzungs-Apps, die verstehen, wie Wörter in einem Satz miteinander zusammenhängen, selbst wenn sie weit voneinander entfernt sind. Wissenschaftler haben vor kurzem damit begonnen, diese gleichen „Sprachgehirne“ zu nutzen, um die „Sprache“ der Biologie zu lesen, indem sie Proteinketten wie Sätze behandeln und Aminosäuren wie Wörter. Die große Frage ist: Kann ein Computer, der gelernt hat, menschliche Sprache zu lesen, auch die Sprache des Lebens gut genug lesen, um vorherzusagen, welche genetischen Tippfehler Krankheiten verursachen?
Hier tritt MutFormer auf den Plan, ein neuer digitaler Detektiv, der von den Forschern Theodore T. Jiang, Li Fang und Kai Wang entwickelt wurde. Sie beschlossen, ein Transformer-Modell zu bauen, das speziell darauf trainiert ist, die „Grammatik“ von Proteinen zu verstehen. Anstatt nur eine einzelne Mutation isoliert zu betrachten, liest MutFormer die gesamte Proteinkette und achtet darauf, wie jede Aminosäure mit jeder anderen interagiert, sowohl in der Nähe als auch in der Ferne.
Die Forscher begannen damit, MutFormer einen massiven Lehrplan beizubringen. Sie fütterten es mit über 128.000 menschlichen Proteinsequenzen, einschließlich der „korrekten“ Versionen und jener mit häufigen, harmlosen Mutationen, die in der allgemeinen Bevölkerung vorkommen. Stellen Sie sich das so vor, als würde man der KI Millionen von Sätzen zeigen, um die Regeln der Proteingrammatik zu lernen, ohne ihr zu sagen, welche davon „falsch“ sind. Während dieses Trainings lernte MutFormer, fehlende oder vertauschte Teile der Sequenz vorherzusagen, wodurch es effektiv die „Syntax“ des Lebens erlernte.
Nachdem das Modell vortrainiert worden war, gaben die Forscher ihm einen spezifischen Test: die Identifizierung gefährlicher Mutationen. Sie verfeinerten MutFormer mithilfe eines Datensatzes bekannter krankheitsverursachender Mutationen und harmloser Mutationen. Sie experimentierten mit drei verschiedenen Möglichkeiten, das Modell bei seiner Arbeit zu unterstützen:
- Pro Residuum: Das Modell wird gebeten, jede einzelne Aminosäure in der Kette als „sicher“ oder „unsicher“ zu kennzeichnen.
- Einzelne Sequenz: Dem Modell wird nur das mutierte Protein gezeigt und die Frage gestellt: „Ist dieses ganze Ding kaputt?“
- Paarweise Sequenz: Dem Modell wird das Originalprotein und die mutierte Version nebeneinander gezeigt, mit der Aufgabe, die beiden zu vergleichen und zu entscheiden, ob die Veränderung schädlich ist.
Die Ergebnisse waren eindeutig: Die Methode der Paarweisen Sequenz funktionierte am besten. Es war, als würde man dem Detektiv sowohl den ursprünglichen Bauplan als auch den veränderten Bauplan geben, um den Unterschied zu erkennen.
Aber hier wird MutFormer wirklich clever. Die meisten bisherigen KI-Modelle für diese Aufgabe verwendeten ein festes Wörterbuch von „Wörtern“ (Aminosäure-Mustern), das sich nicht ändern konnte. MutFormer hingegen nutzt einen speziellen Trick unter Verwendung von Faltungsschichten (Convolutional Layers). Stellen Sie sich diese als eine Reihe von verstellbaren Linsen vor, mit denen das Modell das Protein scannt. Anstatt sich auf ein fertiges Wörterbuch zu verlassen, nutzt MutFormer diese Linsen, um während des Trainings sein eigenes „Vokabular“ an wichtigen Mustern zu lernen. Es ist, als hätte der Detektiv nicht nur ein Wörterbuch auswendig gelernt, sondern auch die einzigartige Handschrift und den Stil des Proteins selbst erkannt.
Als die Forscher MutFormer gegen eine Gruppe bestehender Werkzeuge (die aktuellen „Detektive“ auf diesem Gebiet) testeten, bestand es sich wacker. Auf allgemeinen Datensätzen, die den Trainingsdaten ähnlich sahen, schnitt MutFormer so gut oder sogar besser ab als die besten existierenden Methoden. Selbst auf Datensätzen, die sehr unterschiedlich waren – speziell im Hinblick auf Mutationen in bestimmten Genen, zu denen das Modell zuvor kaum Daten gesehen hatte – gelang es ihm dennoch, die Leistung anderer Top-Tools zu erreichen.
Das Paper deutet auch darauf an, dass MutFormer nicht einfach nur das wiederholt, was andere Werkzeuge sagen. Als sie die Vorhersagen von MutFormer mit einem Tool namens EVE verglichen, das auf der Evolutionsgeschichte basiert (indem es betrachtet, wie sich Arten über Millionen von Jahren verändert haben), stellten sie fest, dass die beiden Tools nicht immer übereinstimmten. Dies deutet darauf hin, dass MutFormer andere Hinweise aufgreift – nämlich die unmittelbare „Grammatik“ der Proteinsequenz –, die evolutionäre Werkzeuge möglicherweise übersehen.
Die Forscher weisen vorsichtig darauf hin, dass MutFormer zwar ein starker neuer Akteur ist, aber kein Zauberstab ist, der alles löst. Das Modell wurde auf einem spezifischen Datensatz trainiert, und wie jeder Schüler könnte es bei Fragen, die es noch nicht gesehen hat, Schwierigkeiten haben. Sie merken auch an, dass das Modell derzeit hauptsächlich auf der Sequenz der Buchstaben basiert und noch nicht die 3D-Strukturen oder andere biologische Faktoren wie die Methylierung vollständig einbezieht, was es in Zukunft noch intelligenter machen könnte.
Kurz gesagt: MutFormer legt nahe, dass wir, indem wir Proteine wie eine Sprache behandeln und ein hochentwickeltes „Sprachmodell“ verwenden, das sein eigenes Vokabular lernen kann, eine frische, kraftvolle Perspektive darauf gewinnen können, welche genetischen Tippfehler gefährlich sind. Es ist ein vielversprechender Schritt, um Ärzten und Wissenschaftlern dabei zu helfen, zu priorisieren, welche genetischen Varianten die meiste Aufmerksamkeit benötigen, was bestehende Werkzeuge ergänzen und ein klareres Bild der menschlichen Gesundheit vermitteln könnte. Der Code und die Modelle sind nun für andere zur Nutzung und zum Weiterentwickeln verfügbar, was die Tür für weitere Experimente öffnet, um zu sehen, wie gut diese „Sprache der Natur“ entschlüsselt werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.