Beyond additivity: zero-shot methods cannot predict impact of epistasis on protein properties and function

Die Studie zeigt, dass aktuelle Zero-Shot-Modelle zwar einzelne Mutationen gut vorhersagen können, aber versagen, wenn es darum geht, die komplexen Wechselwirkungen epistatischer Mutationen auf Proteineigenschaften und -funktionen zu erfassen.

Das Wesentliche

Das große Rätsel: Warum Computer Proteine nicht verstehen können

Stell dir vor, ein Protein ist wie ein riesiges, komplexes Lego-Modell. Jedes einzelne Bausteinchen ist eine Aminosäure. Wenn du ein Bausteinchen austauschst (eine Mutation), verändert sich die Form oder Funktion des ganzen Modells.

Wissenschaftler wollen wissen: Was passiert, wenn ich nicht nur ein, sondern fünf oder zehn Bausteine gleichzeitig austausche?

Hier kommt das Problem ins Spiel, das die Autoren dieses Papers untersucht haben: Epistasis.

1. Das Problem: Es ist nicht einfach nur "1 + 1 = 2"

In der einfachen Welt denken wir oft: Wenn Baustein A das Modell ein bisschen wackelig macht und Baustein B es auch ein bisschen wackelig macht, dann macht die Kombination beider das Modell doppelt so wackelig.

Aber in der biologischen Welt ist das anders. Das ist wie beim Kochen:

• Wenn du eine Prise Salz in den Suppe tust, schmeckt sie besser.
• Wenn du eine Prise Pfeffer tust, schmeckt sie auch besser.
• Aber wenn du beide zusammen in die Suppe tust, könnte es sein, dass die Suppe plötzlich unbrauchbar schmeckt – oder im Gegenteil, dass sie plötzlich perfekt schmeckt, weil sich die beiden Zutaten magisch ergänzen.

Das nennt man Epistasis: Der Effekt einer Veränderung hängt davon ab, welche anderen Veränderungen bereits da sind. Die Bausteine "reden" miteinander.

2. Die Helden des Tages: Die "Zero-Shot"-Computermodelle

Die Forscher haben sich 95 verschiedene künstliche Intelligenzen (KI) angeschaut. Diese KIs sind wie super-intelligente Bibliothekare, die Millionen von natürlichen Protein-Büchern gelesen haben.

• Sie wurden nicht speziell trainiert, um Experimente vorherzusagen.
• Sie haben einfach nur gelernt: "Welche Buchstabenfolgen kommen in der Natur vor und welche nicht?"

Man nannte sie "Zero-Shot"-Modelle, weil sie versuchen, eine Aufgabe zu lösen, ohne dafür extra trainiert worden zu sein (wie ein Schüler, der eine Prüfung macht, ohne vorher gelernt zu haben, aber mit einem riesigen Allgemeinwissen).

3. Der Test: Die "Landschaft der Fitness"

Die Forscher haben diese KIs in einer riesigen Testumgebung (ProteinGym) geprüft. Stell dir die Welt der Proteine wie eine bergige Landschaft vor:

• Die Spitzen der Berge sind perfekte, funktionierende Proteine.
• Die Täler sind kaputte, funktionlose Proteine.

Wenn du nur einen Baustein änderst, ist es leicht für die KI zu erraten, ob du bergauf (besser) oder bergab (schlechter) gehst. Die KIs waren hier sehr gut!

Aber dann haben die Forscher gefragt: "Was passiert, wenn wir viele Bausteine gleichzeitig ändern?"
Das ist, als würdest du versuchen, von einem Berggipfel zum nächsten zu wandern, indem du durch ein tiefes Tal springst.

4. Das schockierende Ergebnis: Die KIs verlieren den Weg

Das Papier zeigt eine sehr klare Nachricht: Die KIs sind bei komplexen Veränderungen komplett gescheitert.

• Bei einfachen Änderungen: Die KIs waren gut. Sie sagten richtig voraus, ob das Protein noch funktioniert.
• Bei komplexen Änderungen (Epistasis): Die KIs waren blind. Sie konnten nicht vorhersagen, ob die Kombination von Mutationen das Protein retten oder zerstören würde.

Es war so, als ob die KIs nur gelernt hätten, wie einzelne Wörter in einem Satz funktionieren, aber wenn man ganze Sätze umstellt, verstehen sie die Bedeutung nicht mehr. Sie konnten die "Magie" der Interaktion zwischen den Bausteinen nicht erkennen.

5. Warum ist das so?

Die Autoren geben eine spannende Erklärung:
Diese KIs haben nur "gute" Proteine gesehen (die in der Natur existieren). Sie haben nie gesehen, wie ein Protein in einer "schlechten" Zone (dem Tal) funktioniert oder scheitert.

• Sie kennen nur die Spitzen der Berge.
• Wenn man sie aber fragt, wie man von Berg A zu Berg B kommt (durch das Tal), haben sie keine Ahnung, weil sie in diesem Tal noch nie waren.

Außerdem haben die Forscher festgestellt: Es hilft nicht, einfach eine noch komplexere KI-Architektur zu bauen. Was wirklich hilft, ist gute Datenverarbeitung und das Einbeziehen von 3D-Strukturen (wie das Lego-Modell im Raum aussieht), nicht nur die Reihenfolge der Buchstaben.

Fazit für den Alltag

Dieses Papier ist eine wichtige Warnung an die Wissenschaftler und die Tech-Branche:
Wir glauben oft, dass unsere KI-Modelle schon alles können. Aber wenn es darum geht, komplexe Wechselwirkungen vorherzusagen (wie bei der Entwicklung neuer Medikamente oder beim Design von Enzymen), sind unsere besten Modelle noch nicht bereit.

Sie sind wie ein Navigator, der dir sagen kann, wie du von zu Hause zum Supermarkt kommst (einfache Mutation), aber wenn du ihn fragst, wie du durch einen Sturm zu einem anderen Kontinent kommst (komplexe Epistasis), zeigt er dir nur einen leeren Bildschirm.

Die Botschaft: Wir brauchen mehr Experimente, um diese "Täler" zu kartieren, und wir müssen die KIs lehren, nicht nur die Buchstaben, sondern das Zusammenspiel zu verstehen.

Technische Zusammenfassung

Titel: Beyond additivity: Zero-Shot-Methoden können den Einfluss von Epistasie auf Protein-Eigenschaften und -Funktion nicht vorhersagen

1. Problemstellung

Die genaue Vorhersage der Auswirkungen von Mutationen auf die Eigenschaften und Funktionen von Proteinen ist für Forschung und industrielle Anwendungen (z. B. Protein-Design) von entscheidender Bedeutung. Ein zentrales Hindernis bei der computergestützten Vorhersage ist das Phänomen der Epistasie. Epistasie beschreibt den Fall, in dem der Effekt einer Mutation von der Anwesenheit anderer Mutationen im selben Protein abhängt.

• Herausforderung: Die meisten aktuellen computergestützten Methoden (Variant Effect Prediction, VEP) gehen von einer additiven Wirkung von Mutationen aus oder sind auf einzelne Mutationen trainiert.
• Lücke: Es fehlt an Methoden, die die komplexen, nicht-linearen Wechselwirkungen zwischen mehreren Mutationen (insbesondere in stark epistatischen Kombinationen) zuverlässig modellieren können. Dies ist essenziell, um die Fitnesslandschaften von Proteinen zu verstehen, die oft durch mehrere isolierte Fitnessgipfel und Täler geprägt sind.

2. Methodik

Die Autoren evaluierten die Fähigkeit von 95 Zero-Shot-Modellen, den Einfluss von Epistasie vorherzusagen. Zero-Shot-Modelle sind hier definiert als Modelle, die nicht auf experimentelle Daten spezifischer Proteine trainiert wurden, sondern auf großen Mengen ungelabelter biologischer Sequenzdaten (z. B. UniProt) basieren und versuchen, die biologische Plausibilität einer Sequenz abzuschätzen.

• Datenbasis: Die Studie nutzte Daten aus dem ProteinGym-Benchmark, der Messungen aus MAVE-Experimenten (Multiplexed Assays of Variant Effects) enthält.
  • Ausgewählt wurden 53 Datensätze mit experimentellen Fehlerangaben: 3 Datensätze von Somermeyer et al. (GFP-Proteine mit Fluoreszenzmessungen) und 50 Datensätze von Tsuboyama et al. (Thermostabilitätsmessungen für 50 verschiedene Proteine).
• Identifikation epistatischer Genotypen:
  • Für GFP-Daten wurde die Epistasie als Differenz zwischen dem beobachteten Effekt eines Multi-Mutanten und der Summe der Effekte der einzelnen Einzelmutanten definiert.
  • Für Stabilitätsdaten wurde ein thermodynamisches Modell zur Rekonstruktion des erwarteten $\Delta G$ unter der Annahme linearer Additivität verwendet.
  • Epistatische Genotypen wurden mittels eines Z-Tests identifiziert, bei dem die Abweichung signifikant größer als die experimentellen Fehler war (Schwellenwerte: $N=1$ für GFP, $N=3$ für Stabilitätsdaten).
• Benchmarks und Baselines:
  • Es wurden Spearman-Korrelationen zwischen den Vorhersagen der 95 Zero-Shot-Modelle und den experimentellen Werten berechnet.
  • Zum Vergleich wurden einfache Baseline-Modelle (lineare Regression und ein Multi-Layer-Perceptron/MLP) trainiert, die ausschließlich auf Daten von Einzelmutanten basierten und per Definition keine Epistasie erfassen können.
• Modellkategorien: Untersucht wurden Protein-Sprachmodelle (PLMs wie ESM-Familie), Modelle, die Strukturinformationen nutzen (z. B. ESM-IF1, ProSST), und statistische Modelle (z. B. GEMME, ESCOTT).

3. Wichtige Ergebnisse

Die Studie liefert ernüchternde Ergebnisse bezüglich der aktuellen State-of-the-Art-Modelle:

• Versagen bei Epistasie: Während die Zero-Shot-Modelle für einzelne Mutationen und nicht-epistatische Kombinationen akzeptable Vorhersagen treffen (Spearman-Korrelation oft > 0,6), versagen sie fast vollständig bei der Vorhersage stark epistatischer Genotypen. Die Korrelationen fallen hier oft unter 0,2.
• Überlegenheit einfacher Baselines: Überraschenderweise performten die einfachen Baseline-Modelle (lineare Regression/MLP), die auf Einzelmutanten trainiert wurden, für epistatische Genotypen oft besser oder gleich gut wie die komplexen Zero-Shot-Modelle. Dies zeigt, dass die Zero-Shot-Modelle keine zusätzlichen Informationen über nicht-lineare Wechselwirkungen extrahieren.
• Kein genereller Fortschritt durch komplexe Architekturen: Selbst die besten Modelle (z. B. ESCOTT, PoET, VenusREM, ProSST) zeigten keine konsistente Überlegenheit über die Baselines bei epistatischen Daten.
  • Erfolgreichere Modelle nutzten oft zusätzliche Informationen wie Protein-Struktur oder evolutionäre Konservierung, aber selbst diese reichten nicht aus, um die nicht-linearen Effekte korrekt zu modellieren.
  • Es gab keine Überschneidung zwischen den Top-Modellen für Fluoreszenz (GFP) und Stabilitätsdaten, was auf fundamentale Unterschiede in der Vorhersagbarkeit dieser Phänotypen hindeutet.
• Ursache des Versagens: Die Autoren schlussfolgern, dass Zero-Shot-Modelle (insbesondere PLMs) eher ein Konzept der "evolutionären Plausibilität" lernen, das für funktionale Sequenzen in der Nähe des Wildtyps gut funktioniert. Sie können jedoch keine "Fitness-Täler" überwinden und scheitern, wenn sie in Bereiche des Sequenzraums projiziert werden, die durch starke Epistasie definiert sind.

4. Hauptbeiträge

1. Umfassende Evaluation: Erste systematische Bewertung von 95 Zero-Shot-Modellen speziell für ihre Fähigkeit, epistatische Effekte vorherzusagen, unter Nutzung eines großen, unabhängigen Benchmarks (ProteinGym).
2. Nachweis der Limitierungen: Klare Demonstration, dass der aktuelle Stand der Technik (einschließlich moderner Deep-Learning-Modelle) nicht in der Lage ist, nicht-lineare epistatische Wechselwirkungen "out-of-the-box" zu erfassen.
3. Herausforderung des "Additivitäts-Paradigmas": Die Ergebnisse widerlegen die Annahme, dass komplexe Modellarchitekturen automatisch die Fähigkeit zur Erfassung von Epistasie mit sich bringen. Stattdessen scheint eine sorgfältige Feature-Engineering (z. B. Nutzung von Strukturdaten oder phylogenetischen Bäumen) wichtiger zu sein als die Komplexität des neuronalen Netzwerks.
4. Identifikation von Datenlücken: Die Studie zeigt, dass experimentelle Daten für Multi-Mutanten-Varianten (insbesondere mit >2 Mutationen) noch rar sind, was die Entwicklung spezialisierter Modelle erschwert.

5. Bedeutung und Ausblick

Die Studie hat weitreichende Konsequenzen für die evolutionäre Biologie und das Protein-Engineering:

• Protein-Design: Aktuelle computergestützte Ansätze zum Design neuer Proteine, die auf Zero-Shot-Modellen basieren, sind für das Navigieren durch komplexe Fitnesslandschaften (z. B. das Überqueren von Fitness-Tälern zwischen Arten) unzureichend.
• Notwendigkeit neuer Ansätze: Es besteht ein dringender Bedarf an neuen Architekturen, die explizit für nicht-lineare Interaktionen trainiert sind, sowie an mehr experimentellen Daten, die Multi-Mutanten-Kombinationen abdecken.
• Paradigmenwechsel: Die Ergebnisse deuten darauf hin, dass das bloße "Ableiten" von Sequenzplausibilität durch Sprachmodelle nicht ausreicht. Zukünftige Modelle müssen spezifisch Mechanismen lernen, die über die Summe der Einzelteile hinausgehen, um die Genotyp-Phänotyp-Beziehung in epistatischen Kontexten korrekt abzubilden.

Zusammenfassend zeigt die Arbeit, dass wir trotz der Fortschritte im Deep Learning noch weit davon entfernt sind, die komplexen Wechselwirkungen von Mutationen in Proteinen vollständig zu verstehen und vorherzusagen.