Pseudoperplexity Probes Memorization in Protein Language Models

Stellen Sie sich Proteinsprachmodelle (pLMs) wie ProtT5 als superintelligente Studenten vor, die fast jedes Biologielehrbuch gelesen haben, das existiert. Diese Modelle sind fantastisch darin, vorherzusagen, was als Nächstes in einer Proteinsequenz kommt, ganz ähnlich wie ein Sprachmodell, das das nächste Wort in einem Satz vorhersagt.

Aber es gibt eine große Sorge: Haben diese Studenten tatsächlich die Regeln der Grammatik (wie Proteine aufgebaut sind) gelernt, oder haben sie nur die spezifischen Sätze auswendig gelernt, die sie in ihren Lehrbüchern gelesen haben? Wenn sie nur die Bücher auswendig gelernt haben, könnten sie scheitern, wenn man sie bittet, über ein Thema zu schreiben, das sie noch nie zuvor gesehen haben.

Das Experiment: Der „Fake“- vs. „Real“-Test

Um herauszufinden, ob ProtT5 lediglich seine Hausaufgaben rezitierte oder das Material wirklich verstanden hat, stellten die Forscher einen Test unter Verwendung eines Konzepts namens Pseudoperplexität auf. Betrachten Sie dies als einen „Überraschungsmesser“.

• Wenn das Modell von einer Sequenz überrascht ist, bedeutet das, dass es diese noch nicht gesehen hat (geringe Auswendiglern-Rate).
• Wenn das Modell überhaupt nicht überrascht ist, könnte es bedeuten, dass es genau diese Sequenz schon einmal gesehen hat (hohe Auswendiglern-Rate).

Der Aufbau
Die Forscher gaben ProtT5 zwei Arten von Proteinsequenzen:

1. Die „Gesehene“ Liste: Sequenzen, die Teil der ursprünglichen Trainingsdaten des Modells waren (wie die alten Hausaufgaben eines Studenten).
2. Die „Ungesehene“ Liste: Brandneue, wirklich neuartige Sequenzen, die das Modell noch nie zuvor gesehen hatte (wie eine brandneue Prüfungsfrage).

Um sicherzustellen, dass der Test fair war, haben sie diese Listen perfekt abgeglichen. Sie stellten sicher, dass die „gesehenen“ und „ungesehenen“ Proteine die gleiche Länge hatten, aus ähnlichen Organismenfamilien stammten und ein ähnliches Maß an Komplexität aufwiesen. Es war, als würde man sicherstellen, dass der Student zwei Aufsätze gleicher Länge und Schwierigkeit erhält, die jedoch von unterschiedlichen Personen geschrieben wurden.

Der Basis-Check
Bevor sie den Ergebnissen vertrauten, überprüften die Forscher, ob die „Ungesehene“ Liste tatsächlich neu war. Sie verwendeten einfache, klassische statistische Werkzeuge (n-Gramm-Modelle), um die Muster zu analysieren. Sie bestätigten, dass die „ungesehenen“ Sequenzen in der Tat unterschiedlich genug von den Trainingsdaten waren, um als neu zu gelten und nicht bloß leicht abgewandelte Versionen alter Daten zu sein.

Die Ergebnisse
Als sie den „Überraschungsmesser“ (Pseudoperplexität) auf ProtT5 anwendeten:

• Das Modell reagierte tatsächlich unterschiedlich auf die „gesehenen“ Sequenzen im Vergleich zu den „ungesehenen“ Sequenzen. Es war weniger überrascht von den Sequenzen, die es zuvor studiert hatte.
• Dies bewies, dass ProtT5 tatsächlich über ein gewisses Gedächtnis seiner Trainingsdaten verfügt.

Das Fazit
Der Unterschied war jedoch nicht riesig. Es war nicht so, als würde das Modell das Lehrbuch Wort für Wort rezitieren. Stattdessen war das „Auswendiglern-Signal“ moderat.

Einfach ausgedrückt: ProtT5 ist kein Papagei, der lediglich seine Trainingsdaten nachplappert, aber es ist auch kein perfektes Genie, das noch nie zuvor einen spezifischen Satz gesehen hat. Es besitzt ein merkbares, aber begrenztes Gedächtnis dessen, was es studiert hat, während es sich gleichzeitig hauptsächlich auf die allgemeinen Regeln der Proteingrammatik verlässt, um mit neuen Informationen umzugehen.