🤖 machine learning

Towards Understanding the Shape of Representations in Protein Language Models

Diese Arbeit untersucht die geometrische Struktur von Repräsentationen proteinbasierter Sprachmodelle mittels Quadratwurzel-Geschwindigkeit und Graphfiltrationen und zeigt, dass Modelle strukturelle Merkmale nichtlinear über die Schichten hinweg kodieren, wobei die optimale Genauigkeit unmittelbar vor der letzten Schicht erreicht wird, während sie Schwierigkeiten haben, langreichweitige kontextuelle Beziehungen aufrechtzuerhalten.

Ursprüngliche Autoren: Kosio Beshkov, Anders Malthe-Sørenssen

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kosio Beshkov, Anders Malthe-Sørenssen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek von Protein-Geschichten vor. In der realen Welt sind diese Geschichten in 3D geschrieben, zu komplexen Formen gefaltet, die bestimmen, was das Protein tut. Doch Wissenschaftler haben kürzlich begonnen, „Sprachmodelle" (KI, die auf Proteinsequenzen trainiert wurde) zu verwenden, um diese Geschichten zu lesen. Das Problem ist, dass wir nicht vollständig verstehen, wie die KI diese Geschichten in ihrer eigenen geheimen Sprache umschreibt.

Dieser Artikel ist wie ein Detektiv, der versucht, die Form der geheimen Sprache der KI herauszufinden. Die Autoren fragen: „Wenn die KI ein Protein betrachtet, sieht sie dann eine flache Liste von Wörtern oder eine 3D-Skulptur? Und wie verändert sich diese Skulptur, während die KI tiefer 'denkt'?"

Hier ist die Aufschlüsselung ihrer Untersuchung mit einfachen Analogien:

1. Die zwei Werkzeuge: Formen messen und Rauschen filtern

Um den „Geist" der KI zu verstehen, verwendeten die Autoren zwei spezielle Werkzeuge:

Der „Formwandler" (SRV-Darstellung):
Stellen Sie sich vor, Sie haben einen Klumpen Ton (ein Protein). Sie können ihn strecken, drehen oder herum bewegen, aber es ist immer noch derselbe Tonklumpen. Die Autoren verwendeten einen mathematischen Trick namens Square-Root Velocity (SRV), um jedes Protein in eine glatte, flexible Kurve zu verwandeln.
- Die Analogie: Denken Sie daran, jedes Protein in ein einzigartiges, dehnbares Gummiband zu verwandeln. Die Aufgabe der KI besteht darin, herauszufinden, dass zwei Gummibänder „ähnlich" sind, selbst wenn eines verdreht oder gedreht ist. Die Autoren bildeten diese Gummibänder in einen speziellen „Formraum" ab, in dem sie messen konnten, wie weit verschiedene Proteine voneinander entfernt sind.
Das „Sieb" (Graph-Filtration):
Stellen Sie sich vor, Sie betrachten ein Protein durch eine Reihe von Sieben mit unterschiedlich großen Löchern. Ein kleines Sieb lässt Sie nur die unmittelbaren Nachbarn sehen (die Aminosäuren direkt nebeneinander). Ein größeres Sieb lässt Sie Freunde weiter entfernt sehen.
- Die Analogie: Die Autoren nutzten dies, um zu testen, wie weit die KI „sehen" kann, um die Struktur des Proteins zu verstehen. Kennt die KI nur ihre unmittelbaren Nachbarn, oder kann sie das ganze Bild sehen?

2. Was sie fanden: Der Tanz der „Expansion und Kontraktion"

Die Autoren betrachteten die internen Schichten der KI (wie die verschiedenen Etagen eines Wolkenkratzers) und fanden ein überraschendes Muster darin, wie sich der „Formraum" verändert:

Die frühen Etagen (Expansion): Am Anfang nimmt die KI das Protein und streckt es in einen riesigen, komplexen, hochdimensionalen Raum aus. Es ist wie eine kleine Skizze zu nehmen und sie zu einem massiven, detaillierten 3D-Modell mit unendlichen Möglichkeiten aufzublasen. Die „Form" der Daten wird hier sehr breit und vielfältig.
Die späten Etagen (Kontraktion): Wenn die Daten die Wolkenkratzer nach oben zu den obersten Schichten wandern, faltet die KI diesen riesigen Raum wieder zusammen. Sie presst die Daten in einen viel kleineren, engeren Raum.
- Das Ergebnis: Wenn die Daten die Spitze erreichen, sind die „Formen" verschiedener Proteine einander sehr ähnlich. Die KI hat das Rauschen entfernt und ein paar Kern-„Formen" gefunden, die fast alles beschreiben.

Wichtigste Erkenntnis: Die KI wird oben nicht nur „klüger"; sie vereinfacht tatsächlich die Geometrie der Proteinwelt und komprimiert sie in einige effiziente Formen.

3. Wie weit kann die KI „sehen"? (Kontextlänge)

Mit ihrem „Sieb"-Werkzeug testeten die Autoren, wie viele Nachbarn die KI sehen muss, um die 3D-Struktur des Proteins zu verstehen. Sie fanden ein Zwei-Schritte-Muster:

Der unmittelbare Nachbar (2 Schritte): Die KI ist sehr gut darin, die Aminosäuren direkt nebeneinander zu sehen. Das ergibt Sinn; es ist wie den Namen Ihres besten Freundes zu kennen.
Der „Sweet Spot" (8 Schritte): Überraschenderweise wird die KI auch sehr gut darin, eine Gruppe von etwa 8 Nachbarn zu sehen.
- Die Analogie: Es ist, als würde die KI das Protein am besten verstehen, wenn sie auf einen kleinen Freundeskreis (2 Personen) oder einen kleinen Nachbarschaftsblock (8 Personen) blickt.
- Die Grenze: Wenn die KI versucht, das gesamte Protein auf einmal zu betrachten (sehr große Entfernungen), wird ihr Verständnis der 3D-Form unscharf und verschlechtert sich.

4. Der „Sweet Spot" für das Falten

Das praktischste Ergebnis betrifft wo im Gehirn der KI die 3D-Struktur am besten erhalten bleibt.

Die Autoren fanden heraus, dass die oberste Schicht (die allerletzte Etage des Wolkenkratzers) eigentlich nicht der beste Ort ist, um die 3D-Form zu finden.
Stattdessen enthält die Schicht direkt vor der letzten die genaueste „Karte" der 3D-Struktur des Proteins.
Die Analogie: Stellen Sie sich einen Koch vor, der eine Mahlzeit zubereitet. Das Endgericht (die letzte Schicht) ist das fertige Produkt, aber der Moment, in dem die Geschmäcker am perfekten und deutlichsten ausbalanciert sind, ist kurz bevor die letzte Garnitur hinzugefügt wird. Wenn Sie die KI nutzen wollen, um neue Proteine zu bauen (zu falten), sollten Sie diese „kurz-vor-dem-Ende"-Schicht betrachten, nicht die endgültige Ausgabe.

Zusammenfassung

Dieser Artikel ist eine Karte davon, wie KI Proteine „sieht". Er zeigt, dass die KI beginnt, Protein-Daten in eine riesige, komplexe Form zu strecken, und sie dann wieder in eine einfache, effiziente Form zusammenfaltet. Sie versteht die 3D-Struktur am besten, wenn sie kleine Gruppen von Nachbarn betrachtet, und sie hat das klarste Bild der Proteinform kurz bevor sie ihre endgültige Berechnung abschließt. Dies deutet darauf hin, dass wir, wenn wir KI nutzen wollen, um neue Proteine zu entwerfen, dem zuhören sollten, was sie in der Schicht direkt vor ihrer endgültigen Antwort sagt.

Technische Zusammenfassung: Auf dem Weg zum Verständnis der Form von Repräsentationen in Protein-Sprachmodellen

Problemstellung

Protein-Sprachmodelle (PLMs), wie die Familie der Evolutionary Scale Modeling (ESM)-Modelle, haben vielversprechende Ergebnisse bei der de-novo-Proteindesign, der Strukturvorhersage und der funktionalen Annotation gezeigt. Obwohl empirisch bekannt ist, dass PLM-Repräsentationen als effektive Initialisierungen für Faltungsmodelle dienen, bleibt die genaue Natur der in diesen versteckten Repräsentationen kodierten Information weitgehend unverstanden. Bestehende Interpretierbarkeitsbemühungen konzentrierten sich weitgehend darauf, wie einzelne Sequenzen in latente Vektoren transformiert werden, oder darauf, spezifische Merkmale (z. B. Bindungsmotive, ko-evolutionäre Statistiken) innerhalb einzelner Sequenzen zu identifizieren. Diese Ansätze vernachlässigen jedoch die geometrische Struktur des gesamten Raums der Proteinrepräsentationen und wie sich verschiedene Proteine innerhalb dieses latenten Raums zueinander verhalten. Darüber hinaus kollabieren Standardpraktiken oft die Sequenzdimension (z. B. durch Mittelwertbildung) und werfen dabei die der vollen Tensorrepräsentation innewohnende „Form"-Information über Bord. Dieser Artikel schließt die Lücke im Verständnis der globalen metrischen Geometrie von PLM-Repräsentationsräumen und der spezifischen Kontextlängen, bei denen Strukturmerkmale kodiert werden.

Methodik

Die Autoren schlagen einen Rahmen vor, um die „Form" von Proteinrepräsentationen zu analysieren, indem sie diese unter Verwendung zweier primärer mathematischer Ansätze auf metrische Räume abbilden:

1. Quadratwurzel-Geschwindigkeitsdarstellungen (Square-Root Velocity, SRV)

Um die globale Geometrie von Repräsentationsräumen zu analysieren, behandeln die Autoren Proteinsequenzen und ihre PLM-Einbettungen als geordnete Punktwolken.

Kurveninterpolation: Punktwolken (die entweder 3D-Strukturen oder PLM-Einbettungen repräsentieren) werden mittels quadratischer Splines interpoliert, um kontinuierliche Kurven $\gamma(t)$ in $\mathbb{R}^m$ zu bilden.
SRV-Transformation: Diese Kurven werden in Quadratwurzel-Geschwindigkeitsdarstellungen (Square-Root Velocity, SRV) transformiert, $q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$ , was sie auf eine unendlichdimensionale Sphäre $S^\infty$ projiziert.
Quotientierung: Um Invarianz gegenüber Translation und Rotation (Isometrien von $SE(m)$) zu erzwingen, faktorisieren die Autoren die Rotationsgruppe $SO(m)$ mittels Singulärwertzerlegung (SVD) heraus, um die optimale Rotation zu finden, die zwei Kurven ausrichtet.
Metrischer Raum: Dieser Prozess erzeugt einen riemannschen Formraum, in dem Abstände zwischen Proteinen berechnet werden können. Die Autoren nutzen diesen Raum zur Berechnung von:
- Fréchet-Radius: Der mittlere Abstand aller Repräsentationen von ihrem Fréchet-Mittelwert, der als Maß für die Streuung der Formen dient.
- Effektive Dimension: Berechnet mittels Tangentialer Hauptkomponentenanalyse (Tangent PCA) auf der Mannigfaltigkeit des Formraums, welche die intrinsische Dimensionalität der Formvariationen misst.

2. Graphfiltrationen

Um die Sensitivität der Kontextlänge von PLMs zu untersuchen, wenden die Autoren einen Graphfiltrationsansatz aus der Topologischen Datenanalyse an.

Graphkonstruktion: Für ein gegebenes Protein und seine PLM-Repräsentation werden $k$ -Nachbar-Graphen basierend auf euklidischen Abständen zwischen den Resten konstruiert.
Filtration: Durch Variation der Anzahl der Nachbarn $k$ (oder eines Abstandsschwellenwerts $t$ ) wird eine Filtration von Graphen erzeugt.
Metrischer Vergleich: Die Autoren vergleichen die Adjazenzmatrizen der Graphen der wahren 3D-Proteinstruktur mit den Adjazenzmatrizen der Graphen der PLM-Repräsentationen.
Graphfiltrationsmoment: Eine normalisierte Metrik wird als Verhältnis des Abstands zwischen der Proteinstruktur und ihrer PLM-Einbettung zum Abstand zwischen der Proteinstruktur und zufälligen Punktwolken definiert. Dies quantifiziert, wie gut das PLM die strukturelle Nähe auf verschiedenen Skalen (Kontextlängen) erhält.

Die Analyse wurde an 1.377 Proteinen durchgeführt, die aus dem SCOPe-Datensatz stammten und durch verschiedene ESM2-Modelle unterschiedlicher Größe sowie das Ankh-Modell verarbeitet wurden.

Hauptergebnisse

1. Geometrie der PLM-Formräume

Dimensionsausdehnung und -kontraktion: Die effektive Dimension des Formraums folgt über die Schichten hinweg einem nichtlinearen Muster. Initiale Schichten zeigen eine signifikante Ausdehnung der Dimensionalität, insbesondere in größeren Modellen, gefolgt von einer Kontraktion in tieferen Schichten.
Niedrigdimensionaler Unterraum: In den finalen Schichten wird die effektive Dimension sehr niedrig, deutlich niedriger als die umgebende Einbettungsdimension. Dies deutet darauf hin, dass, obwohl PLMs einen hochdimensionalen Raum aufspannen, die Variationen in Proteinformen durch wenige spezifische Formdeskriptoren beschrieben werden können.
Fréchet-Radius: Der Fréchet-Radius nimmt im Allgemeinen mit der Tiefe ab, was darauf hindeutet, dass sich die Repräsentationen im Formraum stärker clustern. Bemerkenswerterweise ist die Variabilität zwischen den Formen über alle Modelle hinweg gering, und der Radius variiert nicht signifikant mit der Modellgröße.
Generalisierbarkeit: Dieses Ausdehnungs-Kontraktions-Muster wurde sowohl in ESM2-Modellen als auch im Ankh-Modell beobachtet, was darauf hindeutet, dass es eine fundamentale Eigenschaft der PLM-Architektur ist.

2. Sensitivität der Kontextlänge

Bimodale Kodierung: Die Graphfiltrationsanalyse offenbart ein bimodales Muster in der Strukturkodierung. PLMs kodieren 3D-Strukturmerkmale optimal auf zwei unterschiedlichen Skalen:
1. Unmittelbare Nachbarn: Bei sehr kurzen Kontextlängen (ca. 2 Reste).
2. Lokale Nachbarschaften: Bei etwas längeren Kontextlängen (ca. 8 Reste).
Schichtabhängigkeit: Die Strukturkodierung ist im gesamten Netzwerk vorhanden, ist jedoch in der finalen Schicht nicht optimal. Die beste strukturelle Treue findet sich in den Schichten unmittelbar vor der letzten.
Klassenvariationen: Verschiedene Proteinklassen zeigen unterschiedliche Grade struktureller Treue. Alpha/Beta-Proteine zeigen die höchste Ähnlichkeit zwischen ihren PLM-Repräsentationen und 3D-Strukturen, während kleine und designte Proteinformen deutlichere Unterschiede aufweisen.
Unabhängigkeit von der Länge: In tieferen Schichten scheint die Kodierung der lokalen Kontextstruktur unabhängig von der gesamten Proteingröße zu sein.

Bedeutung und Behauptungen

Der Artikel beansprucht, eine neue geometrische Perspektive auf PLM-Repräsentationen zu bieten, die über die Analyse einzelner Sequenzen hinausgeht, um die kollektive Struktur des Repräsentationsraums zu verstehen.

Interpretierbarkeit: Die Arbeit zeigt, dass PLMs Proteinstrukturen implizit kodieren, obwohl sie ausschließlich auf Aufgaben des maskierten Sprachmodells ohne explizite strukturelle Überwachung trainiert wurden. Die Erkenntnis, dass Struktur bei spezifischen Kontextlängen (2 und 8 Reste) kodiert wird, legt nahe, dass das Modell lokale und semi-lokale geometrische Randbedingungen als Nebenprodukt der Sequenzvorhersage lernt.
Einblicke in die Modellarchitektur: Das beobachtete Ausdehnungs-Kontraktions-Muster der effektiven Dimension stimmt mit Theorien über Regime hoher Abstraktion in frühen Schichten und spezifische, semantisch reiche Regime in späteren Schichten überein. Die niedrige effektive Dimension in tiefen Schichten impliziert, dass die komplexe Aufgabe des Proteinfaltens über eine kleine Anzahl von Formtransformationen navigierbar sein könnte.
Praktische Implikationen für das Falten: Die Autoren schlagen vor, dass die suboptimale Strukturkodierung in der finalen Schicht, im Kontrast zur hohen Treue in den vorhergehenden Schichten, einen potenziellen Weg zur Verbesserung von Proteinfaltungsmodellen bietet. Konkret könnte die Initialisierung von Faltungsmodellen mit Repräsentationen aus Schichten unmittelbar vor der letzten (statt der letzten Schicht selbst) zu besseren Leistungen führen. Die Autoren weisen jedoch darauf hin, dass erste Versuche, dies mit linearen Modellen oder kleinen Netzwerken zu verifizieren, nicht generalisierten, was darauf hindeutet, dass weitere Forschung mit größeren Modellen erforderlich ist.

Zusammenfassend stellt der Artikel fest, dass PLM-Repräsentationsräume eine ausgeprägte geometrische Struktur besitzen, die durch eine Dimensionsausdehnung gefolgt von einer Kontraktion gekennzeichnet ist, und dass diese Repräsentationen Proteinstrukturmerkmale am effektivsten bei spezifischen, kurzen bis moderaten Kontextlängen erfassen, insbesondere in Schichten vor der finalen Ausgabe.