🧬 biology

Yeti: A compact protein structure tokenizer for reconstruction and multi-modal generation

Das Papier stellt Yeti vor, einen kompakten und ausdrucksstarken Tokenizer für Proteinstrukturen, der auf lookup-freier Quantisierung und Flow Matching basiert, eine hohe Rekonstruktionsgenauigkeit und Tokenvielfalt erreicht und damit das Training kleiner multimodaler Modelle ermöglicht, die in der Lage sind, plausible Proteinsequenzen und -strukturen aus dem Nichts zu generieren.

Ursprüngliche Autoren: Nabin Giri, Steven Farrell, Kristofer E. Bouchard

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nabin Giri, Steven Farrell, Kristofer E. Bouchard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, Proteine zu verstehen und zu erschaffen. Proteine sind die winzigen, komplexen Maschinen in unserem Körper, die fast alles erledigen, von der Verdauung von Nahrung bis hin zur Bekämpfung von Infektionen. Für einen Computer sieht ein Protein wie eine lange, gewundene Schnur aus Perlen (Aminosäuren) aus, die sich zu einer spezifischen 3D-Form faltet.

Das Problem besteht darin, dass Computer normalerweise in „diskreten" Wörtern sprechen (wie 0 und 1 oder Buchstaben), während Proteinformen „kontinuierlich" sind (glatt, schwebende Koordinaten im 3D-Raum). Es ist, als würde man versuchen, einen glatten, fließenden Fluss nur mit einem Wörterbuch aus gezackten Steinen zu beschreiben.

Diese Arbeit stellt Yeti vor, ein neues Werkzeug, das entwickelt wurde, um dieses Übersetzungsproblem zu lösen. Hier ist, wie es funktioniert, einfach erklärt:

1. Das Problem: Das Dilemma „Fluss gegen Steine"

Bestehende Werkzeuge versuchen, den glatten Fluss der Form eines Proteins in eine Liste von Steinen (diskrete Tokens) umzuwandeln, damit ein Computer sie lesen kann. Die meisten dieser Werkzeuge sind jedoch wie schlechte Übersetzer: Sie sind hervorragend darin, einen fertigen Fluss zu betrachten und zu sagen: „Hier sind die Steine, aus denen dieser Fluss besteht", aber sie sind schrecklich darin, einen neuen Fluss aus dem Nichts zu imaginieren. Sie priorisieren die Genauigkeit beim Kopieren gegenüber der Fähigkeit zum Erschaffen.

2. Die Lösung: Yeti (Der Meister-Übersetzer)

Die Autoren haben Yeti entwickelt (was für Yielding Encoded Tokens for Intermodality steht). Betrachten Sie Yeti als einen hocheffizienten Übersetzer, der die glatte 3D-Form eines Proteins in eine kompakte Liste von „Wörtern" (Tokens) verwandelt, die ein Computer leicht verstehen und manipulieren kann.

Das Wörterbuch: Yeti verwendet ein Wörterbuch mit 8.192 einzigartigen „Formwörtern".
Die Methode: Anstatt nur Formen auswendig zu lernen, verwendet Yeti eine Technik namens Flow Matching. Stellen Sie sich eine Wolke aus Staub (zufälliges Rauschen) vor, die sich langsam wirbelt und zu einer perfekten Schneeflocke (dem Protein) kondensiert. Yeti lernt den exakten Pfad, den der Staub nimmt, um zur Schneeflocke zu werden. Dies ermöglicht es ihm, nicht nur Formen zu kopieren, sondern auch neue, plausible Formen zu generieren.

3. Warum Yeti besonders ist

Die Arbeit vergleicht Yeti mit anderen „Übersetzern" (wie ESM3, DPLM-2 und Kanzi) und findet drei große Vorteile:

Es ist ein kompakter Genie: Yeti ist überraschend klein. Es erzielt Ergebnisse, die mit Modellen vergleichbar sind, die zehnmal größer sind. Es ist wie ein taschengroßer Taschenrechner, der Matheprobleme genauso gut löst wie ein raumgroßer Supercomputer.
Es nutzt sein ganzes Wörterbuch: Viele Übersetzer werden faul und verwenden nur ein paar Wörter aus ihrem Wörterbuch immer wieder. Yeti verwendet fast jedes einzelne Wort in seinem 8.192-Wörter-Wörterbuch. Das bedeutet, dass es einen viel reicheren Wortschatz hat, um komplexe Formen zu beschreiben.
Es kann aus dem Nichts erschaffen: Die Autoren haben ein neues KI-Modell trainiert, das nur Yetis Wörter und Aminosäuresequenzen verwendet, beginnend mit null Vorwissen. Dieses neue Modell konnte gleichzeitig die Sequenz eines Proteins (die Perlenkette) und seine 3D-Form erfinden. Es tat dies, ohne ein massives vortrainiertes Gehirn zu benötigen, was beweist, dass Yetis „Wörter" von hoher genug Qualität sind, um ein neues Protein aus dem Nichts aufzubauen.

4. Wie es funktioniert (Der Falttanz)

Die Arbeit beobachtete auch, wie Yeti ein Protein während der Generierung „faltet". Es ist keine gerade Linie; es ist ein Tanz mit zwei Phasen:

Das Huddeln: Zuerst ballt sich das Protein schnell zu einer kompakten Kugel zusammen (wie eine Menschenmenge, die sich versammelt).
Die Verfeinerung: Erst ganz am Ende schnappt es in seine endgültige, detaillierte Form (wie die Menschenmenge, die plötzlich eine bestimmte Menschenpyramide bildet).

Das Fazit

Yeti ist eine neue, effiziente und ausdrucksstarke Möglichkeit, Proteinformen in Computersprache zu verwandeln. Es beweist, dass man kein massives, aufgeblähtes Modell benötigt, um Proteine zu verstehen; man braucht nur einen intelligenten, kompakten Tokenizer, der die Sprache der 3D-Formen fließend spricht. Dies öffnet die Tür dafür, dass Computer neue Proteine entwerfen können, die sowohl strukturell solide als auch funktionell nützlich sind, und das alles bei geringerem Rechenaufwand als aktuelle Methoden.

Technische Zusammenfassung: Yeti – Ein kompakter Proteinstruktur-Tokenisierer für Rekonstruktion und multimodale Generierung

1. Problemstellung

Die Integration von Proteinsequenzen, 3D-Strukturen und funktionalen Annotationen in eine einheitliche multimodale Repräsentation ist entscheidend für den Fortschritt der computergestützten Biologie. Allerdings stehen aktuelle Ansätze vor drei Hauptherausforderungen:

Datenheterogenität: Biologische Daten umfassen diverse Modalitäten (biophysikalische Einschränkungen, Text, Bildgebung, volumetrische Daten) mit unterschiedlichen statistischen Eigenschaften.
Unvollständigkeit und Rauschen: Reale Datensätze leiden häufig unter fehlenden Modalitäten, verrauschten Messungen und ungleichmäßiger Abdeckung im Struktur-Funktions-Raum.
Skalierbarkeit und Kopplung: Die meisten Modelle operieren auf einer einzigen Skala oder Modalität und verfügen über keine Mechanismen, um Informationen über Ebenen hinweg (von atomar bis zellulär) zu übertragen oder gekoppelte Prozesse zu verarbeiten.

Insbesondere behandeln zwar neuere generative Modelle Proteine als 3D-Objekte unter Verwendung kontinuierlicher Koordinatenräume (z. B. SE(3)-Diffusion), doch gibt es eine überzeugende Alternative: Die Kodierung von 3D-Atomstrukturen als diskrete Tokens. Dies ermöglicht eine skalierbare, modalitätsunabhängige Schulung, ähnlich wie bei Sprachmodellen. Bestehende Proteinstruktur-Tokenisierer (z. B. ESM3, DPLM-2, Kanzi) priorisieren jedoch oft die Rekonstruktionsgenauigkeit gegenüber generativen Fähigkeiten. Es besteht eine Diskrepanz, bei der eine hohe Rekonstruktionsfidelität keine hohe Tokenvielfalt oder Unterstützung für die unbedingte Co-Generierung von Sequenz und Struktur garantiert. Darüber hinaus verlassen sich viele state-of-the-art-Modelle auf massive Parameterzahlen oder zweistufige Trainingsparadigmen, bei denen Encoder eingefroren werden, was die End-to-End-Optimierung potenziell einschränkt.

2. Methodik

2.1 Architektur: Yeti

Yeti (Yielding Encoded Tokens for Intermodality) ist ein kompakter, einstufiger Proteinstruktur-Tokenisierer, der entwickelt wurde, um kontinuierliche 3D-Atomkoordinaten auf diskrete Tokens abzubilden.

Eingabe: Proteinstrukturen, dargestellt als mittelpunktszentrierte $C_\alpha$ -Koordinaten ( $x \in \mathbb{R}^{L \times 3}$ ).
Encoder: Ein auf Transformer basierender Encoder, der Multi-Head-Attention mit rotatorischer Positions-Kodierung (RoPE) nutzt, um Eingaben auf kontinuierliche latente Embeddings $Z \in \mathbb{R}^{L \times D}$ abzubilden.
Quantisierung: Die Embeddings werden in einen Quantisierungsraum projiziert und von einem Lookup-Free Quantizer (LFQ) verarbeitet. Der LFQ-Raum ist ein kartesisches Produkt binärer Sub-Codebücher ( $C_i = \{-1, +1\}$ ). Die Quantisierung erfolgt über eine Vorzeichenoperation, die Vektoren ohne Bedarf an einer Nachschlagetabelle auf diskrete Indizes abbildet und so eine Vokabulargröße von $K = 2^D$ ergibt.
Decoder: Eine StripedHyena-Architektur (ein hybrides Signalverarbeitungsmodell) fungiert als Decoder. Im Gegensatz zu herkömmlichen Decodern, die auf SE(3)-invarianten Komponenten wie Invariant Point Attention (IPA) basieren, lernt der StripedHyena-Decoder ein bedingtes Geschwindigkeitsfeld, um Strukturen aus verrauschten Koordinaten wiederherzustellen.

2.2 Trainingsziel: Flow Matching

Yeti wird End-to-End mit einem Flow-Matching-Ziel trainiert, das zwischen einer Gaußschen Rauschverteilung ( $p_0$ ) und der Ziel-Proteinstrukturverteilung ( $p_{data}$ ) interpoliert.

Verlustfunktion: Das Modell minimiert die Differenz zwischen dem vorhergesagten bedingten Geschwindigkeitsfeld $v_\theta(x_t, t, c)$ und dem Zielvektorfeld ( $x_1 - x_0$ ), wobei $x_1$ die saubere Struktur und $x_0$ Gaußsches Rauschen ist.
Entropie-Regularisierung: Um einen Codebook-Kollaps zu verhindern und eine hohe Auslastung sicherzustellen, wird eine Entropiestrafe zur Verlustfunktion hinzugefügt: $L = L_{FM} + \lambda L_{entropy}$ .
Inferenz: Während der Inferenz wird Classifier-Free Guidance (CFG) eingesetzt. Durch zufälliges Nullsetzen von Token-Embeddings während des Trainings lernt das Modell sowohl bedingte als auch unbedingte Geschwindigkeitsfelder, was eine geführte Dekodierung zur Verfeinerung der Strukturgenauigkeit ermöglicht.

2.3 Multimodale Co-Generierung

Um den generativen Nutzen von Yeti-Tokens zu validieren, trainierten die Autoren ein Masked Diffusion Model (MDM) von Grund auf neu. Dieses Modell generiert gemeinsam Aminosäuresequenzen und Yeti-Struktur-Tokens ohne jegliche vortrainierte Initialisierung (im Gegensatz zu DPLM-2, das einen Warm-Start von einem Sequenzmodell nutzt, oder ESM3, das kaskadierte Pipelines verwendet).

3. Hauptbeiträge

Kompakter, End-to-End-Tokenisierer: Vorstellung von Yeti, einem einstufigen Tokenisierer, der End-to-End mit Flow Matching trainiert wird und das in früheren Arbeiten übliche zweistufige Paradigma „Encoder einfrieren" vermeidet.
Hohe Codebook-Auslastung: Yeti erreicht eine überlegene Codebook-Auslastung und Tokenvielfalt im Vergleich zu größeren Modellen (ESM3, DPLM-2) und anderen Quantisierungsmethoden (FSQ, VQ-VAE), trotz deutlich geringerer Parameterzahl.
Parametereffizienz: Yeti erreicht eine konkurrenzfähige Rekonstruktionsgenauigkeit mit nur 62,5 Millionen Parametern, etwa 10-mal weniger als ESM3 (648 Millionen) und 2-mal weniger als DPLM-2 (118 Millionen).
Proof-of-Concept Co-Generierung: Demonstration, dass ein kompakter multimodaler Modell, der von Grund auf neu auf Yeti-Tokens trainiert wurde, eine unbedingte Co-Generierung von Proteinsequenzen und -strukturen durchführen kann und Ergebnisse erzielt, die mit Modellen vergleichbar sind, die 10-mal größer sind.
Analyse der Faltungsdynamik: Identifikation eines hierarchischen Auftretens von Sekundärstrukturen während der Flow-Matching-Dekodierungstrajektorie, gekennzeichnet durch eine frühe globale Kompaktion, gefolgt von einem Phänomen der „späten Verpflichtung", bei dem sich die globale Topologie in den letzten Schritten konsolidiert.

4. Ergebnisse

4.1 Codebook-Analyse

Auslastung: Auf einem Codebook mit 8.192 Einträgen erreicht Yeti eine hohe Perplexität und Entropie und übertrifft ESM3 und Kanzi signifikant. Auf dem CATH-Datensatz nutzt Yeti etwa 66 % seiner Kapazität (Perplexität = 5414), mit einer Intra-Struktur-Vielfalt ( $\bar{U}$ ) von 98,8 %, was die Metrik nahezu sättigt und auf hochgradig unterschiedliche Token-Zuweisungen für Reste hinweist.
Vergleich: Yeti übertrifft DPLM-2 in der Codebook-Auslastung, obwohl beide LFQ verwenden; dies wird dem End-to-End-Trainingsparadigma im Gegensatz zum eingefrorenen Encoder-Ansatz von DPLM-2 zugeschrieben.

4.2 Rekonstruktionsgenauigkeit

Metriken: Yeti erreicht einen TM-Score von 0,96 auf CAMEO, 0,97 auf CASP14 und 0,95 auf CASP15 und CATH.
Effizienz: Obwohl ESM3 aufgrund seiner massiven Skalierung einen leicht niedrigeren RMSD aufweist, sind die TM-Scores von Yeti vergleichbar oder überlegen, was darauf hindeutet, dass es die korrekte globale Topologie effektiv wiederherstellt. Der Flow-basierte Decoder von Yeti erzeugt Proben mit Varianz in lokalen Atompositionen (was den RMSD bestraft), aber konsistenter globaler Topologie, ein Merkmal, das für die Generierung mehrerer Konformationen vorteilhaft ist.

4.3 Unbedingte Co-Generierung

Leistung: Ein 224-Millionen-Parameter-Modell, das von Grund auf neu auf 2,6 Millionen Proteinen (unter Verwendung von Yeti-Tokens) trainiert wurde, erreichte einen Selbstkonsistenz-TM-Score (scTM) von 0,70 und einen pLDDT von 76,12.
Vergleich: Diese Leistung ist mit DPLM-2 (scTM 0,87) vergleichbar und deutlich besser als ESM3-Open (scTM 0,46), obwohl DPLM-2 auf einem vortrainierten Sequenzmodell mit 650 Millionen Parametern basiert und ESM3 eine kaskadierte Pipeline verwendet.
Designierbarkeit: ProteinMPNN konnte 30,6 % der ursprünglich generierten Sequenzen aus den generierten Strukturen wiederherstellen, was die geometrische Konsistenz und Designierbarkeit der co-generierten Paare bestätigt.

4.4 Flow-Trajektorien-Dynamik

Die Analyse der Dekodierungstrajektorie zeigte ein nicht-monotones Auftreten von Merkmalen:

Frühe Phase ( $t < 0,6$ ): Schnelle globale Kompaktion (abnehmender Trägheitsradius).
Späte Phase ( $t > 0,9$ ): Schnelles Zusammenwachsen von Sekundärstrukturelementen ( $\alpha$ -Helices und $\beta$ -Faltblätter) und Konsolidierung der globalen Topologie.
Dies deutet darauf hin, dass der Tokenisierer die grobkörnige Dichte effektiv von hochfrequenten strukturellen Details entkoppelt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Yeti als kompakte und ausdrucksstarke Grundlage für das Training multimodaler Proteinmodelle dient. Ihre primäre Bedeutung liegt in der Demonstration, dass:

Diskrete Tokenisierung für die Generierung machbar ist: Eine hochwertige, unbedingte Co-Generierung von Sequenz und Struktur ist ohne massives Vortraining oder kaskadierte Pipelines möglich, sofern der Tokenisierer ausdrucksstark ist und das Trainingsziel (Flow Matching) mit generativen Zielen übereinstimmt.
Effizienz vor Skalierung: Ein sorgfältig entworfenes, kleineres Modell (62,5 Millionen Parameter) kann größere Modelle (600 Millionen+) in Tokenvielfalt und Rekonstruktion übertreffen oder mit ihnen mithalten und damit die Vorstellung herausfordern, dass Skalierung der einzige Weg zu Leistung in der Proteinmodellierung ist.
Einheitliche Repräsentation: Die Fähigkeit, ein Modell von Grund auf neu auf gemeinsamen Sequenz-Struktur-Daten zu trainieren, validiert das Potenzial einer universellen molekularen Repräsentation, die die intrinsische Kopplung zwischen Aminosäuresequenzen und 3D-Strukturen erfasst.

Die Autoren positionieren Yeti nicht als endgültige Lösung für alle Proteindesign-Aufgaben, sondern als Proof-of-Concept, der die Machbarkeit ihrer Tokenisierungsstrategie etabliert. Sie erkennen Einschränkungen an, wie die Abhängigkeit von Strukturen mit einer einzigen Konformation und die Notwendigkeit weiterer Skalierung, um die Leistung spezialisierter, stark abgestimmter Modelle wie La-Proteina zu erreichen. Dennoch behaupten sie, dass Yeti ein skalierbares, effizientes und effektives Rückgrat für zukünftige multimodale Proteinmodelle bietet, die in der Lage sind, hochplausible Sequenzen und Strukturen gemeinsam zu generieren.