🧬 biology

Self-Improvement Imitation with Biologically Guided Search for Protein Design Under Oracle Budgets

Das Papier stellt SILO vor, ein selbstverbesserndes Imitationsframework auf Trajektorienebene, das hierarchische Editierpolitiken, stochastische Strahlsuche und einen Alanin-Scan-Fitness-Score kombiniert, um im Vergleich zu bestehenden Verstärkungslern- und generativen Baselines eine überlegene Optimierung von Proteinsequenzen unter engen Oracle-Budgets zu erreichen.

Ursprüngliche Autoren: Ashima Khanna, Dominik Grimm

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ashima Khanna, Dominik Grimm

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein perfektes neues Rezept für ein Gericht zu kreieren. Sie haben ein Grundrezept (das „Wildtyp"-Protein), und Ihr Ziel ist es, die Zutaten anzupassen, um es noch besser schmecken zu lassen (höhere „Fitness"). Allerdings gibt es eine strikte Regel: Sie können Ihre Kreationen nur eine begrenzte Anzahl von Malen verkosten, bevor Ihnen das Geld oder die Zutaten ausgehen. Dies ist die Herausforderung des Proteindesigns unter einem „Oracle-Budget".

In der wissenschaftlichen Welt ist der „Verkostungstest" eine Computersimulation oder ein Laborexperiment, das als Oracle bezeichnet wird. Es sagt Ihnen, ob ein Protein funktioniert, ist jedoch teuer und langsam. Das Problem besteht darin, dass es mehr mögliche Kombinationen von Zutaten gibt als Sterne am Himmel. Wenn Sie einfach zufällig raten, verschwenden Sie Ihr Budget. Wenn Sie sich zu sehr auf ein billiges, unvollkommenes Vorhersagemodell (ein „Surrogat") verlassen, lassen Sie sich möglicherweise täuschen und denken, ein schlechtes Rezept sei gut.

Die Arbeit stellt eine neue Methode namens SILO (Self-Improvement Imitation with Biologically Guided Search) vor, um dieses Rätsel zu lösen. Hier ist die Funktionsweise, aufgeteilt in einfache Konzepte:

1. Das Problem mit alten Methoden

Frühere Versuche, dies zu lösen, waren wie zwei verschiedene Arten von Köchen:

Der Reinforcement-Learning-Koch: Dieser Koch versucht, einen „Wert" für jedes mögliche Gericht zu lernen. Aber wenn die Verkostungsmaschine verrauscht ist (inkonsistente Ergebnisse liefert), gerät der Koch in Verwirrung, macht schlechte Vermutungen, und die gesamte Strategie bricht zusammen.
Der Koch für zufällige Mutationen: Dieser Koch verändert Zutaten, ohne darüber nachzudenken, wo sie sich befinden. Er könnte versehentlich ein entscheidendes Gewürz austauschen, das das ganze Gericht zusammenhält, und damit das Rezept ruinieren.

2. Die SILO-Lösung: Ein kluger Lehrling

SILO agiert wie ein kluger Lehrling, der lernt, indem er die besten Versionen des Gerichts beobachtet, die er bisher hergestellt hat. Anstatt zu versuchen, den „Wert" jedes möglichen zukünftigen Gerichts zu erraten, kopiert er einfach die spezifischen Schritte, die zu den besten Ergebnissen geführt haben.

Hier sind die drei geheimen Zutaten von SILO:

A. Die „Schritt-für-Schritt"-Bearbeitung (Hierarchische Richtlinie)

Anstatt das gesamte Rezept auf einmal zu ändern, zerlegt SILO den Prozess für jede Änderung in zwei kleine Schritte:

Einen Ort auswählen: „Lassen Sie uns die 5. Zutat ändern."
Eine neue Zutat auswählen: „Lassen Sie uns sie gegen Salz austauschen."
Dies verhindert, dass der Koch chaotische, alles-auf-einmal-Änderungen vornimmt, die das Gericht zerstören. Es hält die Suche organisiert.

B. Das „Biologische Sicherheitsnetz" (Alanin-Scan-Fitness)

Dies ist der kreativste Teil. In der Biologie gibt es eine Technik namens Alanin-Scan. Stellen Sie sich vor, Sie möchten wissen, ob eine bestimmte Zutat kritisch für das Gericht ist. Sie tauschen sie gegen eine neutrale, fade Zutat (Alanin) aus, um zu sehen, ob der Geschmack verschwindet.

Wie SILO es nutzt: Bevor SILO sein kostbares „Verkostungs"-Budget für ein neues Rezept ausgibt, fragt es: „Wenn ich diese spezifischen Änderungen durch fade Zutaten ersetzen würde, würde das Gericht dann immer noch gut schmecken?"
Wenn die Antwort ja lautet, bedeutet dies, dass diese Stellen flexibel und sicher zu ändern sind.
Wenn die Antwort nein lautet, bedeutet dies, dass diese Stellen kritisch sind, und SILO vermeidet es, dort riskante Änderungen vorzunehmen.
Dies dient als Filter und stellt sicher, dass der Koch keine Zeit mit Rezepten verschwendet, die wahrscheinlich scheitern, weil sie einen vitalen Teil der Struktur zerstört haben.

C. Die „Selbstverbesserungsschleife" (Imitationslernen)

SILO läuft in Runden ab:

Generieren: Es erstellt viele neue Rezeptvariationen unter Verwendung einer intelligenten Suchtechnik (Stochastische Strahlsuche), die viele verschiedene Pfade erkundet, ohne sich zu wiederholen.
Filtern: Es nutzt das „Sicherheitsnetz" und ein Vorhersagemodell, um die besten Kandidaten auszuwählen.
Verkosten: Es schickt die besten wenigen an das teure Oracle für eine echte Bewertung.
Lernen: Es betrachtet die Gewinner. Es versucht nicht zu berechnen, warum sie gewonnen haben; es merkt sich einfach die genaue Abfolge der Schritte (die „Trajektorie"), die das ursprüngliche Rezept in den Gewinner verwandelt hat.
Imitieren: Es aktualisiert sein „Lehrlingsgehirn", um die Wahrscheinlichkeit zu erhöhen, diese gleichen Schritte beim nächsten Mal zu unternehmen.

3. Die Ergebnisse: Den Kochwettbewerb gewinnen

Die Autoren testeten SILO an acht verschiedenen „Kochherausforderungen" (Proteindatensätzen) und verglichen es mit fünf anderen Top-Methoden.

Das Ergebnis: SILO fand konsistent die am höchsten bewerteten Rezepte (maximale Fitness) und die beste durchschnittliche Gruppe von Rezepten (Top-100-Mittelwert der Fitness) bei allen acht Herausforderungen.
Geschwindigkeit: Es fand gute Rezepte schneller als die anderen, was bedeutet, dass es sein begrenztes „Verkostungs"-Budget effizienter nutzte.
Widerstandsfähigkeit: Wenn das Vorhersagemodell verrauscht war (wie eine kaputte Verkostungsmaschine) oder wenn der Koch mit sehr wenigen Daten begann, blieb SILO leistungsfähig, während andere Methoden kämpften oder scheiterten.

Zusammenfassende Analogie

Stellen Sie sich Proteindesign als die Navigation durch ein riesiges, nebliges Labyrinth vor, um den höchsten Gipfel zu finden.

Alte Methoden waren wie der Versuch, den ganzen Berg auf einmal zu kartieren (oft im Nebel verloren gehend) oder einfach nur zufällige Schritte zu unternehmen.
SILO ist wie ein Kletterer, der:
1. Kleine, bewusste Schritte unternimmt (hierarchische Bearbeitung).
2. Die Bodenstabilität vor jedem Schritt überprüft (biologisches Sicherheitsnetz).
3. Den Pfad betrachtet, den der vorherige erfolgreiche Kletterer genommen hat, und entscheidet: „Ich werde genau diesen Fußspuren folgen", anstatt zu versuchen, den Wert des Geländes von Grund auf neu zu erraten.

Die Arbeit kommt zu dem Schluss, dass die Kombination aus intelligenter Suche, biologischen Sicherheitsprüfungen und Lernen aus vergangenen Erfolgen eine leistungsstarke Methode ist, um bessere Proteine zu designen, wenn man es sich nicht leisten kann, jede einzelne Möglichkeit zu testen.

Technische Zusammenfassung: Selbstverbessernde Imitation mit biologisch geleiteter Suche für Proteindesign unter Orakel-Budgets

Problemformulierung

Proteinengineering wird als sequenzielles Entscheidungsfindungs-Optimierungsproblem formuliert, das darauf abzielt, eine „Fitness"-Funktion (z. B. Thermostabilität, Bindungsaffinität) unter einem strengen Evaluierungsbudget zu maximieren. Die Kernherausforderung liegt in der enormen kombinatorischen Größe des Sequenzraums ( $20^L$ ) und der Prävalenz von Epistase, die raue, spärliche und nicht-konvexe Fitnesslandschaften erzeugt. Bestehende Ansätze stehen vor drei anhaltenden Einschränkungen:

Instabilität bei wertbasierten Optimierungen: Reinforcement-Learning-(RL-)Methoden, die auf Wertfunktionen basieren, sind empfindlich gegenüber Hyperparametern und anfällig für Fehlerfortpflanzung, wenn sie mit verrauschten Surrogat-Belohnungen trainiert werden.
Positionsagnostische Mutationen: Viele Methoden schlagen Mutationen vor, ohne die Restkonservierung zu berücksichtigen, was das Risiko birgt, funktionell kritische Stellen zu stören.
Ineffiziente Exploration: Unter engen Orakel-Budgets versagen Methoden häufig darin, hochwertige Regionen zu priorisieren oder redundante Evaluierungen zu vermeiden.

Das Ziel ist es, Sequenzen mit höherer Fitness als eine Startsequenz innerhalb einer begrenzten Anzahl von Orakel-Abfragen ( $N$ Runden, $K$ Abfragen pro Runde) zu entwerfen, wobei ein Proxy-Modell zur Steuerung der Selektion dient, während das teure Orakel für die finale Evaluierung reserviert bleibt.

Methodik: SILO

Die Autoren stellen SILO (Self-Improvement Imitation with Biologically Guided Search) vor, ein Active-Learning-Framework, das strukturiertes Sampling, biologisch informierte Selektion und Imitationslernen auf Trajektorienebene integriert. Der Prozess läuft in einer iterativen Schleife ab:

1. Hierarchische Editier-Richtlinie und MDP-Formulierung

SILO stellt die Generierung von Kandidaten als Markov-Entscheidungsprozess (MDP) über Editier-Trajektorien dar. Anstatt vollständige Sequenzen auf einmal zu generieren, zerlegt eine auf Transformer basierende Richtlinie $\pi_\theta$ jede Mutation in zwei hierarchische Stufen:

Level-0: Auswahl einer Position $i \in \{1, \dots, L\}$ zur Modifikation.
Level-1: Auswahl einer ersetzenden Aminosäure $a \in \mathcal{V}$ , bedingt auf die gewählte Position.
Die Richtlinie wird auf eingefrorenen ESM-Cambrian-Embeddings trainiert, die evolutionäre Priors kodieren, unter Verwendung eines leichten Transformer-Encoders mit zwei Policy-Köpfen.

2. Strukturiertes Sampling (Incremental SBS)

Um diverse Kandidatentrajektorien zu generieren, setzt SILO Incremental Stochastic Beam Search (SBS) ein. Im Gegensatz zum Standard-Beam-Search sampelt SBS Trajektorien ohne Zurücklegen, indem Log-Wahrscheinlichkeiten mit Gumbel-Rauschen gestört werden. Nach dem Sampeln einer Trajektorie wird ihre Wahrscheinlichkeitsmasse entfernt und die Verteilung neu normalisiert. Dies stellt sicher, dass innerhalb des Mutationsbudgets ( $d_{max}$ ) eine diverse Menge an Aktionstrajektorien erkundet wird.

3. Biologisch informierte Selektion

Vor der Orakel-Evaluierung werden Kandidaten mit einem Proxy-Ensemble $f_\phi$ und einer spezifischen Zielfunktion $S(x)$ bewertet:
$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$

$\text{UCB}_{\text{proxy}}(x)$ : Eine Upper Confidence Bound basierend auf der mittleren Vorhersage des Proxys und der Unsicherheit, die Exploration und Exploitation ausbalanciert.
$\text{UCB}_{\text{AFS}}(x)$ : Ein Alanin-Scan-Fitness-Score. Dieser Term bewertet eine Alanin-substituierte Variante des Kandidaten (bei der mutierte Positionen durch Alanin ersetzt werden). Wenn die Alanin-Variante eine hohe Fitness vorhersagt, deutet dies darauf hin, dass die mutierten Positionen funktional relevant und tolerant gegenüber neutralen Veränderungen sind. Dies dient als Ranking-Signal, um Kandidaten herunterzustufen, die wahrscheinlich die Proteinfunktion stören.

4. Selbstverbessernde Imitation auf Trajektorienebene (SIL)

Im Gegensatz zu RL-Methoden, die Wertfunktionen optimieren, verwendet SILO Selbstverbesserndes Imitationslernen.

Datensammlung: Die besten $K$ Kandidaten aus dem SBS-Sampling werden vom Orakel evaluiert.
Imitationsziel: Die besten $P$ vom Orakel gelabelten Sequenzen (BESTFOUND) und ihre entsprechenden Aktionstrajektorien werden ausgewählt.
Training: Die Richtlinie $\pi_\theta$ wird durch Minimierung der Kreuzentropie an Historie-Nächste-Aktion-Paaren $(h(t), a(t))$ aktualisiert, die von den BESTFOUND-Trajektorien abgeleitet sind. Dies ermöglicht es der Richtlinie, direkt aus den Aktionen der Top-Performer zu lernen, ohne sich auf verrauschte Werteschätzungen zu verlassen.

Hauptbeiträge

Strukturiertes Sampling und biologisch informierte Selektion: Die Kombination aus Incremental SBS für die Generierung diverser Trajektorien und dem Alanin-Scan-Fitness-Score (AFS) für die Selektion treibt den Großteil der Leistungssteigerungen an. Der AFS-Term mindert spezifisch das Risiko, konservierte Reste zu stören.
Anpassung von SIL an Orakel-budgetierte Settings: Die Arbeit passt das SIL-Paradigma (bisher in Routing und molekularem Design mit günstigen Evaluierungen verwendet) auf den Kontext des Proteindesigns an. Durch das Training auf vom Orakel gelabelten Trajektorien anstelle von Surrogat-Werten vermeidet SILO die Instabilität, die mit der Schätzung von Wertfunktionen unter verrauschten Proxys verbunden ist.
Empirische Robustheit: Das Framework zeigt konsistente Leistung über acht Protein-Fitnesslandschaften hinweg und bleibt auch in Low-Data-Regimen und unter verrauschten Proxy-Bedingungen wettbewerbsfähig, wo andere Baselines degradieren.

Experimentelle Ergebnisse

Die Autoren bewerteten SILO gegen fünf starke Baselines (PEX, AdaLead, GFN-AL- $\delta$ CS, MLDE, ProSpero) über acht Benchmark-Datensätze (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I).

Leistung: SILO erzielte auf allen 8 Landschaften die höchste maximale Fitness und den höchsten Top-100-Mittelwert der Fitness. Es entdeckte häufig hochfitness Sequenzen in früheren Active-Learning-Runden, was auf eine effizientere Nutzung des Orakel-Budgets hindeutet.
Low-Data-Regime: In Stress-Tests mit reduzierten initialen gelabelten Daten (10 %, 20 %, 50 % von $D_0$ ) blieb SILO stabil und wettbewerbsfähig, während Methoden wie GFN-AL- $\delta$ CS eine deutliche Verschlechterung zeigten.
Verrauschter Proxy: Unter synthetischem Gauß-Rauschen, das dem Proxy-Modell hinzugefügt wurde (SNR-Level von -25, -15, -5), behielt SILO eine hohe Leistung bei, während Baselines wie ProSpero und PEX signifikant abschwächten.
Ablationsstudien:
- Das Entfernen des strukturierten Samplings (Ersetzen von SBS durch Standard-Beam-Search) reduzierte die Leistung.
- Das Entfernen des AFS-Terms reduzierte die Leistung und bestätigte den Wert der biologisch geleiteten Selektion.
- Eine Variante mit „eingefrorener Richtlinie" (keine Imitations-Updates) blieb wettbewerbsfähig, was darauf hindeutet, dass Sampling und Selektion einen erheblichen Teil der Gewinne ausmachen, aber iterative Imitation zusätzliche Verbesserungen bot, insbesondere bei AAV und Pab1.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SILO eine effektive Richtung für die Optimierung von Proteinsequenzen unter Orakel-Budgets darstellt, indem es erfolgreich Lernen, Sampling und biologisch geleitete Selektion integriert.

Stabilität: Indem SILO die Schätzung von Wertfunktionen umgeht und sich auf Kreuzentropie-Imitation von vom Orakel gelabelten Trajektorien verlässt, bietet es eine stabilere Alternative zu RL in Settings mit verrauschten Surrogat-Belohnungen.
Effizienz: Die Methode identifiziert Kandidaten mit hoher Fitness schneller als Baselines, was sie für Szenarien geeignet macht, in denen experimentelle Evaluierungen kostspielig sind.
Biologische Relevanz: Die Einbeziehung des Alanin-Scan-Fitness-Scores stellt sicher, dass die Suche von biologischen Prinzipien geleitet wird, was die Wahrscheinlichkeit verringert, nicht-funktionale Varianten zu generieren.

Die Autoren schließen, dass SILO zwar in in silico-Benchmarks hervorragend abschneidet, zukünftige Arbeiten jedoch darauf fokussieren sollten, die Methode unter größeren Mutationsbudgets zu evaluieren und ihre Leistung in wet-lab-Settings zu validieren, um potenzielle Domain-Shifts zwischen Orakeln und biologischer Realität zu adressieren.