🧬 biology

AMix-1: A Pathway to Test-Time Scalable Protein Foundation Model

Das Papier stellt AMix-1 vor, ein 1,7-Milliarden-Parameter starkes Protein-Foundation-Modell auf Basis von Bayesian Flow Networks, das systematische Trainings-Skalierungsgesetze, MSA-basiertes In-Context-Learning und evolutionäres Test-Time-Scaling nutzt, um ein robustes Proteindesign zu erreichen, was durch die Generierung einer AmeR-Variante mit einer bis zu 50-fach höheren Aktivität gegenüber ihrem Wildtyp demonstriert wurde.

Ursprüngliche Autoren: Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuy

Veröffentlicht 2026-06-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuyi Zhang, Xiaoqing Zheng, Deyi Xiong, Lei Bai, Wanli Ouyang, Ya-Qin Zhang, Wei-Ying Ma, Bowen Zhou, Hao Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, neue Proteine zu entwerfen. Proteine sind die winzigen, komplexen Maschinen in unserem Körper, die alles erledigen – vom Verdauen der Nahrung bis hin zum Bekämpfen von Viren. Das Entwerfen eines neuen Proteins ist wie der Versuch, einen neuen Schlüssel zu erfinden, der in ein Schloss passt, das man noch nie gesehen hat, wobei man die Form des Schlüssels perfekt hinbekommen muss, sonst wird er nicht funktionieren.

Das Paper stellt AMix-1 vor, eine neue „Super-Lehrer“-KI, die speziell darauf ausgelegt ist, diese Aufgabe zu meistern. Die Autoren haben nicht einfach nur ein größeres Modell gebaut; sie haben eine intelligentere Art und Weise gebaut, es zu trainieren. Hier ist die Erklärung durch einfache Analogien:

1. Der Motor: Ein „Entrauschungs“-Radio

Die meisten KI-Modelle versuchen zu lernen, indem sie klaren Text lesen. AMix-1 basiert auf etwas, das man ein Bayesianisches Flussnetzwerk nennt. Denken Sie dabei an ein Radio, das mit reinem Rauschen beginnt.

Wie es funktioniert: Die KI beginnt mit einer völlig verschlüsselten, verrauschten Version einer Proteinsequenz. Dann versucht sie, das Rauschen Schritt für Schritt zu „bereinigen“, um das klare Protein darunter freizulegen.
Die Analogie: Stellen Sie sich vor, Sie versuchen ein Lied zu erraten, indem Sie einem sehr verrauschten Radiosender zuhören. Zuerst hören Sie nur statisches Rauschen. Wenn das Signal klarer wird (weniger Rauschen), hören Sie erst die Melodie, dann den Text. AMix-1 lernt durch das wiederholte Üben dieses „Reinigungsprozesses“, bis es in der Lage ist, ein Protein aus reinem Rauschen perfekt zu rekonstruieren.

2. Der Fahrplan: Skalierungsgesetze (Die Regel „Größe zählt“)

Die Forscher wollten wissen: „Wenn wir die KI größer machen und ihr mehr Daten geben, wird sie dann besser?“

Die Erkenntnis: Sie entdeckten ein vorhersagbares „Naturgesetz“ für diese KI. Genau wie ein Automotor mit mehr Treibstoff leistungsstärker wird, verbessert sich AMix-1 beim Verständnis von Proteinstrukturen, wenn man seine Größe und die Menge der Daten, die es sieht, erhöht.
Die Metapher: Es ist wie das Besteigen eines Berges. Die Forscher haben den Pfad so präzise kartiert, dass sie genau vorhersagen konnten, wie hoch die KI klettern würde (wie gut sie werden würde), indem sie einfach nur wussten, wie viel „Treibstoff“ (Rechenleistung) sie hineinsteckten. Sie nutzten diese Karte, um ihre größte Version, AMix-1, zu bauen, die über 1,7 Milliarden „Gehirnzellen“ (Parameter) verfügt.

3. Der „Aha!“-Moment: Emergente Fähigkeiten

Dies ist der aufregendste Teil. Die Forscher fanden heraus, dass die KI nicht einfach nur etwas besser wird, während sie wächst; sie beginnt plötzlich, Dinge zu verstehen, die sie zuvor nicht wusste.

Die Analogie: Stellen Sie sich einen Schüler vor, der Mathematik lernt. Zuerst lernt er nur Zahlen auswendig. Doch dann, nach genügend Übung, kommt plötzlich der Moment, in dem er es „versteht“ – er begreift die Logik hinter den Zahlen und kann Probleme lösen, die er noch nie zuvor gesehen hat.
Das Ergebnis: Während AMix-1 trainiert wurde, begann es plötzlich, Proteinstrukturen (Formen) zu verstehen, obwohl es nur auf die Buchstaben (Sequenzen) der Proteine trainiert wurde. Es musste nicht explizit geometrisch unterrichtet werden; es hat die 3D-Formen einfach durch das wiederholte Lesen der Sequenzen begriffen.

4. Die Abkürzung: In-Context Learning (Der „Zeigen, nicht Sagen“-Trick)

Normalerweise muss man eine KI neu trainieren, um ihr eine neue Aufgabe beizubringen. AMix-1 ist anders. Es kann einen neuen Job lernen, indem es nur ein paar Beispiele betrachtet, ohne sein Gehirn zu verändern.

Die Analogie: Denken Sie an einen Meisterkoch. Wenn Sie möchten, dass er ein bestimmtes regionales Gericht kocht, müssen Sie ihn nicht erneut zur Kochschule schicken. Sie zeigen ihm einfach ein paar Fotos des Gerichts und sagen: „Mach etwas Ähnliches wie das.“ Der Koch nutzt sein bestehendes Wissen, um es zu verstehen.
Wie AMix-1 es macht: Die Forscher geben der KI ein „Familienalbum“ ähnlicher Proteine (eine sogenannte Multiple Sequence Alignment). Die KI betrachtet die Muster in diesem Album und generiert ein neues Protein, das genau hineinpasst, wobei sie die richtige Form und Funktion beibehält.

5. Der Realitätstest: Das „Super-Enzym“

Das Team hat nicht nur Simulationen durchgeführt; sie haben dies auch in einem echten Labor getestet.

Die Herausforderung: Sie wollten ein Protein namens AmeR verbessern, das als Schalter in genetischen Schaltkreisen fungiert. Die Wildtyp-Version (die natürliche Version) war okay, aber sie wollten, dass sie viel stärker ist.
Das Ergebnis: Durch den Einsatz der „Zeigen, nicht Sagen“-Methode von AMix-1 entwarfen sie eine neue Version von AmeR. Als diese im Labor getestet wurde, war die neue Version 50-mal aktiver als das Original. Das ist ein gewaltiger Sprung, der beweist, dass die KI echte, funktionierende biologische Werkzeuge entwerfen kann.

6. Die evolutionäre Schleife: Test-Time Scaling (Der „Versuch und Irrtum“-Motor)

Schließlich entwickelten sie ein System namens EvoAMix-1, um die KI bereits während ihrer Arbeit noch besser zu machen, ohne sie neu trainieren zu müssen.

Die Analogie: Stellen Sie sich einen Bildhauer vor, der 100 Tonnenstatuen fertigt. Ein Richter wählt die besten 5 aus. Der Bildhauer nutzt dann diese 5 Gewinner als neue „Form“, um die nächste Charge von 100 Statuen herzustellen. Er wiederholt diesen Prozess und wird mit jeder Runde besser, ohne jemals seine Hände zu verändern.
Wie es funktioniert: Die KI generiert viele Proteinkandidaten. Ein „Verifier“ (ein Computerprogramm oder ein Labortest) wählt die besten aus. Die KI nutzt diese Gewinner dann als neue Beispiele, um in der nächsten Runde noch bessere Proteine zu generieren.
Der Vorteil: Je mehr „Checks“ (Budget) man diesem System gibt, desto besser werden die Ergebnisse. Es verbessert sich kontinuierlich, solange man es weitermachen lässt.

Zusammenfassung

AMix-1 ist ein neuer Typ von Proteindesigner, der:

Lernt, indem er Rauschen bereinigt (wie das Einstellen eines Radios).
Einem vorhersagbaren Pfad folgt, auf dem Größer gleich Besser bedeutet.
Plötzlich 3D-Formen „versteht“, nur indem er Sequenzen liest.
Neue Aufgaben sofort lernen kann, indem er sich Beispiele ansieht.
In einem echten Labor erfolgreich ein Protein erschaffen hat, das 50-mal stärker ist als die Natur.
Durch eine evolutionäre Schleife aus Versuch und Irrtum immer besser werden kann.

Das Paper behauptet, dass dies ein bedeutender Schritt in Richtung einer „Lab-in-the-Loop“-Zukunft ist, in der KI und reale Experimente zusammenarbeiten, um lebensrettende Proteine schneller als je zuvor zu entwerfen.

Technisches Resümee: AMix-1

Problemstellung

Aktuelle Protein-Fundamentmodelle (z. B. AlphaFold, ESM) haben spezifische Aufgaben wie die Strukturvorhersage und das Inverse Folding vorangebracht, lassen jedoch eine vereinheitlichte, skalierbare Methodik vermissen, die mit der von Large Language Models (LLMs) vergleichbar ist. Im Gegensatz zu LLMs, die durch Skalierungsgesetze (Scaling Laws), emergente Fähigkeiten, In-Context-Learning und Test-Time-Scaling konsistente Leistungssteigerungen zeigen, haben Proteinmodelle noch kein systematisches Framework etabliert, das diese Prinzipien nutzt, um ein skalierbares, hochtreues Proteindesign zu erreichen. Die zentrale Herausforderung besteht darin, ein Protein-Fundamentmodell zu entwerfen, das systematisch Rechenressourcen gegen Leistung eintauschen kann, eine emergente strukturelle Verständlichkeit aufweist und sich ohne aufgabenspezifische Feinabstimmung an diverse Designaufgaben anpasst.

Methodik

Die Autoren schlagen AMix-1 vor, ein Protein-Fundamentmodell, das auf Bayesian Flow Networks (BFNs) basiert und unter Verwendung eines systematischen Pfades aus vier Säulen trainiert wurde:

1. Modellarchitektur und Training

Generatives Framework: AMix-1 nutzt BFNs, welche die kontinuierlichen Parameter der Proteinsequenzverteilungen über iterative Bayes-Updates modellieren, anstatt direkt diskrete Aminosäuren zu modellieren. Der Prozess umfasst eine Sender-Verteilung (durch Rauschen gestört) und eine Empfänger-Verteilung (ein neuronales Netzwerk $\phi$ ), die Nachrichten inferiert, um die Kullback-Leibler-Divergenz zu minimieren.
Architektur: Die Modellserie basiert auf einem Encoder-only-Transformer mit Rotary Position Embeddings (RoPE). Die Autoren skalierten das Modell von 8 Millionen auf 1,7 Milliarden Parameter.
Pretraining: Das Training wurde auf dem UniRef50-Datensatz (41,5 Millionen Sequenzen) in einem Mixed-Precision-Setup (BF16) durchgeführt. Das Rauschniveau $\alpha$ wird durch einen Zeitplan $\beta(t) = \beta_1 t^2$ gesteuert.

2. Skalierungsgesetze und emergente Fähigkeiten

Prädiktive Skalierung: Die Autoren etablierten ein prädiktives Skalierungsgesetz, das den Cross-Entropy-Verlust ( $L$ ) mit den Rechenkosten (FLOPs), der Modellgröße ( $N$ ) und den Datentoken ( $D$ ) verknüpft. Sie fanden heraus, dass unter moderaten Rauschpegeln ( $\alpha = 0,16, 0,32$ ) der Verlust einer Potenzgesetz-Beziehung $L(F) = E_0 + e^{a \cdot F^b}$ folgt. Extreme Rauschpegel ( $\alpha = 0,08, 0,64$ ) führten zu nicht skalierbarem Verhalten.
Emergente strukturelle Verständlichkeit: Die Studie zeigt, dass das strukturelle Verständnis (gemessen durch pLDDT und TM-Score) progressiv entsteht, sobald der Trainingsverlust unter einen kritischen Schwellenwert fällt. Diese Fähigkeit entsteht ohne explizite strukturelle Überwachung, getrieben rein durch Sequenz-basierte Zielsetzungen und ausreichende Rechenleistung.

3. In-Context Learning (ICL)

Mechanismus: AMix-1 vereinheitlicht das Proteindesign, indem es Multiple Sequence Alignments (MSAs) als Prompts behandelt. Anstatt ein Fine-tuning durchzuführen, konditioniert das Modell auf positionsweise Häufigkeitsprofilen, die aus MSAs abgeleitet wurden.
Prozess: Das MSA wird in ein Profil $P$ komprimiert (eine kategoriale Verteilung über Aminosäuren an jeder Position). AMix-1 generiert daraufhin Sequenzen $x$ , die auf $P$ konditioniert sind, wodurch evolutionäre Constraints, strukturelle Integrität und funktionelle Relevanz bewahrt werden.

4. Test-Time Scaling (TTS)

EvoAMix-1: Um die Leistung weiter zu steigern, führten die Autoren einen evolutionären Test-Time-Scaling-Algorithmus ein. Dieses Framework arbeitet als Proposer-Verifier-Schleife:
1. Propose (Vorschlagen): AMix-1 generiert eine Batch von Kandidatensequenzen basierend auf einem initialen MSA-Profil.
2. Verify (Verifizieren): Ein externer Verifizierer (In-silico-Metrik oder Wet-Lab-Assay) bewertet die Kandidaten.
3. Update (Aktualisieren): Die Top- $k$ Fitness-Varianten werden verwendet, um ein verfeinertes Profil (Pseudo-MSA) zu konstruen, welches als Prompt für die nächste Iteration dient.
Unterscheidung: Im Gegensatz zu traditionellen Methoden, die Modellparameter aktualisieren (gradientengesteuert), aktualisiert EvoAMix-1 die Bedingung (Prompt), während die Modellgewichte eingefroren bleiben (konditionsgesteuert). Dies ermöglicht eine Plug-and-Play-Integration diverser Verifikationsmetriken.

Hauptergebnisse

Skalierung und Emergenz

Modellskala: Ein 1,7-Milliarden-Parameter-Modell (AMix-1-1,7B) wurde erfolgreich trainiert und demonstrierte prädiktive Skalierungsgesetze.
Emergenz: Strukturelle Metriken (TM-Score, pLDDT) zeigten einen scharfen Anstieg (Emergenz), sobald der Cross-Entropy-Verlust unter einen spezifischen Schwellenwert sank, insbesondere bei moderaten Rauschpegeln ( $\alpha=0,16$ ). Extreme Rauschpegel unterdrückten diese Emergenz.

In-Context Learning Performance

In Silico: AMix-1 generierte erfolgreich Proteine mit hoher struktureller Konsistenz (TM-Score > 0,9) und funktioneller Spezifität (hohe EC-Nummer-Konfidenz via CLEAN, erhaltene katalytische Aktivität via CLIPZyme) über diverse Szenarien hinweg, einschließlich Orphan-Proteinen und zufälligen Homologen, ohne Fine-tuning.
Wet-Lab Validierung: Das Modell wurde zur Konstruktion von Varianten des AmeR-Transkriptionsrepressors eingesetzt. Die beste durch AMix-1 designte Variante erreichte eine 50-fache Steigerung der Aktivität (Fold Repression) im Vergleich zum Wildtyp und übertraf damit sowohl Single-Mutant-Libraries als auch die State-of-the-Art-Methode der gerichteten Evolution, EvoAI.

Test-Time Scaling (EvoAMix-1)

Skalierbarkeit: Über sechs In-silico-Directed-Evolution-Benchmarks (strukturelle, biophysikalische und funktionelle Aufgaben) zeigte EvoAMix-1 monotone Leistungssteigerungen, wenn das Verifikationsbudget (Anzahl der Verifizierer-Aufrufe) erhöht wurde.
Vergleich: EvoAMix-1 übertraf oder entsprach State-of-the-Art-Baselines (ALDE, EVOLVEpro, MLDE) in 5 von 6 Aufgaben. Es vermied die Leistungsplateaus, die bei Methoden mit eingeschränkten Mutationsschemata beobachtet werden, und ermöglichte eine breitere Exploration des Sequenzraums.

Bedeutung und Ansprüche

Das Paper beansprucht, ein systematisches Paradigma für Protein-Fundamentmodelle etabliert zu haben, das den Erfolg von LLMs widerspiegelt. Die primären Beiträge sind:

Methodische Vereinheitlichung: Es führt eine Roadmap für skalierbares Proteindesign ein, die auf Skalierungsgesetzen, der Analyse emergenter Fähigkeiten, In-Context-Learning und Test-Time-Scaling basiert.
BFN-Charakterisierung: Es ist die erste Arbeit, die Skalierungsgesetze und emergente Fähigkeiten spezifisch für Bayesian Flow Networks im Kontext der Proteinmodellierung charakterisiert und dabei die entscheidende Rolle des Rausch-Schedulings identifiziert.
Vereinheitlichtes Design-Framework: Durch die Nutzung von MSA-basiertem In-Context-Learning vereinheitlicht AMix-1 Struktur- und Funktions-gesteuertes Design in einem einzigen Framework, ohne dass aufgabenspezifisches Fine-tuning erforderlich ist.
Realweltliche Auswirkungen: Die erfolgreiche Konstruktion einer hochaktiven AmeR-Variante (50-fache Verbesserung) demonstriert das Potenzial des Modells für das reale funktionelle Protein-Engineering.
Lab-in-the-Loop Potenzial: Der EvoAMix-1-Algorithmus legt den Grundstein für ein „Lab-in-the-Loop“-Proteindesign, bei dem computergestützte Modelle Designs iterativ basierend auf experimentellem Feedback verbessern können, ohne ein Retraining durchzuführen.

Die Autoren räumen Einschränkungen ein und merken an, dass AMix-1 derzeit sequenzbasiert ist (strukturelle Daten während des Trainings ignoriert) und dass das Test-Time-Scaling bisher nur an simulierten Aufgaben validiert wurde, betrachten dies jedoch als unmittelbare Ziele für zukünftige Arbeiten.