🧬 biology

Flexible Flows for Biological Sequence Design

Dieses Paper stellt Flexible Flows vor, ein Framework für Discrete Flow Matching, das das Design biologischer Sequenzen durch die Einbeziehung strukturierter Kopplungen, latenter edit-basierter Ratensparameterisierung für die Generierung variabler Längen sowie latenter Classifier-Free Guidance verbessert, um eine State-of-the-Art-Leistung bei der Dichteschätzung und der bedingten Sequenzgenerierung zu erreichen.

Ursprüngliche Autoren: Yogesh Verma, Dani Korpela, Harri Lähdesmäki, Vikas Garg

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yogesh Verma, Dani Korpela, Harri Lähdesmäki, Vikas Garg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein neues Rezept für ein biologisches Gericht zu entwerfen, wie etwa ein Protein oder einen DNA-Strang. Die Zutaten sind Buchstaben (A, C, G, T für DNA; 20 verschiedene Aminosäuren für Proteine), und das „Rezept“ ist die spezifische Reihenfolge dieser Buchstaben.

Das Problem ist, dass die Anzahl der möglichen Rezepte astronomisch groß ist, aber nur ein winziger Bruchteil davon tatsächlich funktioniert. Wenn Sie einfach anfangen, die Zutaten zufällig zu mischen, werden Sie höchstwahrscheinlich etwas Ungenießbares (oder in der Biologie: etwas Nicht-Funktionierendes) erhalten.

Dieses Paper stellt ein neues Werkzeug namens FlexFlow vor, das dabei hilft, diese biologischen Rezepte zu entwerfen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der alte Weg: Der blind geführte Koch

Frühere Methoden zur Gestaltung dieser Sequenzen waren wie ein Koch, der mit verbundenen Augen ist und angewiesen wurde, eine Zutat nach der anderen zu ändern. Er könnte vielleicht eine Tomate gegen eine Kartoffel austauschen, hat aber keine Vorstellung davon, ob dieser Austausch im Kontext des gesamten Gerichts Sinn ergibt.

Das Problem: Diese Methoden führen oft „uninformierte“ Austauschvorgänge durch. Sie behandeln jeden Buchstaben so, als wäre es gleichermaßen wahrscheinlich, durch jeden anderen ersetzt zu werden, wobei sie ignorieren, dass manche Wechsel in der Natur häufig vorkommen (wie den Austausch einer Zitrone gegen eine Limette), während andere unmöglich sind (wie den Austausch einer Zitrone gegen einen Backstein).
Das Ergebnis: Sie haben Schwierigkeiten, lange, komplexe Rezepte zu erstellen oder genau zu kontrollieren, wie das fertige Gericht aussieht.

2. Der neue Weg: FlexFlow (Der kluge Sous-Chef)

FlexFlow ist wie ein kluger Sous-Chef, der die Regeln der Küche (die Biologie) kennt und dem Hauptkoch hilft, den Prozess zu navigieren. Es nutzt drei Haupttricks:

Trick A: Die „Biologische Landkarte“ (Structured Coupling)

Anstatt mit einem zufälligen Haufen Zutaten zu beginnen, startet FlexFlow mit einer „geneigten“ Landkarte.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein bestimmtes Haus in einer riesigen Stadt zu finden. Eine Zufallssuche ist schwierig. Aber wenn Sie eine Karte haben, die die Stadtviertel hervorhebt, in denen Häuser normalerweise so aussehen wie das gesuchte, beginnen Sie Ihre Suche dort.
Wie es funktioniert: FlexFlow verwendet eine „Karte“, die auf realen biologischen Daten basiert (wie zum Beispiel, wie Aminosäuren in der Evolution natürlich ausgetauscht werden). Es lenkt den Ausgangspunkt des Designprozesses in Regionen, die biologisch plausibel sind. Es erzwingt das Design nicht, sondern lenkt es sanft von unmöglichen Kombinationen weg, direkt zu Beginn.

Trick B: Der „Radiergummi und der Stift“ (Edit-Based Flows)

Manchmal muss man, um ein Rezept richtig zu bekommen, nicht nur eine Zutat austauschen; man muss eine neue hinzufügen oder eine schlechte löschen.

Die Analogie: Stellen Sie sich vor, Sie schreiben eine Geschichte. Alte Methoden konnten nur ein Wort durch ein anderes Wort ersetzen. FlexFlow ist wie ein magischer Stift, der einen ganzen Satz einfügen, einen Absatz löschen oder ein Wort austauschen kann, während er das Hauptthema der Geschichte intakt hält.
Wie es funktioniert: Dies ermöglicht es FlexFlow, Sequenzen mit variabler Länge zu erstellen. Es kann eine Sequenz vergrößern, indem es Buchstaben hinzufügt, oder sie verkleinern, indem es Buchstaben entfernt, was entscheidend ist, da biologische Sequenzen nicht immer die gleiche Größe haben.

Trick C: Der „Lautstärkeregler“ (Latent Guidance)

Manchmal möchte man dem Koch sagen: „Mach es schärfer“ oder „Mach es süßer“.

Die Analogie: Stellen Sie sich vor, Sie regeln das Volumen eines Radios. Alte Methoden versuchten, die Lautstärke durch Drehen eines separaten Reglers für jeden einzelnen Lautsprecher (jeden einzelnen Buchstaben der Sequenz) anzupassen, was oft zu statischem Rauschen führte. FlexFlow dreht einen einzigen „Master-Lautstärkeregler“ in einem verborgenen Kontrollraum (dem „Latent Space“).
Wie es funktioniert: Durch das Anpassen dieses einzelnen verborgenen Reglers verändert sich die gesamte Sequenz kohärent. Wenn Sie möchten, dass das Protein an ein bestimmtes Ziel bindet, drehen Sie am Regler, und das gesamte Rezept verschiebt sich gemeinsam, um diesem Ziel zu entsprechen, anstatt die Buchstaben zufällig zu ändern.

3. Der „Budget-Kontrolleur“ (Temperature Scaling)

Das Paper führt auch eine Möglichkeit ein, zu steuern, wie der Koch das Rezept verändert.

Die Analogie: Stellen Sie sich vor, Sie haben ein Budget für Änderungen. Sie können dem Koch sagen: „Für dieses Rezept darfst du nur Zutaten hinzufügen, nicht löschen“ oder „Du darfst nur Zutaten austauschen“.
Wie es funktioniert: Das System nutzt eine „Temperatur“-Einstellung, um zu entscheiden, ob Buchstaben eingefügt, gelöscht oder ersetzt werden. Dies gibt Forschern eine feingliedrige Kontrolle über den Generierungsprozess, ohne das gesamte System neu trainieren zu müssen.

Was haben sie bewiesen?

Die Autoren testeten FlexFlow bei drei Aufgaben:

DNA-Design: Erstellung von DNA-Sequenzen, die als „Enhancer“ (Schalter, die Gene aktivieren) oder „Promotoren“ (Startknöpfe für Gene) fungieren. FlexFlow erstellte realistischere und bessere DNA als bisherige Methoden.
Peptid-Design: Erstellung kurzer Proteinketten (Peptide), die an spezifische Immunsystem-Moleküle (MHC) binden. Dies ist vergleichbar mit dem Entwurf eines Schlüssels, der in ein bestimmtes Schloss passt. FlexFlow erstellte Schlüssel, die viel besser passten als die anderer Werkzeuge.
Toy-Probleme: Sie testeten es an einfachen mathematischen Mustern (wie Spiralen und Schachbrettmustern), um zu beweisen, dass es komplexe Formen und Strukturen versteht.

Das Fazit

FlexFlow ist ein neuer, klügerer Weg, um biologische Sequenzen zu entwerfen. Anstatt zufällig zu raten, nutzt es eine Landkarte biologischer Regeln, erlaubt das Hinzufügen oder Entfernen von Teilen der Sequenz und verwendet eine einzige „Master-Steuerung“, um das Design auf spezifische Ziele hinzuführen. Das Ergebnis ist ein Werkzeug, das präzisere und funktionellere biologische Sequenzen erstellt als aktuelle State-of-the-Art-Methoden.

Technisches Resümee: Flexible Flows für das biologische Sequenzdesign (FlexFlow)

Problemstellung

Das Design funktionaler biologischer Sequenzen (DNA, RNA, Proteine, Peptide) erfordert die Navigation durch riesige, diskrete kombinatorische Räume unter strengen evolutionären und biophysikalischen Randbedingungen. Während autoregressive Modelle (z. B. ProtGPT2, ESM-2) ihre Lebensfähigkeit unter Beweis gestellt haben, leiden sie unter kumulativen Fehlern, langsamer sequenzieller Stichprobenziehung (Sampling) und begrenzter globaler Kohärenz, insbesondere bei langen oder strukturell komplexen Sequenzen.

Alternative generative Frameworks, wie Discrete Diffusion und Discrete Flow Matching (DFM), bieten ein schnelleres, nicht-autoregressives Sampling. Bestehende diskrete Methoden für biologische Anwendungen stehen jedoch vor drei kritischen Einschränkungen:

Begrenzte Flexibilität: Sie haben Schwierigkeiten mit der Generierung von Sequenzen variabler Länge und es mangelt ihnen an einer feingliedrigen Kontrolle über den Generierungsprozess.
Uninformative Kopplungen: Sie verlassen sich auf uniforme oder maskierte Kopplungen, welche die strukturierten, domänenspezifischen Beziehungen zwischen biologischen Sequenzelementen (z. B. evolutionäre Substitutions-Biases) ignorieren.
Inkohärente Steuerung (Guidance): Die Lenkung der Generierung hin zu spezifischen funktionellen Eigenschaften beruht oft auf unabhängigen, tokenweisen Anpassungen, die die globalen Abhängigkeiten nicht erfassen können, welche für komplexe regulatorische oder Bindungsmotive notwendig sind.

Methodik: FlexFlow

Die Autoren schlagen FlexFlow vor, ein Discrete Flow Matching Framework, das diese Einschränkungen durch drei zentrale architektonische Innovationen adressiert:

1. Strukturierter Vorwärtsprozess (Structured Coupling)

Anstatt eine uninformative Baseline für den Vorwärts-Rauschprozess (Noising Process) zu verwenden, legt FlexFlow eine strukturelle induktive Verzerrung (Inductive Bias) auf, indem die Quellverteilung „gekippt“ wird.

Mechanismus: Die Methode ersetzt Standard-Uniform-Kopplungen durch eine strukturierte Kopplung $\pi(\tilde{x}_0, x_1, K_\gamma)$ . Diese ist definiert durch einen Übergangskern $K_\gamma$ , der domänenspezifische Substitutionspräferenzen kodiert (z. B. BLOSUM62 für Proteine, JC69/HKY85 für DNA/RNA).
Effekt: Die Quellverteilung wird in Richtung biologisch plausibler Substitutionsnachbarschaften verzerrt, statt auf dem vollen Simplex. Dies steuert den generativen Pfad in Richtung bevorzugter Funktionsregionen, ohne das Flow-Ziel oder das Trainingsverfahren zu verändern. Die Kopplung generalisiert über Sequenz-Taxonomien hinweg, indem lediglich der Kern $K_\gamma$ ausgetauscht wird.

2. Latente Edit-basierte Rate-Parametrisierung

Um die Generierung variabler Längen zu unterstützen, parametrisiert das Modell die reversiblen Flow-Raten über Edit-Operationen (Insertion, Deletion, Substitution), die auf einer gemeinsamen globalen latenten Variable konditioniert sind.

Hierarchische Parametrisierung: Gegeben eine verrauschte Sequenz $x_t$ , wird ein globaler latenter Kontext $r$ über einen Encoder $\Psi(x_t)$ abgeleitet. Dieser latente Wert $r$ konditioniert die kategorische Verteilung der Edit-Operationen $p_\Phi(op_i | x_i^t, r)$ an jeder Position.
Traktabilität: Dieser hierarchische Ansatz induziert eine Kopplung zwischen den Token-weisen Operationen durch den gemeinsamen latenten Wert $r$ , während die bedingte Unabhängigkeit über die Positionen hinweg gewahrt bleibt, was sicherstellt, dass das Modell berechenbar (traktabel) bleibt.
Testzeit-Kontrolle (Dirichlet-Priors): Die Operationswahrscheinlichkeiten werden unter Verwendung positionsabhängiger Temperaturparameter $\beta_i$ neu skaliert, die mittels eines Dirichlet-Priors modelliert werden. Dies ermöglicht eine Post-hoc-Kontrolle über die relativen Raten von Insertion, Substitution und Deletion während der Inferenz (z. B. als „Budget-Controller“ für Edit-Operationen), ohne ein Retraining zu erfordern.

3. Latente Classifier-Free Guidance

Die Autoren führen einen neuartigen Guidance-Mechanismus ein, der vollständig im kontinuierlichen latenten Raum operiert, im Gegensatz zur Standard-Guidance im Rate-Raum.

Mechanismus: Während des Trainings wird der Encoder $\Psi$ darauf trainiert, sowohl einen konditionierten latenten Wert $r_c$ (gegeben Bedingung $c$ ) als auch einen unkonditionierten latenten Wert $r_\emptyset$ vorherzusagen. Während der Testzeit wird der geführte latente Wert als $r_{LG} = r_\emptyset + w(r_c - r_\emptyset)$ berechnet.
Vorteile: Dieser Ansatz gewährleistet globale strukturelle Konsistenz, da das Guidance-Signal durch den gemeinsamen latenten Wert $r$ simultan auf alle per-Token-Operationen wirkt. Er vermeidet die Inkohärenz von tokenweisen Anpassungen und bewahrt die Nicht-Negativität der Raten durch Konstruktion.
Theoretische Basis: Die Autoren beweisen, dass diese latente Interpolation einem Gradientenaufstiegsschritt auf der Log-Likelihood eines impliziten Klassifikators im latenten Raum entspricht.

Zentrale Beiträge

Structured Coupling: Einführung eines biologisch informierten Priors, der den generativen Pfad in Richtung funktionaler Nachbarschaften steuert und damit Uniform-Kopplungen ersetzt.
Latente Edit-basierte Raten: Eine Parametrisierung, die die Generierung variabler Längen durch einen gemeinsamen globalen latenten Wert und Dirichlet-Prior-Temperatur-Skalierung ermöglicht.
Latente Guidance: Ein Guidance-Schema, das im kontinuierlichen latenten Raum operiert, um globale Kohärenz zu gewährleisten, präsentiert als Alternative zur Rate-Space Classifier-Free Guidance.
Neuer Benchmark: Die Einführung eines Peptid-MHC-II-Benchmarks zur Generierung und Evaluierung von MHC-konditionierten Peptidsequenzen.
Empirische Validierung: Demonstration von State-of-the-Art-Leistung in den Bereichen Dichteschätzung, unkonditionierte/konditionierte DNA-Generierung und Peptid-Generierung.

Experimentelle Ergebnisse

Die Autoren evaluierten FlexFlow auf diversen Aufgaben und verglichen es mit Diffusions- und Flow-Baselines (z. B. Bit Diffusion, Dirichlet FM, Fisher FM).

Toy-Datensätze: Auf 1D- und 2D-diskreten Mustern (Sinuswelle, Spirale, Ringe, Schachbrett) erreichte FlexFlow den niedrigsten Wasserstein-Abstand ( $W_2$ ) und rekonstruierte topologische Merkmale präzise.
Unkonditionelles DNA-Design (Enhancer): Evaluiert an Fly-Brain- und Human-Melanoma-Enhancer-Datensätzen. FlexFlow erreichte den niedrigsten Fréchet Biological Distance (FBD) (3,4 für Melanoma, 4,2 für Fly Brain) und übertraf damit Dirichlet FM und Fisher FM.
Konditionelles DNA-Design (Promotoren): Gegeben ein Transkriptionsprofil, generierte das Modell Promotor-Sequenzen. FlexFlow mit Latent Guidance erreichte den niedrigsten mittleren quadratischen Fehler (MSE) von 0,022, was besser war als Dirichlet FM (0,026) und DDSM (0,033).
Peptid-MHC-II-Generierung: Auf dem neuen Peptid-MHC-II-Benchmark erreichte FlexFlow mit Latent Guidance einen DeepMHCII-Diskriminator-Score von 0,66 (gegenüber 0,21 bei Dirichlet FM) und einen Fréchet Protein Distance (FPD) von 0,84. Die Ergebnisse deuten darauf hin, dass Latent Guidance die Bindungsplausibilität priorisiert, während Rate-Guidance einen anderen Trade-off zugunsten der Verteilungsabdeckung bietet.
Effizienz: Die Inferenzgeschwindigkeit war vergleichbar mit den Baselines (ca. 4,0 Sekunden für 500 Längen DNA-Sequenzen über 100 Schritte).

Bedeutung und Behauptungen

Das Paper behauptt, dass FlexFlow die Schlüsselbeschränkungen bestehender diskreter generativer Methoden adressiert, indem es biologisches Domänenwissen direkt in das Flow-Matching-Framework integriert. Durch die Nutzung strukturierter Kopplungen steuert die Methode die Generierung in Richtung plausibler biologischer Regionen, ohne das Trainingsziel zu verändern. Die latente Edit-basierte Parametrisierung und das Latent-Guidance-Schema bieten einen Mechanismus für die Generierung variabler Längen und eine kohärente, feingliedrige Kontrolle, die früheren Methoden fehlte.

Die Autoren positionieren FlexFlow als robustes Framework für das biologische Sequenzdesign, das in sowohl unkonditionierten als auch konditionierten Settings starke Diffusions- und Flow-Matching-Baselines übertrifft. Sie merken an, dass zukünftige Arbeiten darauf abzielen werden, Distillation-basierte Trainingsziele anzupassen, um eine qualitativ hochwertige Sequenzgenerierung in weniger Sampling-Schritten zu ermöglichen. Das Werk wird als Preprint präsentiert, wobei die Autoren Unterstützung durch den Forschungsrat von Finnland und andere Stiftungen für verwandte KI-Projekte im Bereich Biodesign bekennen.