🤖 machine learning

SE(3)-MeanFlow: Few-Step Protein Backbone Generation on Lie Groups

Het artikel introduceert SE(3)-MeanFlow, een framework voor generatie in enkele stappen dat MeanFlow uitbreidt naar Lie-groepgeometrie voor het ontwerpen van eiwitbackbones, waarmee hoogwaardige generatie wordt bereikt met aanzienlijk minder stappen dan bestaande diffusie- of flow-matchingmodellen door gebruik te maken van gesloten vorm trainingsdoelen en een gespecialiseerde SE(3) alpha-Flow-objectievector.

Oorspronkelijke auteurs: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een architect bent die een nieuw soort levende machine probeert te bouwen uit piepkleine, flexibele Lego-steentjes. Deze machines worden eiwitten genoemd en zijn de werkpaarden van het leven; ze fungeren als alles van chemische fabrieken tot soldaten van het immuunsysteem. Om een nieuwe machine vanaf nul op te bouwen, stapel je de steentjes niet willekeurig op elkaar; je moet ze in een specifieke 3D-vorm arrangement, zoals een complexe origami-kraan. Als de vorm fout is, werkt de machine niet. Decennialang hebben wetenschappers geprobeerd computers te leren om deze origami-kranen te ontwerpen, maar er is een addertje onder het gras: de computer moet uitzoeken hoe hij elk steentje in de 3D-ruimte moet draaien en kantelen, wat een mathematisch lastige dans is.

Het probleem wordt nog moeilijker wanneer je wilt dat de computer snel is. Huidige methoden zijn als een slow-motion film waarbij de computer honderden kleine stapjes moet zetten om de uiteindelijke houding van het eiwit te bepalen. Het is accuraat, maar het is te traag om miljoenen nieuwe eiwitten tegelijk te ontwerpen, wat artsen en farmaceutische bedrijven nodig hebben om ziekten snel te bestrijden. De wiskunde hierachter houdt verband met een speciaal soort geometrie genaamd "Lie-groepen", wat spannend klinkt maar slechts een chique manier is om te beschrijven hoe objecten roteren en bewegen zonder de regels van de 3D-ruimte te breken. Denk aan het verschil tussen het schuiven van een speelgoedauto over een platte tafel (makkelijk) en het rollen van een bal over het oppervlak van een wereldbol (moeilijker, omdat het oppervlak krom is).

Dit artikel introduceert een nieuwe truc genaamd SE(3)-MeanFlow die fungeert als een "fast-forward"-knop voor het ontwerpen van deze eiwitvormen. In plaats van honderden kleine, voorzichtige stappen te nemen om de uiteindelijke houding te bepalen, leert deze nieuwe methode de gemiddelde snelheid en richting van de gehele reis in slechts één of enkele grote sprongen te voorspellen. Het is alsof je een GPS niet alleen leert om de snelheid op je huidige locatie aan te geven, maar ook om de gemiddelde snelheid van de hele route te berekenen, zodat je direct naar de bestemming kunt springen. De auteurs laten zien dat door deze "gemiddelde snelheid"-benadering, die specifiek is afgestemd op de kromme geometrie van eiwitrotaties, zij hoogwaardige eiwitontwerpen kunnen genereren in slechts 10 of 20 stappen, terwijl oudere methoden 100 of meer nodig hadden. Ze hebben niet alleen geraden dat dit zou werken; ze hebben het getest op een enorme dataset van echte eiwitstructuren en ontdekten dat hun snelle methode net zo sterke en functionele ontwerpen produceerde als de langzame methoden, wat bewijst dat je niet de panoramische route hoeft te nemen om een goed resultaat te krijgen.

Het Grote Idee: Van Slow Motion naar Fast Forward

In de wereld van computergegenereerde eiwitontwerpen is het doel om nieuwe vormen te creëren die de natuur nog niet heeft gezien. Om dit te doen, treden AI-modellen op als een beeldhouwer, die begint met een klomp ruis en deze langzaam wegbeitelt totdat er een perfect eiwit-backbone verschijnt. Al een tijdje zijn de beste beeldhouwers een techniek genaamd "diffusie" of "flow matching" gaan gebruiken. Stel je voor dat je van je huis naar het park probeert te lopen door 500 kleine, voorzichtige stappen te zetten. Je moet bij elke stap controleren in welke richting je gaat om er zeker van te zijn dat je niet van het pad afwijkt. Dit werkt goed, maar het duurt een eeuwigheid als je een miljoen parken wilt bezoeken.

De auteurs van dit artikel stelden een eenvoudige vraag: Kunnen we grotere stappen zetten zonder de weg kwijt te raken?

Ze keken naar een nieuwer idee genaamd MeanFlow, dat oorspronkelijk was ontworpen voor platte, eenvoudige ruimtes (zoals een plat vel papier). De kern van MeanFlow is stoppen met vragen: "Welke kant moet ik nu op?" en beginnen met vragen: "Wat was de gemiddelde snelheid en richting die ik nodig had om van punt A naar punt B te komen?" Als je de gemiddelde snelheid voor de hele reis weet, kun je de afstand afleggen in één grote tred in plaats van 500 kleine stapjes.

Echter, eiwitten leven niet op een plat vel papier. Ze leven op een gekromd, draaiend oppervlak waar rotatie ingewikkeld is. Als je probeert de platte versie van MeanFlow toe te passen op eiwitten, breekt de wiskunde omdat het "gemiddelde" van twee rotaties niet simpelweg een eenvoudig gemiddelde is; het hangt af van de volgorde waarin je ze uitvoert. Dit is waar de belangrijkste doorbraak van het artikel naar voren komt.

Het Geheime Recept: De Lie-groep Afkorting

De auteurs realiseerden zich dat eiwitrotaties behoren tot een speciale wiskundige familie genaamd Lie-groepen (specifiek $SE(3)$). Ze ontdekten een manier om de "gemiddelde snelheid" voor deze rotaties te berekenen zonder de zware, trage wiskunde te hoeven gebruiken die de boel normaal gesproken vertraagt.

Denk er zo over na: als je een tol laat draaien, is het berekenen van de gemiddelde draaisnelheid over een paar seconden moeilijk als je het seconde per seconde probeert te meten. Maar als je een speciale formule hebt die de "totale draai" bepaalt op basis van waar de top begon en waar hij eindigde, kun je het middendeel volledig overslaan. De auteurs hebben een nieuwe formule afgeleid die als deze afkorting werkt. Ze bewezen dat door te werken in een specifieke wiskundige ruimte (de "Lie-algebra"), ze een helder, gesloten antwoord konden krijgen voor de gemiddelde snelheid. Dit betekent dat de computer niet de hele reis stap voor stap hoeft te simuleren om het antwoord te weten; de computer kan het gemiddelde direct berekenen.

Wat Ze Vonden: Snelheid Zonder Offer

Het team testte hun nieuwe SE(3)-MeanFlow model tegen de beste bestaande methoden. Ze stelden een uitdaging op: genereer eiwit-backbones met verschillende aantallen stappen, van een trage 100 stappen tot een razendsnelle 10 stappen.

Dit is wat zij ontdekten:

De Snelheidsboost: Hun model kon hoogwaardige eiwitten genereren in slechts 10 tot l 20 stappen. In contrast hiermee hadden de oudere, tragere methoden 100 stappen nodig om vergelijkbare resultaten te behalen. Wanneer de auteurs de oude methoden dwongen om slechts 20 stappen te nemen, daalde de kwaliteit van de eiwitten aanzienlijk.
Kwaliteit Blijft Hoog: Zelfs met deze enorme sprongen in snelheid, waren de door SE(3)-MeanFlow gegenereerde eiwitten nog steeds "ontwerpbaar". Dit betekent dat als je ze zou printen en zou proberen te bouwen, ze zouden vouwen in de juiste vorm. Sterker nog, bij 20 stappen had hun model een succespercentage van 86,7%, terwijl de eerstvolgende concurrent slechts op 80,6% zat.
De Afweging: Er is een kleine prijs. De eiwitten die door de super-snelle methode werden gegenereerd, waren iets minder divers (wat betekent dat ze een beetje meer op elkaar leken) dan de versies gemaakt door de trage, voorzichtige methoden. De auteurs suggereren echter dat dit een kleine prijs is om te kunnen betalen voor het vermogen om miljoenen ontwerpen te genereren in de tijd die het vroeger kostte om er een paar duizend te maken.

Waarom Dit Belangrijk Is

Dit is niet alleen een wiskundige truc; het is een praktisch hulpmiddel voor de toekomst van de geneeskunde. Bij de ontwikkeling van medicijnen is het vaak nodig om miljoenen kandidaat-eiwitstructuren te genereren om er één te vinden die bijvoorbeeld een virus of een kankercel kan bestrijden. Als een computer 100 stappen nodig heeft om één ontwerp te maken, kan het dagen duren om een goede kandidaat te vinden. Als het kan in 10 stappen, kan dezelfde zoektocht in uren worden voltooid.

De auteurs suggereren dat we door deze "gemiddelde snelheid"-benadering te gebruiken, hoog-doorvoersnelheid bij eiwitontwerp eindelijk een realiteit kunnen maken. Ze hebben dit niet alleen op een computer gesimuleerd, maar ze hebben het model getraind op een echte dataset van meer dan 3.600 eiwitten en het rigoureus getest. Hoewel ze opmerken dat hun methode nog steeds wordt verfijnd (vooral wat betreft diversiteit), suggereren de resultaten dat we op de drempel staan om levensreddende eiwitten te kunnen ontwerpen met een snelheid die past bij de urgentie van wereldwijde gezondheidsuitdagingen.

Kortom, het artikel laat zien dat door de geometrie van rotatie iets beter te begrijpen, we kunnen stoppen met het zetten van babystapjes en kunnen beginnen met sprinten naar nieuwe medische doorbraken.

Technische Samenvatting: SE(3)-MeanFlow

Probleemstelling

Generatieve modellering van eiwitbackbones is cruciaal voor de de novo design van eiwitten met voorgeschreven structurele en functionele eigenschappen. Hoewel bestaande diffusie- en flow-matchingmodellen (bijv. FrameDiff, RFDiffusion, FoldFlow) hoge kwaliteit generatie hebben bereikt op de ruimte van eiwitframes, $SE(3)^N$ , lijden zij onder een significante inferentie-bottleneck. Huidige methoden vereisen het numeriek integreren van een gewone differentiaalvergelijking (ODE) over honderden stappen (typisch 100–500 network function evaluations, of NFE) om nauwkeurigheid te garanderen. Op de Lie-groep $SE(3)$ omvat elke stap het evalueren van het netwerk en het toepassen van de Lie-groep exponentiële afbeelding, wat inferentie computationeel duur maakt en ongeschikt voor high-throughput drug discovery-pipelines die miljoenen kandidaat-structuren vereisen.

Hoewel generatie met weinig stappen is verkend in de Euclidische ruimte met behulp van Consistency Models of progressieve distillatie, vereisen deze benaderingen vaak getrainde 'teachers' of complexe trainingscurricula. MeanFlow, een recente methode voor Euclidische ruimtes, biedt een zelfstandig alternatief door de gemiddelde snelheid van een flow-traject te modelleren in plaats van de instantane snelheid, wat één-stap generatie mogelijk maakt zonder distillatie. Het naïef uitbreiden van MeanFlow naar de gekromde variëteit van $SE(3)$ is echter slecht gedefinieerd omdat snelheden op verschillende punten langs een traject in verschillende tangentruimten verblijven, wat parallel transport noodzakelijk maakt voor het middelen.

Methodologie

De auteurs stellen SE(3)-MeanFlow voor, een generatief framework met weinig stappen dat specifiek is ontworpen voor de Lie-groepgeometrie van eiwitframes. De methode maakt gebruik van de decompositie $SE(3) \cong SO(3) \times \mathbb{R}^3$ om simulatievrije trainingsdoelen direct af te leiden in de Lie-algebra $\mathfrak{so}(3)$ en de Euclidische ruimte $\mathbb{R}^3$ , waardoor parallel transport wordt vermeden.

Kernbijdragen aan de Theorie

Integratie-gebaseerde MeanFlow-identiteit: De auteurs definiëren de gemiddelde snelheid over een interval $[s, t]$ $[s, t]$ via een tijd-geordende exponentiële functie. Door deze definitie te differentiëren, leiden zij een gesloten vorm-identiteit af die de gemiddelde snelheid koppelt aan de trajectafgeleide en de instantane snelheid.
- Voor rotaties omvat deze identiteit de rechter Jacobiaan $J$ van $SO(3)$, die rekening houdt met de niet-commutatieve aard van de groep.
- De resulterende trainingsdoelstelling stelt het model in staat om de gemiddelde snelheid $u(s, t, x_t)$ te leren met enkel de instantane snelheid als supervisie, zonder dat volledige trajectintegratie tijdens de training nodig is.
Gesloten Vorm Doelen: In tegenstelling tot algemene Riemannse MeanFlow-benaderingen die vertrouwen op parallel transport, leidt SE(3)-MeanFlow gesloten vorm gemiddelde-snelheidsidentiteiten af in $\mathfrak{so}(3)$ en $\mathbb{R}^3$ . Dit elimineert de computationele kosten en numerieke instabiliteit geassocieerd met parallel transport.

Praktisch Trainingsframework

Om numerieke instabiliteit aan te pakken, met name wanneer $t \to 0$ (waar $1/t$ factoren in de loss fouten kunnen versterken), introduceren de auteurs een stabiel trainingscurriculum:

$\alpha$ -Flow Warm-up: Een JVP-vrije (Jacobian-Vector Product vrije) doelstelling gebaseerd op een twee-segment constructie wordt gebruikt als warm-up fase. Deze doelstelling vervangt de differentiële doelstelling door een consistentiedoel dat het differentiëren door de trajectafgeleide vermijdt, wat de initiële trainingsfase stabiliseert.
Small- $t$ Gestabiliseerde MeanFlow: Na de warm-up schakelt de training over naar een differentiële MeanFlow loss. De auteurs implementeren numerieke stabilisatietechnieken, inclusief hulpvariabelen om $1/t$ factoren te absorberen en een small- $t$ herparameterisering, wat robuuste training garandeert zelfs met agressieve stapreductie.
Rectificatie (Post-training): Een rectificatiefase (self-reflow) wordt toegepast om de transportpaden verder te vereffenen, wat de prestaties in het regime met weinig stappen verbetert.

Architectuur

Het model maakt gebruik van de ReQFlow backbone (een Invariant Point Attention netwerk) met minimale aanpassingen:

Een gedeelde twee-tijd embedding voor inputs $(s, t)$ .
Per-block AdaLN-Zero gates om de rigide updates te conditioneren op het tijdsinterval.
De modelgrootte is ongeveer 16,8M parameters, aanzienlijk kleiner dan concurrente Riemannse MeanFlow baselines (437M parameters).

Belangrijkste Bijdragen

Theoretische Afleiding: Het artikel biedt een rigoureuze afleiding van de MeanFlow-identiteit op $SE(3)$, waarbij gesloten vorm gemiddelde-snelheidsdoelen in de Lie-algebra worden vastgesteld zonder parallel transport.
Stabiele Trainingsalgoritmen: De introductie van de $\alpha$ -Flow warm-up en small- $t$ stabilisatietechnieken maakt generatie van eiwitbackbones met weinig stappen betrouwbaar, waarbij de numerieke kwetsbaarheid van differentiële doelen op variëteiten wordt aangepakt.
Prestaties in het Few-Step Regime: De methode bereikt state-of-the-art designbaarheid met aanzienlijk minder samplingstappen vergeleken met flow-matching baselines.

Experimentele Resultaten

De methode is geëvalueerd op de SCOPe dataset (3.673 eiwitbackbones, lengtes 60–128) tegenover baselines inclusief FrameFlow, QFlow, ReQFlow, en Riemannse MeanFlow (RMF).

Designbaarheid: SE(3)-MeanFlow komt overeen met of overtreft de designbaarheid (fractie van backbones met scRMSD < 2Å) van baselines die 5–10 keer meer samplingstappen gebruiken.
- Bij 20 stappen bereikt SE(3)-MeanFlow een designbare fractie van 0,867, waarmee het RMF (0,806) en QFlow (0,778) verslaat.
- Bij 10 stappen behoudt de gerectificeerde versie (RecSE3MF) een designbare fractie van 0,894, wat aanzienlijk hoger is dan ReQFlow (0,837).
Efficiëntie: De methode reduceert het samplingbudget van honderden stappen naar slechts 10–20 stappen, terwijl de hoge structurele kwaliteit behouden blijft.
Diversiteit en Nieuwheid: Er is een bescheiden trade-off in diversiteit (hogere pairwise TM-scores) vergeleken met coverage-georiënteerde baselines, maar de methode behoudt stabiele secundaire structuur statistieken (helix/strand fracties) en C $\alpha$ validiteit over verschillende stap-aantallen.
Ablatie Studies: Gecontroleerde experimenten op een synthetische $SO(3)^2$ benchmark bevestigen dat de gemiddelde-snelheid parameterisatie de primaire drijfveer is voor succes met weinig stappen, in plaats van de netwerkarchitectuur of koppelingsstrategieën.

Betekenis en Claims

Het artikel claimt dat SE(3)-MeanFlow de designbaarheid–efficiëntie grens in eiwitgeneratie vooruit helpt. Door gebruik te maken van de specifieke algebraïsche structuur van $SE(3)$ als een Lie-groep, demonstreren de auteurs dat het mogelijk is om simulatievrije trainingsdoelen af te leiden die hoogwaardige generatie mogelijk maken met een fractie van de computationele kosten die huidige methoden vereisen.

De auteurs benadrukken dat hun aanpak zelfstandig is, geen vooraf getrainde teacher of complexere distillatie vereist, en schaalbaar is (gebruikmakend van een kleiner model dan concurrente Riemannse methoden). Hoewel ze een bescheiden vermindering in diversiteit erkennen vergeleken met sommige baselines, beargumenteren ze dat het vermogen om designbare structuren in 10–20 stappen te genereren de methode bijzonder waardevol maakt voor high-throughput toepassingen waar miljoenen kandidaten gescreend moeten worden. Het werk suggereert dat toekomstige richtingen onder meer het uitbreiden van de methode naar conditionele generatie en motif scaffolding omvatten, en het pushen naar echte één-stap generatie.