DCFold: Efficient Protein Structure Generation with Single Forward Pass

Technische Samenvatting: DCFold – Efficiënte Generatie van Proteïnestructuren met Eén Forward Pass

Probleemstelling
Hoewel AlphaFold3 (AF3) een nieuwe state-of-the-art heeft gevestigd voor proteïnestructuurvoorspelling en generatie van biomoleculaire complexen door gebruik te maken van een all-atom, op diffusie gebaseerde architectuur, wordt de praktische implementatie gehinderd door hoge rekenkosten. AF3 vertrouwt op iteratieve Pairformer-herhaling en multi-stap diffusie-sampling, wat resulteert in inferentietijden die worden gemeten in minuten voor lange sequenties. Deze latentie beperkt de bruikbaarheid in high-throughput downstream-toepassingen zoals virtuele screening en proteïneontwerp (bijvoorbeeld binder-hallucinatie). Bestaande pogingen om dit te mitigeren, zoals het handmatig verminderen van herhalingsiteraties, wisselen nauwkeurigheid in voor efficiëntie. Bovendien staan standaard consistentiemodellen (CM's), die diffusie proberen te versnellen door het aantal sampling-stappen te verminderen, voor aanzienlijke uitdagingen wanneer ze worden toegepast op proteïnestructuren: (1) ze gaan uit van data met vaste dimensies en gebruiken Euclidische afstand voor tijdstip-pairing, wat niet toereikend is voor variabele lengte proteïne-sequenties en leidt tot instabiele training; en (2) ze nemen de iteratieve overhead van de Pairformer-module niet op.

Methodologie
De auteurs stellen DCFold voor, een generatief model in één stap dat AlphaFold3-niveau nauwkeurigheid bereikt via een Dual Consistency-trainingsframework. Dit framework adresseert de twee primaire knelpunten van AF3: het diffusieproces en de Pairformer-herhaling.

1. Dual Consistency Framework:

   • Diffusie-consistentie: Het model dwingt consistentie af tussen de output in één stap en de multi-stap trajectorie van de diffusiemodule. Een sampler in één stap wordt gestabiliseerd door het uitschakelen van stochastische ruisinjectie en het normaliseren van stapgroottes. Het trainingsdoel minimaliseert de Mean Squared Error (MSE) tussen de voorspelling van het model op tijdstip $t$ en een referentietijdstip $r$.
   • Pairformer-consistentie: Om de iteratieve overhead van de Pairformer te elimineren, introduceren de auteurs een cycle-consistentieverlies. Aangezien de Pairformer interne representaties iteratief bijwerkt, bevat een enkele forward pass inherent representaties die overeenkomen met verschillende cycli-dieptes. Het model wordt getraind om de MSE tussen representaties op opeenvolgende cycli ($z_i$ versus $z_{i+1}$) te minimaliseren, waardoor de multi-cycli verfijning effectief wordt gedistilleerd naar een enkele forward pass.

2. Temporale Geodetische Matching (TGM):
   Om de instabiliteit van het toepassen van consistentiemodellen op variabele lengte proteïne-sequenties op te lossen, introduceren de auteurs TGM. In tegenstelling tot conventionele schedulers die tijdstippen paren op basis van vaste Euclidische intervallen, pareert TGM tijdstippen op basis van hun geodetische afstand op het temporele informatie-manifold.

   • De methode definieert een temporele metriek met behulp van Fisher Informatie ($I(t)$), die de veranderingssnelheid in de verdeling langs de diffusietrajectorie meet.
   • De geodetische afstand $d_g(t, r)$ wordt berekend als het integraal van $\sqrt{I(\tau)}$.
   • TGM zorgt ervoor dat trainingsparen $(t, r)$ een constante geodetische afstand behouden ten opzichte van de trainingsvoortgang. Dit past het curriculum aan aan de datadimensie (sequentielengte), waardoor de "informatie-dispariteit" wordt voorkomen die leidt tot traininginstorting bij lange sequenties.

Belangrijkste Bijdragen

• DCFold Architectuur: Een voorspeller in één stap die de iteratieve overhead van zowel de diffusiesampler als de Pairformer-herhaling elimineert, waardoor inferentiesnelheden vergelijkbaar zijn met AlphaFold2 terwijl de nauwkeurigheid van AlphaFold3 behouden blijft.
• Dual Consistency Training: Een nieuw framework dat gezamenlijk consistentie afdwingt over de diffusiemodule en de Pairformer, waardoor een geünificeerde inferentie in één forward pass mogelijk wordt.
• Temporale Geodetische Matching (TGM): Een principiële scheduling-mechanisme voor consistentiedistillatie in data met variabele lengte. Door gebruik te maken van Fisher Informatie om een Riemanniaanse metriek te definiëren op het temporele manifold, stabiliseert TGM de trainingsdynamiek en voorkomt het instorten van gewichten in multidimensionale taken voor proteïnemodellering met variabele lengte.
• Downstream Toepasbaarheid: De methode maakt volledig differentieerbare inferentie in één stap mogelijk, waardoor het geschikt is voor op gradiënten gebaseerde optimalisatietaken zoals binder-hallucinatie, die eerder moeilijk waren met multi-stap iteratieve modellen.

Experimentele Resultaten
De auteurs hebben DCFold geëvalueerd op benchmarks voor structuurvoorspelling en binderontwerp:

• Structuurvoorspelling (Posebusters V2 & Recent PDB): DCFold bereikt nauwkeurigheid vergelijkbaar met het volledige AlphaFold3-model. Op de Posebusters V2-benchmark bereikt het een RMSD < 2 Å succespercentage van 78,6% (beste geval) en 71,43% (slechtste geval), wat nauw aansluit bij de prestaties van AlphaFold3 terwijl het 15× sneller is (gemiddelde inferentietijd verlaagd van 133,3s naar 8,9s).
• Kwaliteit van Verdeling: DCFold herschikt de outputverdeling, waardoor het worst-case RMSD en succespercentages aanzienlijk verbeteren ten opzichte van de baseline AF3 ODE (enkele stap, geen distillatie), wat wijst op betrouwbaardere en stabielere voorspellingen.
• Binderontwerp: Bij binder-hallucinatie-taken (met targets zoals IL2-Rα, TrkA, H3) presteert DCFold beter dan de op AF2 gebaseerde BindCraft-baseline in in silico succespercentages. Bijvoorbeeld, op de H3-target bereikte DCFold een succespercentage van 23% onder op natuurkunde gebaseerde beperkingen, vergeleken met 16% voor BindCraft.
• Ablatiestudies: Experimenten bevestigen dat zowel Diffusie-consistentie als Pairformer-consistentie bijdragen aan de prestaties. TGM blijkt superieur te zijn aan andere consistentie-baselines (CD, sCM, ECM) op proteïnetaken, waarbij ECM niet effectief kan trainen op lange sequenties vanwege gradiëntvariatie.

Betekenis en Claims
Het artikel beweert dat DCFold succesvol de kloof overbrugt tussen de efficiëntie van AlphaFold2 en de nauwkeurigheid van AlphaFold3. Door de iteratieve architectuur te comprimeren tot een enkele forward pass zonder de voorspellende fideliteit in te leveren, maakt DCFold schaalbaar, high-throughput proteïneontwerp en screening mogelijk. De introductie van TGM biedt een generaliseerbare oplossing voor het toepassen van consistentiemodellen op sequentiële data met variabele lengte, waardoor een fundamentele beperking van eerdere op consistentie gebaseerde versnellingsmethoden wordt aangepakt. De auteurs positioneren DCFold als een fundamenteel model dat diverse downstream-toepassingen kan ondersteunen, waaronder virtuele screening en differentieerbaar proteïneontwerp, die eerder werden beperkt door de rekenkundige overhead van iteratieve diffusiemodellen.