🤖 AI

E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory

E2Former-V2 is een schaalbare equivariante graph neural network-architectuur die de computationele knelpunten van mainstream modellen overwint door Equivariant Axis-Aligned Sparsification en een On-the-Fly Equivariant Attention-mechanisme te introduceren, waarmee een 20-voudige TFLOPS-verbetering wordt bereikt terwijl de voorspellende prestaties op 3D-atomaire systemen behouden blijven.

Oorspronkelijke auteurs: Lin Huang, Chengxiang Huang, Ziang Wang, Yiyue Du, Chu Wang, Haocheng Lu, Yunyang Li, Xiaoli Liu, Arthur Jiang, Jia Zhang

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lin Huang, Chengxiang Huang, Ziang Wang, Yiyue Du, Chu Wang, Haocheng Lu, Yunyang Li, Xiaoli Liu, Arthur Jiang, Jia Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen hoe een enorme menigte mensen (atomen) zich zal bewegen en met elkaar zal interageren in een kamer. In de wereld van de chemie en natuurkunde wordt dit "atomistische modellering" genoemd. Lange tijd hebben wetenschappers een speciaal type AI gebruikt, een Equivariant Graph Neural Network (EGNN). Deze netwerken zijn geweldig omdat ze begrijpen dat als je de hele kamer draait, de fysica binnenin niet verandert.

Echter, de huidige versies van deze netwerken hebben een groot probleem: ze zijn onhandig en traag wanneer de menigte groot wordt.

Hier is een eenvoudige uiteenzetting van de oplossing uit het artikel, E2Former-V2, gebruikmakend van alledaagse analogieën.

Het Probleem: De "Edge-Centric" Verkeersopstopping

Stel je een feestje voor waar iedereen wil praten met zijn buren.

De Oude Methode (Traditionele EGNN's): Het systeem maakt een gigantische, fysieke lijst van elk gesprek dat er op het feestje plaatsvindt. Als er 1.000 mensen zijn, en iedereen praat met 50 buren, moet het systeem 50.000 afzonderlijke gespreksnotities op een enorm wit bord (geheugen) schrijven voordat het enige wiskunde kan uitvoeren.
De Bottleneck: Naarmate het feestje groter wordt (meer atomen), wordt dit witte bord zo groot dat de computer geen ruimte meer heeft. De computer besteedt al zijn tijd aan het heen en weer schuiven van deze notities in plaats van aan het daadwerkelijk nadenken. Dit is waarom oude modellen vastlopen of traag worden wanneer ze grote moleculen zoals eiwitten simuleren.

De Oplossing: E2Former-V2

De auteurs hebben een nieuw systeem gebouwd dat stopt met het opschrijven van elke afzonderlijke gespreksnotitie. In plaats daarvan gebruiken ze twee slimme trucs om het proces razendsnel te maken.

Truc 1: Het "Magische Kompas" (Equivariant Axis-Aligned Sparsification)

In het oude systeem is het berekenen van hoe atomen interageren als het proberen op te lossen van een puzzel waarbij elk stukje in elke richting gedraaid kan worden. Het is rommelig en vereist veel wiskunde.

De Analogie: Stel je voor dat je een complexe 3D-puzzel hebt. In plaats van de puzzel op te lossen terwijl deze ronddraait, gebruik je een "Magisch Kompas" om de hele puzzel zo te draaien dat één specif kind stukje altijd recht omhoog wijst.
Het Resultaat: Zodra de puzzel is uitgelijnd, zijn de meeste stukjes leeg of nul. Je hoeft geen wiskunde meer uit te voeren op de lege delen. Het artikel noemt dit EAAS. Het verandert een rommelige, dichte berekening in een simpel "herindexeringsspel" (het simpelweg verplaatsen van stukjes), wat veel sneller is.

Truc 2: De "Streamende Chef" (On-the-Fly Equivariant Attention)

Dit is de grootste doorbraak.

De Oude Manier (Het Buffet): Het oude systeem bereidt het hele buffet voor (alle 50.000 gespreksnotities) en zet het op een tafel voordat iemand kan eten. Als de tafel te klein is, valt het eten over de rand en stopt het feestje.
De Nieuwe Manier (De Streamende Chef): Het nieuwe systeem, E2Former-V2, werkt als een chef die bord voor bord kookt, direct voor de klant, en het gerecht onmiddellijk serveert.
- Het schrijft de notities niet op.
- Het slaat de hele lijst niet op.
- Het berekent de interactie tussen twee mensen, voegt het resultaat toe aan de eindscore, en vergeet vervolgens direct de details om ruimte te maken voor het volgende paar.
Het Resultaat: Dit wordt "On-the-Fly" verwerking genoemd. Omdat het nooit de gigantische witte bord bouwt, gebruikt het bijna geen geheugen. Het past alles in de supersnelle interne cache (SRAM) van de computer, waardoor het 20 keer sneller is dan de oude methoden.

Wat Ze Werkelijk Hebben Bereikt

De auteurs hebben dit nieuwe systeem getest op twee hoofdpunten:

Kleine Moleculen (SPICE): Ze testten het op medicijn-achtige moleculen. Het nieuwe systeem was net zo nauwkeurig als de beste bestaande modellen, maar veel sneller.
Grote Moleculen (OMol25): Ze testten het op enorme chemische structuren.
- De Limiet: Oude modellen liepen vast (geheugentekort) bij het simuleren van systemen met meer dan 10.000 atomen.
- De Overwinning: E2Former-V2 slaagde erin om systemen met 100.000 atomen te simuleren zonder vast te lopen.

Genoemde Praktijktesten

De auteurs hebben niet alleen met getallen gespeeld; ze simuleerden echte fysica:

Vloeibaar Water: Ze simuleerden een doos met watermoleculen. Het nieuwe model voorspelde hoe de watermoleculen zich rangschikken (de "radial distribution function") bijna perfect, wat de werkelijke experimenten beter matcht dan eerdere modellen.
Eiwitten: Ze simuleerden een groot eiwit (ongeveer 30.000 atomen) dat in water zweeft. Het model hield het eiwit stabiel en hielp het vouwen naar een vorm die overeenkwam met echte experimentele gegevens, wat bewijst dat het complexe biologische structuren kan verwerken.

Samenvatting

E2Former-V2 is als een upgrade van een systeem dat elk gesprek op een groot, traag wit bord schrijft naar een systeem waar een slimme chef gesprekken één voor één kookt en serveert, direct en onmiddellijk. Dit stelt wetenschappers in staat om enorme moleculaire systemen (zoals grote eiwitten) te simuleren op standaardcomputers zonder dat het geheugen volloopt, terwijl de fysica accuraat blijft.

Technische Samenvatting: E2Former-V2: On-the-Fly Equivariante Attention met Lineaire Activatiegeheugen

1. Probleemstelling

Equivariante Graph Neural Networks (EGNN's) zijn de standaard geworden voor het modelleren van 3D-atomaire systemen vanwege hun vermogen om rotationele en translationele symmetrieën te behouden. De mainstream architecturen (bijv. MACE, EquiformerV2, eSCN) lijden echter aan kritieke efficiëntie-bottlenecks die geworteld zijn in hun edge-centrische ontwerp. Deze modellen construeren expliciet geometrische kenmerken of voeren dichte tensorproducten uit op elke edge, wat leidt tot:

Geheugencomplexiteit: $O(|E|)$ activatiegeheugen, waarbij $|E| \approx kN$ (waarbij $k$ het gemiddelde aantal buren is). Voor grote systemen resulteert dit in enorme geheugenvoetafdrukken die de GPU-capaciteit overschrijden.
Hardware-inefficiëntie: De expliciete materialisatie van edge-tensoren dwingt datamobiliteit af tussen High Bandwidth Memory (HBM) en on-chip SRAM, wat een geheugenmuur creëert die de doorvoer beperkt.
Schaalbaarheidslimieten: Naarmate de systeemgrootte ( $N$ ) toeneemt, schaalt de latentie slecht, waardoor grootschalige moleculaire dynamica (MD)-simulaties op consumentenhardware computationeel onhaalbaar worden.

Hoewel recente vooruitgang in Transformers (bijv. FlashAttention) vergelijkbare bottlenecks voor sequentiedata hebben opgelost via streaming, tile-gebaseerde executie, zijn deze principes nog niet verkend in SO(3)-equivariante architecturen.

2. Methodologie

E2Former-V2 pakt deze problemen aan door algebraïsche sparsificatie te integreren met een hardware-bewust, node-centrisch executiemodel. De architectuur bestaat uit twee kerninnovaties:

2.1. Equivariante As-gealigneerde Sparsificatie (EAAS)

Standaard SO(3) tensorcontracties omvatten dichte sommaties over Clebsch–Gordan-coëfficiënten, wat resulteert in $O(L^6)$ complexiteit en onregelmatige geheugentoegangspatronen. E2Former-V2 introduceert EAAS om deze dichte operaties te transformeren naar sparse, permutatie-gebaseerde operaties:

SO(3) $\to$ SO(2) Verandering van Basis: De methode aligneert het globale coördinatensysteem met de lokale vector $\vec{r}$ (de as die twee atomen verbindt). In dit gealigneerde frame worden solide sferische harmonieken maximaal sparse (Lemma 4.1), waarbij alleen de $m=0$ component niet-nul is.
Re-indexing Operator: Door rotaties door de tensorproduct te commueren, stort de dichte contractie in tot een deterministische re-indexing regel (Eq. 13). Deze operator brengt inputkenmerken naar outputkenmerken via sparse blockwise lineaire maps, waardoor de noodzaak voor dichte sommatie over magnetische indices wordt geëlimineerd.
Resultaat: Dit vermindert de complexiteit van de convolutie-fase en bereikt een versnelling van $\sim 1,5\times$ ten opzichte van standaard implementaties.

2.2. On-the-Fly Equivariante Attention

Om de $O(|E|)$ geheugenbottleneck te elimineren, stelt de auteur een volledig gefuseerde, node-centrische attention-mechanisme voor, geïmplementeerd via een aangepaste Triton kernel:

Node-Centrische Factorisatie: In plaats van edge-kenmerken te materialiseren, ontkoppelt het attention-mechanisme de berekening. Query- en Key-vectoren worden geconstrueerd met behulp van SO(3)-invariante scalaire projecties (Eq. 6), terwijl equivariante geometrische informatie alleen via het value-pad wordt gepropageerd.
Streaming Reductie: De kernel verwerkt buren in een streaming-modus. Het iterereert over buren $j \in \mathcal{N}(i)$ , berekent attention-scores en cumuleert value-updates on-the-fly binnen de SRAM.
Eliminatie van Edge Materialisatie: Tussenliggende tensoren van vorm $N \times K \times H \times D$ worden nooit naar HBM geschreven. De kernel houdt lopende statistieken (max, normalisatie en value-accumulatoren) on-chip bij, waardoor de activatiegeheugencomplexiteit wordt gereduceerd van $O(|E|)$ naar $O(|V|)$ .
Online Softmax: Om numerieke stabiliteit tijdens het streamen te garanderen, wordt een online softmax-formulering gebruikt om accumulatoren incrementeel bij te werken.

3. Belangrijkste Bijdragen

Equivariante As-gealigneerde Sparsificatie (EAAS): Een nieuwe algebraïsche techniek die Wigner-6j recoupling verenigt met SO(2) as-alignment, waardoor dichte SO(3) tensorcontracties worden omgezet in sparse re-indexing operaties.
On-the-Fly Equivariante Attention: Een volledig gefuseerde Triton kernel die edge-materialisatie vermijdt, SRAM-hergebruik maximaliseert en tot wel 20 $\times$ hogere TFLOPS bereikt vergeleken met standaard implementaties.
Schaalbare Prestaties: Gedemonstreerde capaciteit om systemen met tot 100.000 atomen aan te kunnen op een enkele GPU, een regime waarin eerdere equivariante Transformers falen door Out-Of-Memory (OOM) fouten.
Fysische Getrouwheid: Validatie in moleculaire dynamica waarbij de structuren van vloeibaar water nauwkeurig worden gereproduceerd en de stabiele verfijning van AlphaFold-voorspelde eiwitstructuren ( $\sim$ 30k atomen) wordt aangetoond.

4. Experimentele Resultaten

De auteurs evalueerden E2Former-V2 op de SPICE (medicinale chemie) en OMol25 (foundation model schaal) datasets, evenals in MD-simulaties.

Voorspellende Nauwkeurigheid:
- Op SPICE behaalde E2Former-V2 de laagste Energy en Force Mean Absolute Errors (MAE) over de meeste subsets, waarbij het MACE-Large met 48% overtrof in Energy MAE op Dimers.
- Op OMol25 behaalde de conservatieve variant een geaggregeerde Energy MAE van 1,27 meV/atom, wat overeenkomt met eSEN-small en UMA-S (3,62 meV/atom) aanzienlijk overtreft.
- Op OC20 S2EF-2M behaalde het een nauwkeurigheid die vergelijkbaar is met sterke baselines zoals EquiformerV2 en eSCN.
Efficiëntie en Schaalbaarheid:
- Doorvoer: De gefuseerde kernel bereikte een gemiddelde 20 $\times$ versnelling in TFLOPS ten opzichte van naïeve PyTorch-implementaties.
- Geheugen: Het piekgeheugengebruik werd met 16,9 $\times$ tot 19,5 $\times$ verminderd vergeleken met baselines.
- Schaalbaarheid: Terwijl eerdere modellen (bijv. EquiformerV2, MACE-Large) OOM-fouten vertoonden voorbij 10k–50k atomen, schaalde E2Former-V2 betrouwbaar naar 100k atomen.
- Inference Snelheid: Bij 100k atomen bereikte E2Former-V2 (Conservative) 0,12 stappen/s, bijna 3 $\times$ sneller dan UMA-S. In de Direct-setting was het een orde van grootte sneller dan Allegro en EquiformerV2 op kleinere schalen.
Moleculaire Dynamica:
- Simulaties van periodiek bulkwater (216 moleculen) lieten zien dat E2Former-V2 nauw aansluit bij experimentele radiale distributiefuncties (RDF), waarmee het MACE-OFF overtreft.
- Een 2 ns simulatie van een gesolvateerd eiwit ( $\sim$ 30k atomen) behield een hoge TM-score ten opzichte van de natieve structuur, wat stabiele dynamica aantoont.

5. Betekenis en Claims

Het artikel claimt dat E2Former-V2 de praktische haalbaarheid van grote equivariante transformers op consumenten-GPU's aantoont. Door de executieparadigma te verschuiven van edge-centrisch naar node-centrisch en gebruik te maken van hardware-bewuste streaming, lost de methode de fundamentele geheugenbottleneck op die de schaalbaarheid van equivariante modellen heeft beperkt.

De auteurs benadrukken dat dit niet louter een algoritmische verbetering is, maar een systeem-niveau realisatie die de kloof overbrugt tussen theoretische factorisatie (reductie van complexiteit van $O(|E|)$ naar $O(|V|)$ ) en hardware-efficiëntie. Het werk suggereert dat grootschalige moleculaire foundation modellen en langdurige MD-simulaties, die voorheen computationeel onhaalbaar waren, nu toegankelijk zijn met standaard GPU-infrastructuur. De code is vrijgegeven om verdere adoptie in de gemeenschap te faciliteren.