Technische Samenvatting: PRIME (Proteïne-representatie via Fysiek Geïnformeerde Multischaal Equivariante Hiërarchieën)

Probleemstelling

Proteïnen zijn van nature multischaal fysieke systemen waarbij functionele eigenschappen voortkomen uit gecoördineerde structurele organisatie, variërend van atomaire interacties tot de topologie van de globale vouwing. Bestaande methoden voor het leren van proteïne-representaties opereren doorgaans op één enkele structurele resolutie (bijvoorbeeld sequentie, atomaire of oppervlakkeniveau) of behandelen verschillende structurele bronnen als parallelle modaliteiten die worden geïntegreerd via latente uitlijning of fusie in een laat stadium. Deze benaderingen falen in het expliciet modelleren van de hiërarchische relaties tussen structurele schalen (bijvoorbeeld hoe atomen residuen vormen, die secundaire structuren vormen, die op hun beurt de globale vouwing vormen). Bijgevolg behandelen ze distincte ruimtelijke resoluties als onafhankelijke semantische weergaven in plaats van geneste niveaus binnen een gedeelde fysieke hiërarchie, wat hun vermogen beperkt om interacties te vangen die over resoluties heen ontstaan.

Methodologie

De auteurs introduceren PRIME, een unificerend raamwerk dat proteïnen modelleert als een geneste familie van vijf fysiek onderbouwde structurele grafen. Het raamwerk werkt via twee hoofdfasen: hiërarchische graafconstructie en multischaal berichtdoorvoer.

1. Hiërarchische Graafconstructie

PRIME definieert een hiërarchie $\mathcal{G} = \{G^{(0)}, G^{(1)}, G^{(2)}, G^{(3)}, G^{(4)}\}$ die vijf niveaus beslaat van fijne naar grove resolutie:

• Niveau 0 (Oppervlak): Knopen zijn driehoekige vlakken van het moleculaire oppervlakteweb.
• Niveau 1 (Atoom): Knopen zijn zware atomen.
• Niveau 2 (Residu): Knopen zijn aminozuurresiduen.
• Niveau 3 (Secundaire Structuur): Knopen zijn elementen van secundaire structuur (SSE's: helices, strengen, lussen).
• Niveau 4 (Proteïne): Een enkele knoop die het volledige proteïne vertegenwoordigt.

Connectiviteit en Toewijzing:

• Randen: Het fijnste niveau ($G^{(0)}$) gebruikt $k$-naaste buren ($k=8$) op vlakcentroïden. Grovere niveaus leiden randen deterministisch af uit het fijnste niveau via partitiematrices $\Pi^{(\ell)}$, waarbij $A^{(\ell)} = (\Pi^{(\ell)})^\top A^{(\ell-1)} \Pi^{(\ell)}$. Dit resulteert in gewogen burenmatrices die het aantal fijn-schaal verbindingen tussen grove eenheden weerspiegelen, en ruimtelijke nabijheid coderen zonder expliciete op coördinaten gebaseerde randconstructie op elk niveau.
• Toewijzingskaarten: Overgangen tussen niveaus worden beheerst door deterministische, fysiek geïnformeerde toewijzingsoperatoren $\pi^{(\ell)}$ afgeleid van biochemische principes (bijvoorbeeld Euclidische afstand voor oppervlak-naar-atoom, covalente binding voor atoom-naar-residu, DSSP-algoritme voor residu-naar-SSE).
• Knopenkenmerken:
  • Oppervlak: Handgemaakte geometrische beschrijvers (oppervlakte, afstand tot centroid) + embeddingen van een vooraf getraind Equivariant Mesh Neural Network (EMNN).
  • Atoom: Elementtype/ruggengraat-lidmaatschap + embeddingen van een vooraf getraind Equivariant Graph Neural Network (EGNN).
  • Residu: Aminozuuridentiteit, ruggengraathoeken, kromming en torsiehoeken.
  • SSE: One-hot codering van type en genormaliseerde lengte.
  • Proteïne: Globale representatie van een vooraf getraind ESM-2 model.

2. Multischaal Berichtdoorvoer

PRIME maakt gebruik van een stapel van $N$ hiërarchische lagen om informatie bidirectioneel te verspreiden. Elke laag voert drie sequentiële bewerkingen uit:

1. Intra-niveau Berichtdoorvoer: Verfijnt representaties op elk niveau onafhankelijk met behulp van graafconvoluties met pre-laag normalisatie, residuale verbindingen en feedforward-netwerken.
2. Beneden-naar-Boven Aggregatie: Verspreidt fijnmazige details omhoog door representaties te aggregeren van niveau $\ell-1$ naar $\ell$ met behulp van $(\Pi^{(\ell)})^\top$, gevolgd door gegateerde fusie.
3. Boven-naar-Beneden Contextuele Verfijning: Zondt grof-niveau context naar beneden van niveau $\ell$ naar $\ell-1$ met behulp van $\Pi^{(\ell)}$, gevolgd door symmetrische gegateerde fusie.

Het mechanisme voor gegateerde fusie neemt selectief context $c$ op in de huidige representatie $z$ via een leerbare poort $g = \sigma(W_g [z \| c])$. De uiteindelijke representatie wordt uitgelezen op een aangewezen niveau $\ell^*$ (doorgaans het residuniveau) voor downstream taken. Het raamwerk is ontworpen om end-to-end SE(3)-invariant te zijn, aangezien alle invoerkenmerken en bewerkingen coördinaatvrij zijn of gebruikmaken van invariante scalaire embeddingen van equivariante encoder.

Belangrijkste Bijdragen

• Unificerend Raamwerk: PRIME stelt een enkel raamwerk voor dat proteïnen modelleert als een geneste familie van vijf fysiek onderbouwde grafen, verbonden door deterministische toewijzingsoperatoren, wat expliciet modelleren van hiërarchische fysieke organisatie mogelijk maakt.
• Bidirectionele Informatie-uitwisseling: De methode faciliteert informatiestroom via beneden-naar-boven aggregatie (fijn-naar-grof) en boven-naar-beneden verfijning (grof-naar-fijn), waardoor elk niveau zowel zijn modaliteitsspecifieke informatie als contextuele signalen van alle andere schalen kan coderen.
• Fysiek Geïnformeerde Inductieve Bias: In tegenstelling tot datagedreven graafvergroving, maakt PRIME gebruik van bekende biochemische en geometrische beperkingen om de hiërarchie te definiëren, en biedt zo een principiële basis voor multischaal representatieleren.
• Adaptieve Uitlezing: Het raamwerk ondersteunt adaptieve cross-attention uitlezingen, waardoor het model autonoom de meest taakrelevante structurele resoluties kan identificeren en wegen op het moment van voorspelling.

Experimentele Resultaten

PRIME werd geëvalueerd op vier benchmarks van ProteinWorkshop: Vouwclassificatie, Voorspelling van Reactieklasse, Gen-ontologie (GO) Voorspelling en Voorspelling van Proteïne-Proteïne Interactie (PPI) Sites.

• Vouwclassificatie: PRIME behaalde state-of-the-art nauwkeurigheid over alle splits. Opvallend is dat het op de uitdagende Superfamily- en Fold-splits de sterkste geometrische GNN-baseline (EGNN) versloeg met marges van respectievelijk 13,80 en 18,30 punten.
• Voorspelling van Reactieklasse: PRIME behaalde 84,10% nauwkeurigheid, en overtrof alle baselines, waaronder ESM (83,10%), wat suggereert dat expliciete structurele hiërarchie een superieur signaal biedt voor voorspelling van enzymfunctie in vergelijking met sequentie-only modellen.
• Gen-ontologie: Het model behaalde de beste prestaties op de Molecular Function (MF) en Cellular Component (CC) ontologieën, die nauw verbonden zijn met structurele motieven en globale vouwingen. De prestaties op Biological Process (BP) waren lager, waarschijnlijk vanwege de afhankelijkheid van de annotatie van evolutionaire context in plaats van intrinsieke structuur.
• PPI Site Voorspelling: PRIME behaalde concurrerende ROC-AUC-scores, wat toepasbaarheid op knoop-niveau taken aantoont, hoewel het niet bovenaan de ranglijst stond, wat wijst op potentieel voor gespecialiseerde architecturale keuzes voor precieze interfacevoorspelling.

Ablatiestudies:

• Het verwijderen van elk enkel structureel niveau degradeerde consequent de prestaties, wat bevestigt dat elk niveau complementaire, niet-redundante informatie bijdraagt.
• Het verwijderen van het Secundaire Structuur (SSE) niveau veroorzaakte de grootste daling (bijvoorbeeld daalde de Fold-split nauwkeurigheid van 59,78% naar 16,61%), wat de centraliteit van SSE-topologie in vouwdiscriminatie benadrukt.
• Analyse van adaptieve cross-attention onthulde dat het model autonoom hogere attention-gewichten toekent aan SSE-niveaus voor vouwclassificatie en gewichten aanpast op basis van de taak (bijvoorbeeld hogere gewichten op atomaire/residuniveaus voor Reactieklasse), wat de noodzaak van een unificerend multischaal ontwerp valideert.

Betekenis

Het artikel beweert dat PRIME een principiële basis biedt voor proteïne-representatieleren door expliciet rekening te houden met de hiërarchische organisatie van proteïne-structuur. Door verder te gaan dan vlakke of parallelle multimodale representaties, vangt PRIME interacties die over structurele resoluties heen ontstaan. De resultaten tonen aan dat het modelleren van proteïnen als een geneste hiërarchie van fysiek onderbouwde grafen generaliseerbare representaties oplevert die bestaande unimodale en multimodale benaderingen overtreffen, met name bij taken die discriminatie van structureel vergelijkbare vouwingen vereisen of voorspelling van enzymfuncties die worden beheerst door de geometrie van het actieve centrum. Het vermogen van het raamwerk om taakrelevante resoluties autonoom te identificeren onderstreept verder de waarde van het behouden van een volledige multischaal hiërarchie in plaats van zich te beperken tot één vaste resolutie.