MMGNN: Multi-level, multi-color graph neural networks for molecular property prediction

Technische Samenvatting: MMGNN

Probleemstelling
Huidige moleculaire message-passing neurale netwerken (MPNN's) opereren doorgaans op een enkele globale graaf, waarbij chemisch diverse interacties door een gedeeld aggregatiekanaal worden gepropageerd. Deze aanpak kent drie primaire beperkingen:

1. Signaalmenging: Distinctieve interactiesignalen die geassocieerd zijn met specifieke atoomtype-omgevingen worden gemengd voordat ze afzonderlijk kunnen worden gerepresenteerd, wat potentieel lokale patronen kan maskeren.
2. Dieptebeperkingen: Het vastleggen van langetermijneffecten vereist vaak diepe propagatie, wat leidt tot over-smoothing (het vervagen van knooprepresentaties) of over-squashing (het comprimeren van verre signalen).
3. Informatieverlies: Hoewel geometrische modellen de 3D-structuur integreren, combineren zij vaak chemisch verschillende ruimtelijke interacties binnen hetzelfde kanaal, en benaderingen met gereduceerde grafen kunnen de resolutie op atoomniveau verliezen.

Methodologie
De auteurs stellen de Multi-level, Multi-color Graph Neural Network (MMGNN) voor, een hiërarchisch framework dat een moleculaire graaf deelt in een collectie van overlappende, atoomtype-paar-specifieke subgrafen. Dit ontwerp behoudt de resolutie op atoomniveau terwijl het gespecialiseerde message-passing kanalen creëert.

• Subgraafconstructie:

  • MMGNN-2D: Construeert "chemisch gekleurde" subgrafen op basis van covalente connectiviteit. Voor elk paar atoomtypen $(C_k, C_{k'})$ wordt een subgraaf gevormd die alleen de atomen van die typen en de covalente bindingen tussen hen bevat.
  • MMGNN-3D: Construeert "geometrisch gekleurde" subgrafen op basis van ruimtelijke nabijheid. Deze subgrafen bevatten atoomparen binnen een specifieke Euclidische afstandsdrempel (waarbij sterische hindering wordt uitgesloten), maar zijn niet noodzakelijkerwijs covalent gebonden. Kenmerken van de randen (edges) worden uitgebreid met afstand-, bindingshoek- en torsiehoek-beschrijvers.
  • Overlap: Atomen nemen simultaan deel aan meerdere subgrafen, waardoor de globale connectiviteit behouden blijft via gedeelde atomen.

• Message Passing & Aggregatie:

  • Een gedeelde Communicative Message Passing Neural Network (CMPNN) backbone verwerkt elke gekleurde subgraaf onafhankelijk. Deze backbone maakt gebruik van een neighbor-flow mechanisme en een residuele message booster om gerichte edge-representaties efficiënt bij te werken.
  • Atoom-gewijze Aggregatie: Subgraaf-specifieke embeddings voor elk atoom worden geaggregeerd (via som, gemiddelde of aandachtmechanismen) om een uiteindelijke atoomrepresentatie te vormen.
  • Readout: Finale moleculaire representaties worden gegenereerd door de optelling van atoom-embeddings en worden doorgegeven aan een feed-forward netwerk voor eigenschapsvoorspelling.

Belangrijkste Bijdragen

1. Overlappende Decompositie: Introductie van een overlappende atoomtype-paar decompositie die de resolutie op atoomniveau behoudt terwijl het interactie-specifieke message-passing kanalen vestigt, waardoor de menging van chemisch verschillende signalen wordt uitgesteld.
2. Verenigde 2D/3D Architectuur: Formulering van complementaire 2D (covalente topologie) en 3D (ruimtelijke geometrie) varianten binnen één enkel framework, wat een gecontroleerde vergelijking van topologische en geometrische representaties mogelijk maakt.
3. Uitgebreide Evaluatie: Uitgebreide benchmarking op acht MoleculeNet-datasets (vijf classificatie, drie regressie) met behulp van gemeenschappelijke scaffold splits en meerdere onafhankelijke runs, vergezeld van structurele casestudies en leave-one-out subgraaf gevoeligheidsanalyses.

Resultaten
Het model werd geëvalueerd op vijf classificatie-datasets (BBBP, BACE, ClinTox, SIDER, Tox21) en drie regressie-datasets (Lipophilicity, FreeSolv, ESOL) met behulp van scaffold splits.

• Classificatie:
  • MMGNN-2D behaalde de hoogste macro-gemiddelde AUC-ROC van 0.838 over de vijf datasets. Het presteerde bijzonder goed op BACE (0.877) en ClinTox (0.913).
  • MMGNN-3D behaalde de hoogste gemiddelde AUC-ROC op BBBP (0.956), wat suggereert dat expliciete 3D ruimtelijke informatie zeer voordelig is voor het modelleren van de penetratie van de bloed-hersenbarrière.
• Regressie:
  • MMGNN-2D behaalde de laagste RMSE op ESOL (0.803) en de op één na laagste op Lipophilicity.
  • MMGNN-3D behaalde de laagste RMSE op FreeSolv (1.793), waarmee het standaard baselines versloeg en de waarde van geometrische kenmerken voor de voorspelling van hydratatievrije energie aantoont.
• Interpretabiliteit:
  • Een structurele casestudie op BBBP-analogen toonde aan dat MMGNN lokale chemische distincties (bijv. specifieke functionele groepen) beter behoudt dan globale CMPNN's, die de neiging hebben tot over-smoothing van de representaties van moleculen die grote scaffolds delen.
  • Leave-one-out analyses toonden aan dat MMGNN-2D het meest gevoelig is voor fundamentele covalente paren (C-C, C-N), terwijl MMGNN-3D een verhoogde gevoeligheid vertoont voor ruimtelijke heteroatoomparen (O-O, N-N), wat de afhankelijkheid van 3D ruimtelijke arrangementen weerspiegelt.

Betekenis
Het artikel stelt dat overlappende, interactie-specifieke graafdecompositie een competitieve strategie is voor moleculaire eigenschapsvoorspelling. Door chemisch verschillende interacties te scheiden in toegewijde kanalen terwijl de globale connectiviteit behouden blijft via overlappende atomen, adresseert MMGNN de beperkingen van signaalmenging en over-smoothing die inherent zijn aan single-graph MPNN's. De complementaire sterktes van de 2D en 3D varianten suggereren dat zowel covalente topologie als ruimtelijke geometrie cruciaal zijn, waarbij hun relatieve belang varieert per de specifieke moleculaire eigenschap die voorspeld wordt. De auteurs concluderen dat deze aanpak het behoud van interactie-specifieke informatie ondersteunt als een levensvatbare weg naar nauwkeurigere moleculaire representatie-lering.