Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

Technische Samenvatting: Hiërarchie-bewuste Embeddings van Kennisgrafieken via GNN's

Probleemstelling
Kennisgrafieken (KG's) worden veel gebruikt om gestructureerde domeinkennis weer te geven, met name in de levenswetenschappen waar ze worden verrijkt met ontologische informatie. Hoewel standaard KGE-methoden (Knowledge Graph Embedding) effectief leren van waargenomen relationele triples, slagen ze er vaak niet in om expliciet globale semantische beperkingen af te dwingen die zijn afgeleid van onderliggende ontologieën, zoals class-hiërarchieën (subClassOf) en disjunctiviteit. Standaard Graph Neural Networks (GNN's), hoewel krachtig voor het aggregeren van lokale buurtinformatie, respecteren deze hiërarchische structuren niet inherent, wat kan leiden tot representaties die bekende domeinlogica schenden. Het artikel adresseert de uitdaging om volumetrische representaties (specifiek box-embeddings) te integreren met GNN's om "hiërarchie-bewuste" embeddings te creëren die in overeenstemming zijn met ontologische beperkingen, terwijl ze effectief blijven voor downstream kwantitatieve voorspellingstaken.

Methodologie
De auteurs stellen een raamwerk voor dat Graph Neural Networks combineert met op boxen gebaseerde embeddings, genaamd Hiërarchie-bewuste GNN's.

1. Grafiekconstructie: De methode behandelt de KG als een verzameling TBox-achtige axioma's. Class-asserties ($C(a)$) worden herschreven als subsumptie-axioma's ($\{a\} \sqsubseteq C$), en rol-asserties ($r(a, b)$) als existentiële restricties ($\{a\} \sqsubseteq \exists r.\{b\}$). Dit verenigt feiten op instantieniveau en terminologische kennis in één computationele grafiek waarbij knopen classes en nominaals voorstellen en randen logische relaties.
2. Architectuur:
   • GNN-ruggengraat: Het model maakt gebruik van een heterogene GNN gebaseerd op de GraphSAGE-architectuur. Het employs relation-specifiek berichtverkeer (SAGEConv-modules) om informatie te aggregeren uit lokale buurten over verschillende randtypes.
   • Box-embeddings: De output van elke GNN-laag wordt behandeld als een latente variabele $\theta$ die wordt getransformeerd tot een as-gealigneerde hyperrechthoek (box) met behulp van een parameterisatie die geldige box-coördinaten garandeert (ondergrens $\le$ bovengrens).
   • Semantisch verlies: Om ontologische beperkingen af te dwingen, incorporateert het model semantische verlies termen tijdens het trainen. Twee soorten verliezen worden geëvalueerd voor subsumptie ($C \sqsubseteq D$):
     • Afstandsverlies ($L_{distance}$): Straft de geometrische afstand tussen een subclass-box en de grens van zijn superclass-box.
     • Overlapverlies ($L_{overlap}$): Straft op basis van het volume van de doorsnede relatief tot het subclass-volume.
     • Disjunctiviteitsbeperkingen ($C \sqcap D \sqsubseteq \bot$) worden afgedwongen via corresponderende negatieve verliezen ($L^{-}_{distance}$ of $L^{-}_{overlap}$).
   • Gecombineerde training: De totale verliesfunctie combineert een taakspecifiek verlies (bijvoorbeeld Mean Squared Error voor regressie) met de gewogen semantische verliezen en regularisatietermen. Dit stelt het model in staat om taakspecifieke kenmerken te leren terwijl het zich houdt aan de class-hiërarchie.

Belangrijkste Bijdragen

• Hiërarchie-bewust GNN-raamwerk: Een nieuwe architectuur die box-embeddings integreert in GNN's, waardoor gelijktijdig leren van grafiekstructuur en ontologische hiërarchieën mogelijk wordt.
• Integratie van semantisch verlies: De toepassing van semantische verliestermen (afgeleid van ontologie-axioma's) direct in de training van GNN's voor kwantitatieve voorspellingstaken, in plaats van alleen voor statische ontologie-embedding.
• Voorspelling van gist-fenotypes: Constructie van een uitgebreide, ontologie-verrijkte KG voor Saccharomyces cerevisiae die data integreert uit SGD, GO, ChEBI, APO en BioCyc.
• Hypothese-generatie: Een methode voor het identificeren van interacterende eigenschappen door de belangrijkheid van randparen in het getrainde model te analyseren, wat leidt tot experimenteel gevalideerde biologische hypothesen.
• Link-evaluatie: Een voorgestelde methode voor het rangschikken van potentiële KG-revisies op basis van de afstandsveranderingen in de resulterende embeddings en de impact op het semantische verlies.

Resultaten
De methode werd geëvalueerd op de taak van het voorspellen van celgroeivorming voor dubbele gen-knockouts in gist.

• Voorspellende prestaties: De hiërarchie-bewuste GNN behaalde een gemiddelde $R^2$-score van 0,360 met behulp van eerdere box-embeddings. Het incorporeren van het semantische verlies (specifiek het op afstand gebaseerde verlies) verbeterde de prestaties verder tot 0,377, wat significant beter was dan baselines waaronder standaard GNN's zonder box-embeddings, LightGBM's op spaarzame fenotypische kenmerken en ComplEx-embeddings.
• Generalisatie: Het model toonde generalisatievermogen toen het werd getest op triple gen-knockouts (data die niet in de training was gezien), met een $R^2$ van 0,415 met semantisch verlies, wat suggereert dat de geleerde representaties robuuste biologische eigenschappen vangen.
• Hypothese-validatie: Het model identificeerde een potentiële interactie tussen inositol-gebruik en osmotische stress-resistentie. Een geautomatiseerd biologisch experiment bevestigde deze bevinding, waarbij bleek dat inositol-suppletie cellen significant redde van NaCl-geïnduceerde stress, wat de capaciteit van het model om ontdekking te sturen valideert.
• Embedding-analyse: Visualisaties van 2D-embeddings voor het domein van moleculaire functie toonden aan dat de GNN eerdere embeddings transformeert om disjunctiviteit en subsumptie beter te respecteren, hoewel sommige hiërarchische schendingen bleven bestaan, waarschijnlijk vanwege de complexiteit van het domein en de dimensionaliteit van de embedding-ruimte.
• Link-evaluatie: Initiële tests op het rangschikken van grafiek-revisies toonden aan dat de afstandsmaatstaf voor bepaalde relationstypes kon onderscheiden tussen ware randen en willekeurig getrokken randen, hoewel de variantie hoog was.

Betekenis en Claims
Het artikel claimt dat het incorporeren van hoog-niveau kwalitatieve kennis (class-hiërarchieën) via semantische verliezen de prestaties van kwantitatieve voorspelling in biologische domeinen verbetert. De auteurs betogen dat deze aanpak een regulariserend effect biedt en semantische grondslag voor de representaties van het model.

Cruciaal toont het werk aan dat modellen die met semantische grondslag zijn getraind, kunnen worden gebruikt om interpreteerbare hypothesen te genereren die leiden tot wetenschappelijke ontdekkingen in de echte wereld. De succesvolle experimentele validatie van de inositol-NaCl-interactie dient als bewijs van concept voor het gebruik van computationele modellen om biologische experimenten te sturen. De auteurs blijven bescheiden wat betreft de link-evaluatiemethode, waarbij zij noteren dat deze momenteel rudimentair is en verder onderzoek vereist om effectief te kunnen onderscheiden tussen ware en willekeurige randen in complexe grafieken. Zij erkennen ook dat de huidige opstelling geen sequentie-informatie gebruikt, wat de gen-representaties verder zou kunnen versterken, en dat de vereenvoudiging van individuen als boxen (in plaats van punten) een afweging is voor het afdwingen van hiërarchische beperkingen.