Technische Samenvatting: MultiCNKG – Integratie van Cognitieve Neurowetenschappelijke, Gen-, en Ziektekunde-kennisgrafen met behulp van Large Language Models

Probleemstelling

De integratie van biomedische en cognitieve gegevens staat voor aanzienlijke uitdagingen vanwege de fragmentatie van kennis over verschillende domeinen: genetische mechanismen (Gene Ontology), neurologische stoornissen (Disease Ontology) en cognitieve processen (Cognitive Neuroscience Knowledge Graph). Traditionele machine learning-methoden, met name die afhankelijk zijn van oppervlakkige embeddings zoals Bag-of-Words of Word2Vec, hebben moeite om de polysemische aard van biomedische termen en de diepe semantische links te vatten die nodig zijn om moleculaire data te verbinden met gedragsuitkomsten. Bovendien missen bestaande Knowledge Graphs (KGs) vaak de cohesieve structuur die nodig is om paden van genen naar ziekten naar cognitieve functies te traceren. Het artikel stelt dat Large Language Models (LLMs), met hun uitgebreide vooraf getrainde kennis en contextbewuste capaciteiten, een oplossing bieden om de semantische beperkingen van traditionele Graph Neural Networks (GNNs) te overwinnen en de integratie van deze uiteenlopende databronnen te faciliteren.

Methodologie

De auteurs stellen MultiCNKG voor, een framework dat is ontworpen om drie afzonderlijke kennisbronnen samen te voegen tot een unieke, meerlagige KG. De methodologie verloopt via vier primaire fasen:

1. Dataverzameling en Preprocessing:

   • Bronnen: Het framework integreert de Cognitive Neuroscience Knowledge Graph (CNKG), Gene Ontology (GO) en Disease Ontology (DO).
   • Preprocessing: Ruwe tekstbeschrijvingen van entiteiten worden getokeniseerd en genormaliseerd. LLMs (specifiek GPT-4 en BioGPT) worden gebruikt om entiteiten met meerdere vormen (bijv. "Alzheimer's disease" versus "AD") naar canonieke vormen te mappen met behulp van embedding-gelijkenis. Ruisverwijdering wordt uitgevoerd via drempelwaarde-gebaseerde filtering op basis van gelijkenisscores.

2. Representatie van de Knowledge Graph:

   • De geïntegreerde graaf wordt gemodelleerd als een gerichte multigraf $G = (V, E, R)$, waarbij knopen genen, ziekten en cognitieve concepten vertegenwoordigen, en randen relaties vertegenwoordigen zoals "veroorzaakt", "geassocieerd met" en "reguleert".
   • De structuur wordt gecodeerd met behulp van adjacency matrices en kennis-triples $(h, r, t)$.

3. Graafuitlijning en Integratie:

   • Knoopuitlijning (Node Alignment): Knopen uit de drie bron-grafen worden samengevoegd als hun embedding-gelijkenis een vooraf ingestelde drempelwaarde $\tau$ overschrijdt.
   • Randeduitlijning (Edge Alignment): Equivalentie van relaties (bijv. "veroorzaakt" versus "induceert") wordt verenigd via LLM-gebaseerde semantische vergelijking.
   • Adjacency Update: De uiteindelijke adjacency matrix combineert de bronmatrices plus een delta-matrix ($\Delta A$) die nieuw ontdekte relaties vertegenwoordigt.

4. Graafexpansie met behulp van LLMs:

   • Relatievoorspelling: LLMs schatten de waarschijnlijkheid van nieuwe relaties tussen knopen in ($P(r_{new}|h, t)$). Als de waarschijnlijkheid een drempelwaarde overschrijdt, wordt de relatie toegevoegd.
   • Iteratieve Expansie: De graaf evolueert iteratief, waarbij nieuw ontdekte entiteiten en randen ($\Delta G$) aan de bestaande structuur worden toegevoegd.
   • Validatie: Nieuwe relaties krijgen betrouwbaarheidsscores en worden gevalideerd via externe databases of handmatige beoordeling door domeinexperts. Relaties waarvan de betrouwbaarheid onder een drempelwaarde zakt, worden verwijderd.

Belangrijkste Bijdragen

• MultiCNKG Framework: De ontwikkeling van een nieuw framework dat erin slaagt om CNKG, GO en DO samen te voegen tot één samenhangende graaf bestaande uit 6,9K knopen en 11,3K randen.
• LLM-gestuurde Integratie: De toepassing van LLMs (GPT-4) niet alleen voor tekstverwerking, maar voor kritieke graafoperaties inclusief entiteitsuitlijning, berekening van semantische gelijkenis en de ontdekking van nieuwe, voorheen onontdekte verbindingen tussen genetische, ziektekundige en cognitieve domeinen.
• Meerlagige Architectuur: De creatie van een graaf die expliciet drie lagen verbindt: de Genetische Laag (GO), de Ziektekundige Laag (DO) en de Cognitieve Neurowetenschappelijke Laag (CNKG), wat een holistisch beeld mogelijk maakt van moleculaire mechanismen tot gedragskonstructen.
• Uitgebreide Evaluatie: Een rigoureuze evaluatie van de geïntegreerde graaf met behulp van traditionele metrieken (Precisie, Recall, F1-score) en gespecialiseerde KG-metrieken (Graafconsistentie, Nieuwigheidsdetectie, Expertvalidatie), naast link-predictie benchmarks.

Resultaten

De prestaties van MultiCNKG werden geëvalueerd ten opzichte van de broncomponenten en standaard benchmarks:

• Integratiemetrieken:

  • Precisie: 85,20%
  • Recall: 87,30%
  • Dekking (Coverage): 92,18% (wat wijst op een succesvolle overdracht van data uit de bron-grafen)
  • Graafconsistentie: 82,50%
  • Expertvalidatie: 89,50% (bevestiging van de biologische en cognitieve plausibiliteit van nieuwe randen)
  • Nieuwigheidsdetectie: 40,28% (het aandeel van de door de LLM ontdekte randen die niet in de oorspronkelijke grafen aanwezig waren).
  • Vergelijking: MultiCNKG vertoonde een verbeterde recall en dekking vergeleken met de individuele bron-grafen (GO, DO, CNKG), hoewel de precisie iets lager was dan die van GO alleen, waarschijnlijk door de inclusie van nieuwe, minder zekere verbindingen.

• Link-voorspelling (Link Prediction):

  • De graaf werd getest met modellen zoals TransE en RotatE.
  • TransE: Mean Rank (MR) van 391, Mean Reciprocal Rank (MRR) van 0,411.
  • RotatE: MR van 263, MRR van 0,395.
  • Deze resultaten tonen een concurrerende prestatie tegenover standaard benchmarks zoals FB15k-237 en WN18RR, wat de structurele integriteit en voorspellende capaciteit van de graaf valideert.

Betekenis en Claims

Het artikel claimt dat MultiCNKG een significante vooruitgang vormt in de integratie van biomedische kennis door gebruik te maken van de semantische diepte van LLMs om de kloof tussen moleculaire genetica, neurologische stoornissen en cognitieve functies te overbruggen.

• Wetenschappelijke Bruikbaarheid: Het framework faciliteert een meerlagig overzicht waarmee onderzoekers paden kunnen traceren van genen naar ziekten naar cognitieve processen, wat ondersteuning biedt bij toepassingen in gepersonaliseerde geneeskunde, diagnostiek van cognitieve stoornissen en hypothesevorming.
• Methodologische Verschuiving: De studie demonstreert dat LLMs effectief kunnen compenseren voor de contextuele en semantische tekortkomingen van traditionele GNN-pipelines, met name bij taken die vereisen dat impliciete graafstructuurredenering en multi-hop inferentie plaatsvindt.
• Toekomstig Potentieel: Hoewel de uitdagingen met betrekking tot schaalbaarheid en de afhankelijkheid van propriëtaire modellen (GPT-4) worden erkend, stellen de auteurs dat MultiCNKG een fundament legt voor interdisciplinair onderzoek. Zij suggereren dat toekomstig werk de integratie van aanvullende ontologieën (bijv. DrugBank) kan omvatten en het gebruik van open-source LLMs om transparantie te vergroten en ondersteuning te bieden bij drug repurposing en de vroege detectie van cognitieve stoornissen.