Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

Riepilogo Tecnico: Embedding Consapevoli della Gerarchia di Grafi della Conoscenza tramite GNN

Enunciato del Problema
I Grafi della Conoscenza (KG) sono ampiamente utilizzati per rappresentare conoscenze strutturate di dominio, in particolare nelle scienze della vita, dove sono arricchiti con informazioni ontologiche. Sebbene i metodi standard di embedding di KG (KGE) apprendano efficacemente dalle triple relazionali osservate, spesso non riescono a imporre esplicitamente vincoli semantici globali derivanti dalle ontologie sottostanti, come le gerarchie di classe (subClassOf) e la disgiunzione. Le Reti Neurali su Grafi (GNN) standard, sebbene potenti nell'aggregare informazioni del vicinato locale, non rispettano intrinsecamente queste strutture gerarchiche, rischiando di apprendere rappresentazioni che violano la logica di dominio nota. Il lavoro affronta la sfida di integrare rappresentazioni volumetriche (in particolare box embeddings) con GNN per creare embedding "consapevoli della gerarchia" che siano allineati ai vincoli ontologici pur rimanendo efficaci per compiti quantitativi di previsione a valle.

Metodologia
Gli autori propongono un framework che combina Reti Neurali su Grafi con embedding basati su box, denominato GNN Consapevoli della Gerarchia.

1. Costruzione del Grafo: Il metodo tratta il KG come un insieme di assiomi in stile TBox. Le asserzioni di classe ($C(a)$) vengono riscritte come assiomi di sussunzione ($\{a\} \sqsubseteq C$), e le asserzioni di ruolo ($r(a, b)$) come restrizioni esistenziali ($\{a\} \sqsubseteq \exists r.\{b\}$). Questo unifica fatti a livello di istanza e conoscenza terminologica in un unico grafo computazionale in cui i nodi rappresentano classi e nominali, e gli archi rappresentano relazioni logiche.
2. Architettura:
   • Backbone GNN: Il modello utilizza una GNN eterogenea basata sull'architettura GraphSAGE. Impiega un passaggio di messaggi specifico per le relazioni (moduli SAGEConv) per aggregare informazioni dai vicinati locali attraverso diversi tipi di archi.
   • Box Embeddings: L'output di ogni layer GNN è trattato come una variabile latente $\theta$ che viene trasformata in un iperrettangolo allineato agli assi (box) utilizzando una parametrizzazione che garantisce coordinate di box valide (limite inferiore $\le$ limite superiore).
   • Perdita Semantica: Per imporre i vincoli ontologici, il modello incorpora termini di perdita semantica durante l'addestramento. Vengono valutate due tipologie di perdite per la sussunzione ($C \sqsubseteq D$):
     • Perdita di Distanza ($L_{distance}$): Penalizza la distanza geometrica tra un box di sottoclasse e il confine del suo box di superclasse.
     • Perdita di Sovrapposizione ($L_{overlap}$): Penalizza in base al volume di intersezione rispetto al volume della sottoclasse.
     • I vincoli di disgiunzione ($C \sqcap D \sqsubseteq \bot$) sono imposti tramite corrispondenti perdite negative ($L^{-}_{distance}$ o $L^{-}_{overlap}$).
   • Addestramento Congiunto: La funzione di perdita totale combina una perdita specifica per il compito (ad esempio, Errore Quadratico Medio per la regressione) con le perdite semantiche ponderate e i termini di regolarizzazione. Ciò permette al modello di apprendere caratteristiche specifiche del compito pur aderendo alla gerarchia di classe.

Contributi Chiave

• Framework GNN Consapevole della Gerarchia: Un'architettura innovativa che integra box embeddings nei GNN, permettendo l'apprendimento simultaneo della struttura del grafo e delle gerarchie ontologiche.
• Integrazione della Perdita Semantica: L'applicazione di termini di perdita semantica (derivati da assiomi ontologici) direttamente nell'addestramento di GNN per compiti di previsione quantitativa, piuttosto che solo per embedding ontologici statici.
• Previsione del Fenotipo del Lievito: Costruzione di un KG completo e arricchito ontologicamente per Saccharomyces cerevisiae che integra dati da SGD, GO, ChEBI, APO e BioCyc.
• Generazione di Ipotesi: Un metodo per identificare tratti interagenti analizzando l'importanza delle coppie di archi nel modello addestrato, portando a ipotesi biologiche validate sperimentalmente.
• Valutazione degli Archi: Un metodo proposto per classificare le revisioni potenziali del KG basandosi sui cambiamenti di distanza negli embedding risultanti e sull'impatto sulla perdita semantica.

Risultati
Il metodo è stato valutato sul compito di prevedere l'idoneità di crescita cellulare per doppi knock-out genici nel lievito.

• Prestazioni Predittive: Il GNN consapevole della gerarchia ha raggiunto un punteggio medio $R^2$ di 0,360 utilizzando box embeddings precedenti. L'incorporazione della perdita semantica (in particolare la perdita basata sulla distanza) ha ulteriormente migliorato le prestazioni a 0,377, superando significativamente le linee di base, inclusi GNN standard senza box embeddings, LightGBM su caratteri fenotipici sparsi e embedding ComplEx.
• Generalizzazione: Il modello ha dimostrato capacità di generalizzazione quando testato su tripli knock-out genici (dati non visti durante l'addestramento), raggiungendo un $R^2$ di 0,415 con la perdita semantica, suggerendo che le rappresentazioni apprese catturano tratti biologici robusti.
• Validazione dell'Ipotesi: Il modello ha identificato una potenziale interazione tra l'utilizzo dell'inositolo e la resistenza allo stress osmotico. Un esperimento biologico automatizzato ha confermato questa scoperta, mostrando che l'integrazione di inositolo ha salvato significativamente le cellule dallo stress indotto da NaCl, validando la capacità del modello di guidare la scoperta.
• Analisi degli Embedding: Le visualizzazioni degli embedding 2D per il dominio della funzione molecolare hanno mostrato che il GNN trasforma gli embedding precedenti per rispettare meglio la disgiunzione e la sussunzione, sebbene alcune violazioni gerarchiche siano persistite, probabilmente a causa della complessità del dominio e della dimensionalità dello spazio di embedding.
• Valutazione degli Archi: Test iniziali sulla classificazione delle revisioni del grafo hanno mostrato che la metrica di distanza poteva distinguere tra archi veri e archi estratti casualmente per certi tipi di relazione, sebbene la varianza fosse elevata.

Significato e Affermazioni
Il lavoro afferma che l'incorporazione di conoscenze qualitative di alto livello (gerarchie di classe) tramite perdite semantiche migliora le prestazioni di previsione quantitativa nei domini biologici. Gli autori sostengono che questo approccio fornisce un effetto regolarizzante e un ancoraggio semantico per le rappresentazioni del modello.

Crucialmente, il lavoro dimostra che i modelli addestrati con ancoraggio semantico possono essere utilizzati per generare ipotesi interpretabili che portano a scoperte scientifiche nel mondo reale. La valida sperimentale riuscita dell'interazione inositolo-NaCl funge da prova di concetto per l'uso di modelli computazionali per guidare la sperimentazione biologica. Gli autori rimangono modesti riguardo al metodo di valutazione degli archi, notando che è attualmente rudimentale e richiede ulteriori indagini per discriminare efficacemente tra archi veri e casuali in grafi complessi. Riconoscono inoltre che l'attuale configurazione non utilizza informazioni di sequenza, che potrebbero ulteriormente migliorare le rappresentazioni geniche, e che la semplificazione degli individui come box (piuttosto che punti) è un compromesso per l'imposizione di vincoli gerarchici.