Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

Resumen Técnico: Incrustaciones Conscientes de la Jerarquía de Grafos de Conocimiento mediante GNN

Enunciado del Problema
Los Grafos de Conocimiento (KG) se utilizan ampliamente para representar conocimiento estructurado de dominio, particularmente en las ciencias de la vida, donde se enriquecen con información ontológica. Si bien los métodos estándar de incrustación de KG (KGE) aprenden eficazmente de las triples relacionales observadas, a menudo fallan en imponer explícitamente restricciones semánticas globales derivadas de las ontologías subyacentes, como las jerarquías de clases (subClassOf) y la disyunción. Las Redes Neuronales de Grafos (GNN) estándar, aunque potentes para agregar información de vecindarios locales, no respetan inherentemente estas estructuras jerárquicas, lo que potencialmente lleva a aprender representaciones que violan la lógica del dominio conocida. El artículo aborda el desafío de integrar representaciones volumétricas (específicamente incrustaciones tipo caja) con GNN para crear incrustaciones "conscientes de la jerarquía" que se alineen con las restricciones ontológicas mientras permanecen efectivas para tareas cuantitativas de predicción posteriores.

Metodología
Los autores proponen un marco que combina Redes Neuronales de Grafos con incrustaciones basadas en cajas, denominado GNNs Conscientes de la Jerarquía.

1. Construcción del Grafo: El método trata el KG como un conjunto de axiomas de estilo TBox. Las aserciones de clase ($C(a)$) se reescriben como axiomas de subsumción ($\{a\} \sqsubseteq C$), y las aserciones de rol ($r(a, b)$) como restricciones existenciales ($\{a\} \sqsubseteq \exists r.\{b\}$). Esto unifica los hechos a nivel de instancia y el conocimiento terminológico en un único grafo computacional donde los nodos representan clases y nominales, y las aristas representan relaciones lógicas.
2. Arquitectura:
   • Base de GNN: El modelo utiliza una GNN heterogénea basada en la arquitectura GraphSAGE. Emplea paso de mensajes específico de la relación (módulos SAGEConv) para agregar información de vecindarios locales a través de diferentes tipos de aristas.
   • Incrustaciones de Caja: La salida de cada capa de GNN se trata como una variable latente $\theta$ que se transforma en un hiperrectángulo alineado con los ejes (caja) utilizando una parametrización que garantiza coordenadas de caja válidas (límite inferior $\le$ límite superior).
   • Pérdida Semántica: Para imponer restricciones ontológicas, el modelo incorpora términos de pérdida semántica durante el entrenamiento. Se evalúan dos tipos de pérdidas para la subsumción ($C \sqsubseteq D$):
     • Pérdida de Distancia ($L_{distance}$): Penaliza la distancia geométrica entre la caja de una subclase y el límite de su caja superclase.
     • Pérdida de Superposición ($L_{overlap}$): Penaliza basándose en el volumen de intersección relativo al volumen de la subclase.
     • Las restricciones de disyunción ($C \sqcap D \sqsubseteq \bot$) se imponen mediante pérdidas negativas correspondientes ($L^{-}_{distance}$ o $L^{-}_{overlap}$).
   • Entrenamiento Conjunto: La función de pérdida total combina una pérdida específica de la tarea (por ejemplo, Error Cuadrático Medio para regresión) con las pérdidas semánticas ponderadas y los términos de regularización. Esto permite que el modelo aprenda características específicas de la tarea mientras se adhiere a la jerarquía de clases.

Contribuciones Clave

• Marco de GNN Consciente de la Jerarquía: Una arquitectura novedosa que integra incrustaciones de caja en GNNs, permitiendo el aprendizaje simultáneo de la estructura del grafo y las jerarquías ontológicas.
• Integración de Pérdida Semántica: La aplicación de términos de pérdida semántica (derivados de axiomas ontológicos) directamente en el entrenamiento de GNNs para tareas de predicción cuantitativa, en lugar de solo para incrustación estática de ontologías.
• Predicción de Fenotipos de Levadura: Construcción de un KG completo y enriquecido con ontologías para Saccharomyces cerevisiae que integra datos de SGD, GO, ChEBI, APO y BioCyc.
• Generación de Hipótesis: Un método para identificar rasgos interactuantes analizando la importancia de los pares de aristas en el modelo entrenado, lo que lleva a hipótesis biológicas validadas experimentalmente.
• Evaluación de Enlaces: Un método propuesto para clasificar revisiones potenciales del KG basándose en los cambios de distancia en las incrustaciones resultantes y el impacto en la pérdida semántica.

Resultados
El método se evaluó en la tarea de predecir la aptitud de crecimiento celular para dobles eliminaciones de genes en levadura.

• Rendimiento Predictivo: El GNN consciente de la jerarquía logró una puntuación media $R^2$ de 0.360 utilizando incrustaciones de caja previas. Incorporar la pérdida semántica (específicamente la pérdida basada en distancia) mejoró aún más el rendimiento a 0.377, superando significativamente a las líneas base, incluidas GNNs estándar sin incrustaciones de caja, LightGBMs en características de fenotipo dispersas e incrustaciones ComplEx.
• Generalización: El modelo demostró capacidades de generalización cuando se probó en eliminaciones triples de genes (datos no vistos en el entrenamiento), logrando una $R^2$ de 0.415 con pérdida semántica, lo que sugiere que las representaciones aprendidas capturan rasgos biológicos robustos.
• Validación de Hipótesis: El modelo identificó una interacción potencial entre la utilización de inositol y la resistencia al estrés osmótico. Un experimento biológico automatizado confirmó este hallazgo, mostrando que la suplementación con inositol rescató significativamente a las células del estrés inducido por NaCl, validando la capacidad del modelo para guiar el descubrimiento.
• Análisis de Incrustaciones: Las visualizaciones de incrustaciones 2D para el dominio de función molecular mostraron que la GNN transforma las incrustaciones previas para respetar mejor la disyunción y la subsumción, aunque persistieron algunas violaciones jerárquicas, probablemente debido a la complejidad del dominio y a la dimensionalidad del espacio de incrustación.
• Evaluación de Enlaces: Las pruebas iniciales sobre la clasificación de revisiones de grafos mostraron que la métrica de distancia podía distinguir entre aristas verdaderas y aristas dibujadas aleatoriamente para ciertos tipos de relación, aunque la varianza fue alta.

Significado y Afirmaciones
El artículo afirma que incorporar conocimiento cualitativo de alto nivel (jerarquías de clases) mediante pérdidas semánticas mejora el rendimiento de la predicción cuantitativa en dominios biológicos. Los autores argumentan que este enfoque proporciona un efecto regularizador y una base semántica para las representaciones del modelo.

Crucialmente, el trabajo demuestra que los modelos entrenados con fundamentación semántica pueden utilizarse para generar hipótesis interpretables que conducen a descubrimientos científicos del mundo real. La validación experimental exitosa de la interacción inositol-NaCl sirve como prueba de concepto para el uso de modelos computacionales para guiar la experimentación biológica. Los autores permanecen modestos con respecto al método de evaluación de enlaces, señalando que actualmente es rudimentario y requiere más investigación para discriminar eficazmente entre aristas verdaderas y aleatorias en grafos complejos. También reconocen que la configuración actual no utiliza información de secuencia, lo que podría mejorar aún más las representaciones de genes, y que la simplificación de los individuos como cajas (en lugar de puntos) es una compensación para imponer restricciones jerárquicas.