Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

Resumo Técnico: Embeddings Conscientes de Hierarquia de Grafos de Conhecimento via GNNs

Declaração do Problema
Grafos de Conhecimento (GKs) são amplamente utilizados para representar conhecimento estruturado de domínio, particularmente nas ciências da vida, onde são enriquecidos com informações ontológicas. Embora os métodos padrão de embedding de GK (KGE) aprendam efetivamente a partir de triples relacionais observadas, eles frequentemente falham em impor explicitamente restrições semânticas globais derivadas de ontologias subjacentes, como hierarquias de classes (subClassOf) e disjunção. Redes Neurais em Grafos (GNNs) padrão, embora poderosas para agregar informações de vizinhança local, não respeitam inerentemente essas estruturas hierárquicas, potencialmente aprendendo representações que violam a lógica de domínio conhecida. O artigo aborda o desafio de integrar representações volumétricas (especificamente box embeddings) com GNNs para criar embeddings "conscientes de hierarquia" que se alinhem com restrições ontológicas, mantendo-se eficazes para tarefas quantitativas de previsão downstream.

Metodologia
Os autores propõem um framework combinando Redes Neurais em Grafos com embeddings baseados em caixas, denominado GNNs Conscientes de Hierarquia.

1. Construção do Grafo: O método trata o GK como um conjunto de axiomas no estilo TBox. Aserções de classe ($C(a)$) são reescritas como axiomas de subsumção ($\{a\} \sqsubseteq C$), e asserções de papel ($r(a, b)$) como restrições existenciais ($\{a\} \sqsubseteq \exists r.\{b\}$). Isso unifica fatos em nível de instância e conhecimento terminológico em um único grafo computacional, onde os nós representam classes e nominais, e as arestas representam relações lógicas.
2. Arquitetura:
   • Backbone GNN: O modelo utiliza uma GNN heterogênea baseada na arquitetura GraphSAGE. Emprega passagem de mensagens específica por relação (módulos SAGEConv) para agregar informações de vizinhanças locais através de diferentes tipos de arestas.
   • Box Embeddings: A saída de cada camada GNN é tratada como uma variável latente $\theta$ que é transformada em um hiperretângulo alinhado aos eixos (caixa) usando uma parametrização que garante coordenadas de caixa válidas (limite inferior $\le$ limite superior).
   • Perda Semântica: Para impor restrições ontológicas, o modelo incorpora termos de perda semântica durante o treinamento. Dois tipos de perdas são avaliados para subsumção ($C \sqsubseteq D$):
     • Perda de Distância ($L_{distance}$): Penaliza a distância geométrica entre uma caixa de subclasse e o limite de sua caixa de superclasse.
     • Perda de Sobreposição ($L_{overlap}$): Penaliza com base no volume de interseção relativo ao volume da subclasse.
     • Restrições de disjunção ($C \sqcap D \sqsubseteq \bot$) são impostas via perdas negativas correspondentes ($L^{-}_{distance}$ ou $L^{-}_{overlap}$).
   • Treinamento Conjunto: A função de perda total combina uma perda específica da tarefa (por exemplo, Erro Quadrático Médio para regressão) com as perdas semânticas ponderadas e termos de regularização. Isso permite que o modelo aprenda características específicas da tarefa enquanto adere à hierarquia de classes.

Principais Contribuições

• Framework GNN Consciente de Hierarquia: Uma arquitetura inovadora que integra box embeddings em GNNs, permitindo o aprendizado simultâneo da estrutura do grafo e das hierarquias ontológicas.
• Integração de Perda Semântica: A aplicação de termos de perda semântica (derivados de axiomas ontológicos) diretamente no treinamento de GNNs para tarefas de previsão quantitativa, em vez de apenas para embedding estático de ontologia.
• Previsão de Fenótipos de Levedura: Construção de um GK abrangente e enriquecido com ontologia para Saccharomyces cerevisiae, integrando dados do SGD, GO, ChEBI, APO e BioCyc.
• Geração de Hipóteses: Um método para identificar traços interagentes analisando a importância de pares de arestas no modelo treinado, levando a hipóteses biológicas validadas experimentalmente.
• Avaliação de Links: Um método proposto para classificar revisões potenciais de GK com base nas mudanças de distância nos embeddings resultantes e no impacto na perda semântica.

Resultados
O método foi avaliado na tarefa de prever a aptidão de crescimento celular para duplos knockouts de genes em levedura.

• Desempenho Preditivo: O GNN consciente de hierarquia alcançou uma pontuação média $R^2$ de 0,360 usando embeddings de caixa prévios. Incorporar a perda semântica (especificamente a perda baseada em distância) melhorou ainda mais o desempenho para 0,377, superando significativamente as linhas de base, incluindo GNNs padrão sem box embeddings, LightGBMs em características de fenótipos esparsas e embeddings ComplEx.
• Generalização: O modelo demonstrou capacidades de generalização quando testado em knockouts triplos de genes (dados não vistos no treinamento), alcançando um $R^2$ de 0,415 com perda semântica, sugerindo que as representações aprendidas capturam traços biológicos robustos.
• Validação de Hipóteses: O modelo identificou uma interação potencial entre a utilização de inositol e a resistência ao estresse osmótico. Um experimento biológico automatizado confirmou essa descoberta, mostrando que a suplementação de inositol resgatou significativamente as células do estresse induzido por NaCl, validando a capacidade do modelo de guiar a descoberta.
• Análise de Embedding: Visualizações de embeddings 2D para o domínio de função molecular mostraram que o GNN transforma embeddings prévios para respeitar melhor a disjunção e a subsumção, embora algumas violações hierárquicas persistissem, provavelmente devido à complexidade do domínio e à dimensionalidade do espaço de embedding.
• Avaliação de Links: Testes iniciais na classificação de revisões de grafos mostraram que a métrica de distância poderia distinguir entre arestas verdadeiras e arestas aleatoriamente desenhadas para certos tipos de relação, embora a variância fosse alta.

Significado e Alegações
O artigo alega que incorporar conhecimento qualitativo de alto nível (hierarquias de classes) via perdas semânticas melhora o desempenho de previsão quantitativa em domínios biológicos. Os autores argumentam que essa abordagem fornece um efeito regularizador e fundamentação semântica para as representações do modelo.

Crucialmente, o trabalho demonstra que modelos treinados com fundamentação semântica podem ser usados para gerar hipóteses interpretáveis que levam a descobertas científicas do mundo real. A validação experimental bem-sucedida da interação inositol-NaCl serve como prova de conceito para o uso de modelos computacionais para guiar experimentação biológica. Os autores permanecem modestos em relação ao método de avaliação de links, notando que é atualmente rudimentar e requer investigação adicional para discriminar efetivamente entre arestas verdadeiras e aleatórias em grafos complexos. Eles também reconhecem que a configuração atual não utiliza informações de sequência, o que poderia aprimorar ainda mais as representações gênicas, e que a simplificação de indivíduos como caixas (em vez de pontos) é uma compensação para impor restrições hierárquicas.