Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

기술 요약: GNN 을 통한 지식 그래프의 계층 인식 임베딩

문제 제기
지식 그래프 (KG) 는 구조화된 도메인 지식을 표현하는 데 널리 사용되며, 특히 온톨로지 정보로 풍부하게 채워진 생명과학 분야에서 두드러집니다. 표준 KG 임베딩 (KGE) 방법은 관찰된 관계 삼중체로부터 효과적으로 학습하지만, 하위 온톨로지에서 파생된 전역적 의미 제약 (예: 클래스 계층 구조인 subClassOf 와 불연속성) 을 명시적으로 강제하는 데는 종종 실패합니다. 강력한 지역적 이웃 정보 집합에 유용한 표준 그래프 신경망 (GNN) 은 본질적으로 이러한 계층 구조를 존중하지 않아, 알려진 도메인 논리를 위반할 수 있는 표현을 학습할 위험이 있습니다. 본 논문은 온톨로지 제약과 정렬되면서도 하류 정량적 예측 작업에 효과적이도록 "계층 인식" 임베딩을 생성하기 위해 볼륨 표현 (특히 박스 임베딩) 을 GNN 과 통합하는 과제를 다룹니다.

방법론
저자들은 박스 기반 임베딩과 그래프 신경망을 결합한 계층 인식 GNN이라는 프레임워크를 제안합니다.

1. 그래프 구성: 본 방법은 KG 를 TBox 스타일의 공리 집합으로 간주합니다. 클래스 단언 ($C(a)$) 은 포괄 공리 ($\{a\} \sqsubseteq C$) 로, 역할 단언 ($r(a, b)$) 은 존재적 제한 ($\{a\} \sqsubseteq \exists r.\{b\}$) 으로 재작성됩니다. 이를 통해 인스턴스 수준의 사실과 용어적 지식을 단일 계산 그래프로 통합하며, 노드는 클래스와 명사 (nominals) 를, 간선은 논리적 관계를 나타냅니다.
2. 아키텍처:
   • GNN 백본: 모델은 GraphSAGE 아키텍처에 기반한 이종 GNN 을 활용합니다. 서로 다른 간선 유형에 걸쳐 지역적 이웃으로부터 정보를 집합하기 위해 관계별 메시지 전달 (SAGEConv 모듈) 을 사용합니다.
   • 박스 임베딩: 각 GNN 레이어의 출력은 유효한 박스 좌표 (하한 $\le$ 상한) 를 보장하는 매개변수화를 사용하여 축 정렬 초직사각형 (박스) 으로 변환되는 잠재 변수 $\theta$로 간주됩니다.
   • 의미 손실: 온톨로지 제약을 강제하기 위해 모델은 훈련 중 의미 손실 항을 포함합니다. 포괄 ($C \sqsubseteq D$) 에 대해 두 가지 유형의 손실이 평가됩니다:
     • 거리 손실 ($L_{distance}$): 하위 클래스 박스와 상위 클래스 박스 경계 사이의 기하학적 거리를 패널티로 부과합니다.
     • 중첩 손실 ($L_{overlap}$): 하위 클래스 볼륨에 대한 교차 볼륨을 기준으로 패널티를 부과합니다.
     • 불연속성 제약 ($C \sqcap D \sqsubseteq \bot$) 은 해당 부정 손실 ($L^{-}_{distance}$ 또는 $L^{-}_{overlap}$) 을 통해 강제됩니다.
   • 연합 훈련: 전체 손실 함수는 작업별 손실 (예: 회귀를 위한 평균 제곱 오차) 과 가중치 부여된 의미 손실 및 정규화 항을 결합합니다. 이를 통해 모델은 클래스 계층 구조를 준수하면서 작업별 특징을 학습할 수 있습니다.

주요 기여

• 계층 인식 GNN 프레임워크: 박스 임베딩을 GNN 에 통합하여 그래프 구조와 온톨로지 계층 구조를 동시에 학습할 수 있게 하는 새로운 아키텍처.
• 의미 손실 통합: 정적 온톨로지 임베딩이 아닌 정량적 예측 작업을 위한 GNN 훈련에 온톨로지 공리에서 파생된 의미 손실 항을 직접 적용.
• 효모 표현형 예측: SGD, GO, ChEBI, APO, BioCyc 의 데이터를 통합한 Saccharomyces cerevisiae를 위한 포괄적이고 온톨로지가 풍부한 KG 구축.
• 가설 생성: 훈련된 모델에서 간선 쌍 중요도를 분석하여 상호작용 형질을 식별하는 방법으로, 실험적으로 검증된 생물학적 가설로 이어짐.
• 링크 평가: 결과 임베딩의 거리 변화와 의미 손실에 미치는 영향을 기반으로 잠재적인 KG 수정을 순위 매기는 제안된 방법.

결과
본 방법은 효모에서 이중 유전자 녹아웃에 대한 세포 성장 적합성 예측 작업에서 평가되었습니다.

• 예측 성능: 계층 인식 GNN 은 사전 박스 임베딩을 사용하여 평균 $R^2$ 점수 0.360을 달성했습니다. 의미 손실 (특히 거리 기반 손실) 을 통합한 결과 성능이 0.377로 추가로 향상되어, 박스 임베딩이 없는 표준 GNN, 희소 표현형 특징에 대한 LightGBM, ComplEx 임베딩을 포함한 기준선들을 크게 능가했습니다.
• 일반화: 모델은 훈련 데이터에서 보지 못한 삼중 유전자 녹아웃에 대해 테스트되었을 때 일반화 능력을 입증했으며, 의미 손실을 적용한 경우 $R^2$ 0.415를 달성하여 학습된 표현이 견고한 생물학적 형질을 포착함을 시사했습니다.
• 가설 검증: 모델은 이노시톨 활용과 삼투압 스트레스 저항성 사이의 잠재적 상호작용을 식별했습니다. 자동화된 생물학적 실험은 이 발견을 확인하여, 이노시톨 보충이 NaCl 유발 스트레스로부터 세포를 현저히 구제했음을 보여주었고, 이는 모델이 발견을 안내할 수 있는 능력을 검증했습니다.
• 임베딩 분석: 분자 기능 도메인의 2D 임베딩 시각화는 GNN 이 불연속성과 포괄을 더 잘 존중하도록 사전 임베딩을 변환함을 보여주었으나, 도메인의 복잡성과 임베딩 공간의 차원성으로 인해 일부 계층 위반이 지속되었습니다.
• 링크 평가: 그래프 수정 순위 매김에 대한 초기 테스트는 거리 척도가 특정 관계 유형에 대해 실제 간선과 무작위로 추출된 간선을 구별할 수 있음을 보여주었으나, 분산이 높았습니다.

의의 및 주장
본 논문은 의미 손실을 통해 고수준의 질적 지식 (클래스 계층 구조) 을 통합하는 것이 생물학적 도메인에서 정량적 예측 성능을 향상시킨다고 주장합니다. 저자들은 이 접근법이 모델 표현에 정규화 효과와 의미적 기반을 제공한다고 논증합니다.

중요하게도, 이 연구는 의미적 기반을 갖춘 모델이 실제 세계의 과학적 발견으로 이어지는 해석 가능한 가설을 생성하는 데 사용될 수 있음을 입증합니다. 이노시톨-NaCl 상호작용에 대한 성공적인 실험적 검증은 생물학적 실험을 안내하기 위해 계산 모델을 사용하는 개념 증명 역할을 합니다. 저자들은 링크 평가 방법에 대해 현재로서는 초기 단계이며 복잡한 그래프에서 실제 간선과 무작위 간선을 효과적으로 구별하기 위해 추가 조사가 필요하다는 점을 겸손하게 언급합니다. 또한, 현재 설정은 유전자 표현을 더욱 향상시킬 수 있는 시퀀스 정보를 활용하지 않으며, 개체를 점 대신 박스로 단순화하는 것은 계층적 제약을 강제하기 위한 트레이드오프임을 인정합니다.