기술 요약: 지식 그래프 기초 모델의 구조적 어휘를 위한 빌딩 블록으로서의 그래플릿

문제 제기

지식 그래프 (KG) 는 이산적인 엔티티와 관계를 갖지만, 텍스트 (토큰) 나 이미지 (픽셀) 에서 발견되는 고정된 기하학적 그리드가 부재합니다. 이러한 불규칙하고 비유클리드적인 위상 구조는 지식 그래프 기초 모델 (KGFMs) 이 보지 못한 KG 간에 표현을 전이하는 데 필요한 구조적 불변성을 식별하기 어렵게 만듭니다. 대규모 언어 모델 (LLM) 은 텍스트를 보편적인 토큰 어휘로 분해하여 효과적으로 일반화하는 반면, 기존 KGFMs 는 서로 다른 구조적 패턴 (예: 닫힌 경로 대 열린 경로) 을 구별하지 못하거나 빈도 정보를 잃고 높은 계산 비용을 초래하는 희소 행렬 곱셈에 의존하는 경우가 많아 어려움을 겪습니다. 결과적으로 현재 모델들은 재학습 없이 새로운 엔티티와 관계에 일반화하는 데 제한을 받습니다.

방법론

본 논문은 기존 Ultra 프레임워크를 확장하여 관계 그래프를 구성하는 데 사용되는 구조적 어휘를 재정의하는 모델-중립적 프레임워크인 **Ultra+**를 소개합니다.

핵심 개념: 구조적 토큰으로서의 그래플릿

Ultra+ 는 길이 2 의 경로에만 의존하는 대신 그래플릿(작은 연결된 부분 그래프) 을 구조적 토큰으로 취급합니다. 이 프레임워크는 희소 행렬 곱셈 (SPMM) 대신 SPARQL ASK 쿼리를 사용하여 KG 에서 특정 패턴을 채굴합니다. 이 접근 방식은 다음을 명시적으로 구별할 수 있게 합니다:

• 닫힌 경로 대 열린 경로: 사이클과 선형 체인을 구별합니다.
• 위치적 이진 관계: 그래플릿을 전통적인 $n$-ary 관계가 아닌 위치적 이진 관계 (예: 경로 내 첫 번째와 마지막 관계를 연결) 로 표현합니다. 이는 쌍별 의미론을 보존하고 하이퍼그래프의 복잡성을 피합니다.

구조적 어휘

이 프레임워크는 그래플릿과 가중치 함수로 구성된 어휘 $V$를 정의합니다. 저자는 두 가지 어휘 계열을 활용합니다:

1. 경로 기반 어휘 ($V_p$): 길이 2 ($P_2$) 와 길이 3 ($P_3$) 의 열린 경로와 닫힌 경로를 포함합니다. $ffo$(전방 - 전방 - 열린) 및$fffc$(전방 - 전방 - 전방 - 닫힌) 와 같은 표기법은 방향성과 위상을 포착합니다.
2. 위상 기반 어휘 ($M_m$): 엔티트를 중심으로 한 다대다 관계를 나타내는 $m$-스타 그래플릿 (예: $M'_{4}$) 을 포함합니다.

관계 그래프 구성

노드가 원래 KG 의 관계를 나타내고, 엣지가 어휘에 의해 정의된 특정 그래플릿 패턴 내에서 이러한 관계의 공출현을 나타내는 관계 그래프가 구성됩니다.

• 추출: 이 방법은 SPARQL 쿼리를 사용하여 그래플릿 발생을 식별합니다. 쿼리가 참을 반환하면 관련된 관계 사이에 엣지가 존재합니다.
• 강건성: 위치적 이진 순서를 사용함으로써, 단일 발생이 엣지를 생성하는 문제를 암묵적으로 완화합니다. 이론적 분석 (정리 4.3) 은 Ultra+ 의 관계 그래프 내 엣지 가중치가 다른 프레임워크의 대응 모티프 가중치의 합이라는 것을 시사하며, 이는 더 높은 강건성으로 이어집니다.

표현 학습

Ultra+ 는 관계와 엔티티의 임베딩을 학습하기 위해 그래프 신경망 (GNN) 을 사용합니다:

• 관계 임베딩: 관계는 쿼리 트리플 $q(h, ?)$에 조건부로 임베딩됩니다. 모델은 구조적 어휘 (그래플릿) 에 기반하여 메시지를 집계하는 메시지 전달 메커니즘을 사용합니다.
• 엔티티 임베딩: 엔티티는 쿼리와 관계 임베딩에 조건부로 초기화된 후 메시지 전달을 통해 업데이트됩니다.
• 손실 함수: 모델은 참 트리플과 손상된 트리플을 구별하기 위해 이진 교차 엔트로피 (BCE) 손실로 훈련됩니다.

주요 기여

1. 쿼리 기반 관계 그래프 추출: 저자는 계산적으로 비용이 많이 드는 희소 행렬 곱셈에 의존하지 않고 정보력 있는 구조를 효율적으로 식별하는 유연한 SPARQL 기반 추출 방법을 제안합니다.
2. 닫힌 및 열린 그래플릿의 통합: 이 프레임워크는 Ultra 및 Motif와 같은 이전 모델의 한계를 해결하기 위해 다양한 관계 패턴을 포착하기 위해 닫힌 및 열린 그래플릿 (2 및 3-경로, 그리고 스타 그래플릿) 을 명시적으로 통합합니다.
3. 위치적 이진 표현: 그래플릿은 $n$-ary 관계가 아닌 위치적 이진 관계로 표현됩니다. 이는 하이퍼그래프가 아닌 표준 관계 그래프를 구성할 수 있게 하여, 사이클 구조를 포착하면서도 확립된 KG 처리 기술과의 호환성을 유지합니다.
4. 모델-중립적 설계: Ultra+ 는 모듈화되어 있으며 관계 그래프나 구조적 어휘를 사용하는 모든 KFGM 에 통합될 수 있습니다.

실험 결과

이 프레임워크는 제로샷 유도 및 전도적 링크 예측 작업을 위해 다양한 도메인의 51 개 KG에서 평가되었습니다.

• 성능: Ultra+ 변형은 일관되게 베이스라인 Ultra 및 Motif 모델을 능가합니다. 특히 Ultra+[V3](열린 및 닫힌 3-경로 사용) 은 유사한 어휘 크기를 사용하면서도 이진 관계 구조를 가진 Motif를 능가하여 모든 설정에서 최고의 성능을 달성했습니다.
• 어휘 영향:
  • 경로 기반 어휘를 증가시키는 것 (2-경로에서 3-경로로) 은 일반적으로 제로샷 성능을 향상시켰습니다.
  • 그러나 경로 기반 어휘를 위상 기반 어휘 (예: $V^+_3$) 와 결합하는 것은 경로 전용 변형보다 일관된 성능 향상을 가져오지 못했으며, 이는 위상 그래플릿을 추가하는 것이 항상 유익한 것은 아님을 시사합니다.
• 희소 KG 에 대한 강건성: 희소 데이터셋 (예: WDsinger, NELL23k) 에 대한 실험에서 Ultra+ 는 구조적 패턴을 더 효과적으로 구별할 수 있는 능력에 기인하여 베이스라인보다 우수한 강건성을 보여주었습니다.
• 효율성: SPARQL 기반 접근 방식은 특히 고차 그래플릿의 경우 SPMM 기반 방법보다 관계 그래프 생성의 시간 복잡도를 줄였습니다.

중요성 및 주장

본 논문은 KGFMs 의 구조적 어휘를 풍부하게 함으로써 **Ultra+**가 제로샷 링크 예측에 대한 새로운 최첨단 (SOTA) 을 확립한다고 주장합니다. 주요 기여는 새로운 모델 아키텍처가 아니라, 모델이 복잡한 관계 패턴 (사이클 및 열린 경로) 을 더 효과적으로 추론할 수 있게 하는 구조적 어휘 강화입니다.

저자는 다음과 같이 주장합니다:

• 닫힌 경로와 열린 경로를 구별하는 것은 풍부한 구조적 의미론을 포착하는 데 중요합니다.
• 그래플릿을 위치적 이진 순서로 표현하는 것은 하이퍼그래프의 계산 오버헤드 없이 사이클을 인코딩할 수 있게 합니다.
• 이 프레임워크는 3 개의 사전 학습 KG 만 사용하여 51 개의 다양한 데이터셋에서 뛰어난 성능을 보임으로써 보지 못한 KG 간 지식 전이를 위한 견고한 기반을 제공합니다.

본 논문은 어휘 크기 (특히 경로 기반) 를 확장하는 것이 성능을 향상시키지만, 구조적으로 영감을 받은 그래플릿 (위상 기반) 을 포함하는 것은 항상 성능 향상을 보장하지는 않으므로 신중한 고려가 필요하다고 결론지으며, 더 복잡하고 고차적인 어휘에 대한 관계 그래프의 효율적인 계산을 다루기 위한 향후 작업을 제안합니다.