Leveraging Graph Structure in Seq2Seq Models for Knowledge Graph Link Prediction

기술 요약: 지식 그래프 링크 예측을 위한 그래프 증강 시퀀스 투 시퀀스 (GA-S2S)

문제 제기
지식 그래프 (KG) 는 데이터 수집의 한계, 개인정보 보호 문제, 통합 오류로 인해 본질적으로 불완전합니다. 링크 예측은 이러한 그래프 내의 누락된 사실 (트리플) 을 추론하는 것을 목표로 합니다. 기존 임베딩 기반 방법과 그래프 신경망 (GNN) 방법은 구조적 패턴을 포착하는 데 뛰어나지만, 비정형 텍스트 정보를 처리하는 데는 어려움을 겪으며 대규모 KG 에서 후보를 순위 매길 때 종종 높은 계산 비용 ($O(|E|)$) 을 초래합니다. 반면, 최근의 생성형 시퀀스 투 시퀀스 (Seq2Seq) 접근법 (예: KGT5, KG-S2S) 은 링크 예측을 텍스트 생성 작업으로 간주하여 엔티티 수에 독립적인 확장 가능한 추론을 제공합니다. 그러나 이러한 모델들은 일반적으로 구두화된 텍스트 언급에만 의존하거나 이웃 정보를 선형 시퀀스로 평탄화하여 KG 의 고유한 위상 구조와 멀티홉 관계 패턴을 배제합니다.

방법론: GA-S2S 프레임워크
저자들은 T5-small 인코더-디코더와 관계 인식 그래프 어텐션 네트워크 (RGAT) 를 통합한 하이브리드 프레임워크인 GA-S2S(Graph-Augmented Sequence-to-Sequence) 를 제안합니다. 입력을 평탄한 텍스트 시퀀스로 취급하는 기존 Seq2Seq 모델과 달리, GA-S2S 는 쿼리 엔티티를 둘러싼 전체 $k$-홉 서브그래프 위상 구조와 텍스트 특징을 공동으로 인코딩합니다.

아키텍처는 세 가지 순차적 구성 요소로 이루어집니다:

1. 입력 표현: 쿼리 $(e, r, ?)$에 대해 모델은 $k$-홉 서브그래프 $G_{e,k}$를 샘플링합니다. 이 서브그래프 내의 트리플들은 쿼리 시퀀스와 함께 텍스트 시퀀스 (예: [CLS] head | relation | tail) 로 구두화됩니다. 서브그래프의 연결성은 노드 인덱스 쌍과 관계 인덱스로 표현된 인접 행렬을 통해 인코딩됩니다.
2. 인코딩 및 그래프 강화:
   • 텍스트 인코딩: 모든 텍스트 시퀀스 (쿼리 및 서브그래프 트리플) 는 T5 인코더에 입력되어 은닉 상태 벡터를 생성합니다.
   • 엔티티 집계: 하나의 엔티티가 여러 트리플에 나타날 수 있으므로, 해당 엔티티의 표현은 참여하는 모든 트리플의 [CLS] 토큰 벡터를 평균화하여 집계됩니다.
   • RGAT 처리: 이러한 집계된 엔티티 특징과 인접 행렬은 RGAT 모듈을 통과합니다. 이 관계 인식 GNN 은 서브그래프 전반에 걸쳐 정보를 전파하고 집계하여 엔티티 임베딩을 업데이트함으로써 멀티홉 관계 패턴을 포착합니다.
3. 디코딩: 디코더는 다음을 연결한 것을 수신합니다:
   • 경량 자기 어텐션 계층을 통해 중요한 토큰을 선택하여 원시 인코더 출력에서 정제된 벡터.
   • RGAT 모듈로부터의 그래프 강화 임베딩.
     이 결합된 표현은 T5 디코더가 대상 엔티티의 구두화된 텍스트 언급을 생성할 수 있게 합니다.

전체 파이프라인은 자연어 사전 지식에서 구조화된 KG 도메인으로의 부정적 전이를 방지하기 위해 사전 학습 가중치 없이 처음부터 엔드 투 엔드로 학습되어 교차 엔트로피 손실을 최소화합니다.

주요 기여

• 하이브리드 아키텍처: 생성형 Seq2Seq 백본과 관계 인식 GNN 을 매끄럽게 융합하는 프레임워크를 도입하여 모델이 텍스트 설명과 로컬 그래프 구조를 동시에 활용할 수 있게 합니다.
• 위상 인코딩: 이웃을 선형 시퀀스로 '평탄화'하는 것을 넘어, GA-S2S 는 RGAT 를 사용하여 $k$-홉 서브그래프 위상 구조를 명시적으로 인코딩함으로써 모델이 더 풍부한 멀티홉 관계 패턴을 포착할 수 있게 합니다.
• 학습 전략: 템플릿 기반 구두화 및 그래프 임베딩에 최적화된 자연어 구문과는 달리 사전 학습된 가중치를 사용하지 않고 T5 모델을 처음부터 초기화하는 결정을 내렸습니다.

실험 결과
이 모델은 학습/테스트 누출을 완화하도록 설계된 CoDEx데이터셋 (S, M, L 변형) 에서 평가되었습니다.

• 성능: GA-S2S 는 경쟁력 있는 Seq2Seq 기반 베이스라인 (KGT5, KG-S2S, KGT5-context) 보다 우수한 성능을 보였습니다.
  • CoDEx-S에서 2 홉 이웃을 사용한 GA-S2S 는 MRR 0.331을 달성하여 KGT5-context(0.277) 보다 19.5% 높았습니다.
  • CoDEx-M에서 2 홉 기준 MRR 0.289를 달성하여 KGT5-context 대비 6.6% 향상되었습니다.
  • CoDEx-L에서 GA-S2S(1 홉) 는 MRR 0.297을 달성하여 KGT5-context(0.292) 보다 1.7% 우위를 보였습니다.
• 관찰: 2 홉 이웃을 통합함으로써 얻은 성능 향상은 작고 밀집된 그래프 (CoDEx-S) 에서 가장 두드러졌으며, 그래프 크기가 커지고 희소성이 증가함에 따라 감소했습니다. 저자들은 GA-S2S 가 다른 생성형 베이스라인보다 우수하지만, 여전히 작은 데이터셋에서는 선도적인 임베딩 기반 방법 (예: ComplEx, TuckER) 보다 뒤처지지만 큰 데이터셋에서는 그 격차가 좁아진다고 지적합니다.

의의 및 한계
이 논문은 GA-S2S 가 생성형 링크 예측 모델 내에서 그래프 구조를 명시적으로 인코딩함으로써 경쟁력 있는 Seq2Seq 베이스라인 대비 최대 19% 의 상대적 정확도 향상을 달성하여 명확한 이점을 입증했다고 주장합니다. 이는 멀티홉 관계 추론을 성공적으로 활용하는 기본 하이브리드 아키텍처를 확립합니다.

그러나 저자들은 현재 작업의 상태에 대해 겸손한 입장을 유지합니다:

• 확장성: 이웃 구조 처리로 인해 표준 Seq2Seq 모델보다 높은 계산 비용이 발생하여 매우 큰 KG 에 대한 확장성 문제를 제기합니다.
• 입력 복잡성: 저자들은 KGT5-context 의 성능이 일부 데이터셋에서 KGT5 보다 낮았던 이유는 선형화된 이웃을 단순히 추가하는 것이 디코더 입력을 번거롭게 만들기 때문이라고 가설을 세웁니다. 구조화된 입력을 수용하는 향후 디코더 재설계가 추가 향상을 가져올 수 있다고 제안합니다.
• 향후 방향: 오버헤드를 관리하기 위한 균형 잡힌 이웃 샘플링 전략, 확장성을 위한 계층적 트랜스포머의 사용, 인코딩 및 디코딩 전반에 걸쳐 텍스트 및 구조 정보를 통합하기 위한 최적의 기술에 관한 열린 질문을 식별합니다. 그래프 트랜스포머가 더 깊은 통합을 위한 유망한 방향을 제시할 수 있다고 제안합니다.