Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

기술 요약: 정보에 기반한 초기화를 통한 지식 그래프 임베딩의 지속적 학습 개선

문제 제기
지식 그래프 (KG) 는 새로운 삼중항 (triples) 의 추가를 통해 빈번히 진화하는 동적 구조입니다. 추천 시스템과 같은 시나리오에서 이러한 업데이트는 작고 빈번하게 발생하므로, 지식 그래프 임베딩 (KGE) 이 전체 재학습 없이도 적응할 수 있어야 합니다. 지속적 학습 (CL) 기법은 새로운 엔티티에 대한 임베딩을 학습하면서 기존 임베딩을 업데이트함으로써 이를 해결합니다. 그러나 현재 CL 방법론의 주요 병목 현상은 새로운 임베딩의 초기화에 있습니다.

정적 학습에서 계승된 표준 관행은 새로운 엔티티 임베딩을 무작위로 초기화 (예: Xavier 또는 He 초기화) 하는 것입니다. 이 접근법은 두 가지 중요한 문제를 제기합니다:

1. 학습 효율성: 무작위 초기화는 새로운 임베딩을 최적 위치에서 멀리 떨어진 곳에 배치하여, 수렴에 더 많은 학습 에포크와 시간이 필요하게 만듭니다.
2. 파국적 망각 (Catastrophic Forgetting): 새로운 삼중항에 기존에 존재하던 엔티티가 포함될 경우, poorly 초기화된 새로운 임베딩으로 인해 발생하는 큰 학습 손실은 최적화 과정에서 전체 삼중항에 대한 상당한 조정을 강제합니다. 이는 이전에 학습된 표현을 방해하여 기존 지식의 손실 (파국적 망각) 로 이어집니다.

기존의 CL 전용 초기화 방법 (예: LKGE 또는 incDE) 은 TransE 와 같은 특정 전이 (translational) 모델의 기하학적 제약 조건을 기반으로 새로운 위치를 추론하려 시도합니다. 그러나 이러한 접근법은 종종 모델 특정적 (model-specific) 이며, 많은 현대 KGE 모델 (예: 시맨틱 매칭 모델 또는 ConvE 와 같은 신경망 기반 모델) 에 존재하지 않는 가역적 점수 함수에 의존하므로, 광범위한 아키텍처에는 적용할 수 없습니다.

방법론
저자들은 지속적 학습 시나리오에서 새로운 엔티티 임베딩을 위한 모델-중립적 (model-agnostic), 스키마 기반의 정보에 기반한 초기화 전략을 제안합니다. 이 방법은 KG 스키마 (엔티티 클래스) 와 이전에 학습된 임베딩의 분포를 활용하여 초기 표현을 생성합니다.

핵심 알고리즘은 다음과 같습니다:

1. 클러스터 중심 (Class Centroids): KG 스키마에서 정의된 각 엔티티 클래스 $c$에 대해, 해당 클래스에 속하는 모든 기존 엔티티의 임베딩 평균으로 중심 임베딩 $v_c$를 계산합니다.
2. 클래스 내 변동성 (Intra-class Variation): 각 클래스 내의 임베딩 표준 편차 $\sigma_c$를 계산하여 클래스 내 다양성을 포착합니다.
3. 초기화: 클래스 집합 $C_e$에 속하는 새로운 엔티티 $e$의 경우, 초기 임베딩은 해당 클래스들의 중심의 평균에 확률적 교란을 가한 것으로 계산됩니다:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   여기서 $\gamma$는 교란 크기를 제어하는 하이퍼파라미터이고, $\mathbf{r}_c$는 무작위 벡터이며, $\odot$는 요소별 곱셈을 나타냅니다.

이 접근법은 새로운 엔티티가 클래스 소속에서 파생된 잠재적 의미 정보를 가지고 시작하도록 보장하여, 예상되는 최종 표현에 더 가깝게 위치시킵니다. 확률적 구성 요소는 동일한 클래스 소속을 가진 엔티티가 동일한 임베딩을 받는 퇴화 사례를 방지합니다. 일단 초기화되면, 새로운 삼중항을 사용하여 임베딩을 업데이트하기 위해 미세 조정 (fine-tuning), EWC, 리허설 (rehearsal) 등 어떤 표준 지속적 학습 기법이라도 적용할 수 있습니다.

주요 기여

1. 정보에 기반한 초기화 전략: KG 스키마와 기존 임베딩을 활용하여 지속적 학습에서 KGE 를 초기화하는 새로운 방법. 아키텍처 수정 없이 다양한 KGE 모델에 적용 가능.
2. 효율성과 성능의 실증적 검증: 무작위 초기화 및 모델 특정 초기화 기준선과 비교하여 제안된 전략이 학습 시간 (에포크) 을 크게 단축하면서도 예측 성능을 향상시킨다는 입증.
3. 새로운 평가 지표: 신경망의 점진적 작업 학습에서 파생된 KGE 지속적 학습에서 지식 유지 및 획득을 정량화하기 위해 적응된 지표 ($\Omega_{base}$ 및 $\Omega_{new}$) 의 도입.
4. 종합적 평가: 다양한 지속적 학습 알고리즘 (Fine-tuning, EWC, EMR, LKGE, incDE) 과 KGE 모델 계열 (전이 및 시맨틱 매칭) 전반에 걸쳐 방법을 평가한 광범위한 실험.

실험 결과
저자들은 FB15K-237 에서 파생된 세 가지 데이터셋 (FBinc-S, FBinc-M, FBinc-L) 에서 다양한 크기의 점진적 업데이트를 특징으로 하는 접근법을 평가했습니다. 주요 발견 사항은 다음과 같습니다:

• 성능 향상: 스키마 기반 초기화는 무작위 초기화보다 일관되게 우수했으며, 많은 경우 모델 특정 초기화보다도 우세했습니다. 지식 유지 ($\Omega_{base}$) 와 획득 ($\Omega_{new}$) 모두를 향상시켰습니다. 예를 들어, Fine-tuning 및 EMR 과 같은 비정규화 방법에서 스키마 초기화는 작은 데이터셋에서 지식 유지를 최대 30% 까지, 새로운 지식 획득을 최대 65% 까지 증가시켰습니다.
• 학습 가속화: 정보에 기반한 초기화는 수렴에 필요한 에포크 수를 크게 줄였습니다. 무작위 초기화와 비교하여 대부분의 방법에서 수렴 시간이 2.16 배에서 2.67 배 사이로 단축되었습니다.
• 모델 중립성: 이 방법은 전이 모델 (TransH, RotatE, TransR) 과 시맨틱 매칭 모델 (DistMult, HolE, ProjE) 모두에서 효과적이었습니다. 무작위 초기화 하에서 파국적 망각에 취약한 모델 (예: RotatE, TransR) 의 경우 스키마 초기화가 이러한 효과를 완화했습니다.
• 계산 비용: 초기화 과정 자체는 계산적으로 무시할 수 있을 정도로 가볍습니다 (단일 학습 에포크보다 수백 배 빠름). 클래스 중심과 표준 편차만 업데이트 간에 유지하면 되므로 효율적으로 확장됩니다.

의의 및 주장
이 논문은 정보에 기반한 초기화가 KGE 를 위한 지속적 학습에서 근본적이지만 종종 간과되는 단계라고 주장합니다. 의미적으로 근거 있는 시작점을 제공함으로써 이 방법은 다음과 같은 효과를 가집니다:

• 지식 획득 가속화: 새로운 정보를 더 빠르게 학습하여 점진적 업데이트의 계산 비용을 줄입니다.
• 파국적 망각 완화: 최적 위치까지의 초기 거리를 최소화함으로써, 새로운 삼중항 최적화 중 기존 임베딩에 필요한 파괴적인 조정을 줄입니다.
• 일반화 능력 향상: 이전의 CL 전용 방법과 달리 이 접근법은 특정 KGE 모델의 기하학적 제약에 묶이지 않으므로, 기존 지속적 학습 파이프라인에 다용도로 사용할 수 있는 플러그인으로 기능합니다.

저자들은 이 전략이 다운스트림 작업의 예측 성능을 향상시키고 지속적 학습의 효율성을 높여, 동적 지식 그래프를 관리하기 위한 도구 상자에서 가치 있는 추가 요소가 된다고 결론지었습니다.