기술 요약: 지식 그래프 완성을 위한 일반화된 순위 기반 평가

문제 정의

지식 그래프 완결(Knowledge Graph Completion, KGC)은 관찰된 지식 그래프로부터 누락된 사실을 추론하는 것을 목표로 하며, 이는 신약 개발부터 검색 증강 생성(RAG)에 이르기까지 다양한 응용 분야에서 매우 중요한 작업입니다. KGC 모델이 급증하고 있음에도 불구하고, 이러한 모델의 평가 방식은 여전히 미개척 영역으로 남아 있습니다. 기존의 순위 기반 평가 지표(예: 평균 역순위[MRR], Hits@K)는 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 예측 선명도 제어의 부재 (Lack of Predictive Sharpness Control): 기존 지표들은 부정확한 예측에 대해 처벌하는 엄격함의 수준을 고정된 것으로 암묵적으로 가정합니다. 이들은 상위 순위 예측에는 뛰어나지만 더 넓은 순위 범위에 걸쳐 일관되게 높은 품질의 예측을 제공하는 모델을 구분하는 데 실패하곤 합니다.
2. 인기 편향 민감도 (Popularity-Bias Sensitivity): 실제 세계의 지식 그래프는 소수의 엔티티와 관계가 빈번하게 등장하는 멱법칙(power-law) 분포를 따릅니다. 표준 지표들은 이러한 고빈도(인기 있는) 트리플에서 우수한 성능을 보이는 모델을 과대평가하는 경향이 있는 반면, 희귀하거나 저빈도인 엔티티 및 관계에 대해 더 나은 일반화 성능을 보이는 모델은 과소평가하는 경향이 있습니다. 이는 신약 상호작용 발견과 같은 응절 분야에서 매우 중요합니다.

또한, 존재하지 않는 트리플이 곧 거짓을 의미하지 않는 개방형 세계 가정(Open-World Assumption, OWA) 하에서, 기존 지표들은 불완전한 사실 집합으로 평가했을 때 완전한(폐쇄형 세계) 설정과 비교하여 일관되지 않은 순위를 산출함으로써 모델의 본질적인 성능을 일관되게 추정하는 데 어려움을 겪습니다.

방법론: PROBE 프레임워크

저자들은 이러한 격차를 해소하기 위해 설계된 일반화된 평가 프레임워크인 PROBE(Predictive shaRpness and pOpularity-Bias robustness aware Evaluation)를 제안합니다. PROBE는 평가 과정을 예측(Prediction), 변환(Transformation), 집계(Aggregation)의 세 단계로 분해합니다.

1. 예측 선명도를 위한 순위 변환기 (Rank Transformer, RT)

예측에 대한 처벌의 엄격도를 제어하기 위해, PROBE는 정답 엔티티의 순위 $r$을 점수로 변환하는 순위 변환 함수 $f(r, \alpha)$를 도입합니다.

• 메커니즘: 함수는 $f(r, \alpha) = 1/r^\alpha$로 정의되며, 여기서 $\alpha$는 예측 선명도를 조절하는 튜닝 가능한 파라미터입니다.
• 동작:
  • 높은 $\alpha$는 낮은 순위에 대해 무거운 처벌을 부과하여 상위 순위 예측을 강조합니다(높은 선명도).
  • 낮은 $\alpha$는 중간 순위 예측에 대한 처벌을 완화하여, 더 넓은 순위 범위에서 안정적인 성능을 유지하는 모델이 더 높은 점수를 받을 수 있게 합니다.
• 정교화: 구별 가능성을 확보하고 고정된 범위 $[0, 1]$를 보장하기 위해, 저자들은 후보 집합 크기 $|E_i|$를 기준으로 점수를 재조정하는 아핀 변환(affine transformation)을 적용하여 최악의 예측은 0으로, 최선의 예측은 1로 매핑되도록 합니다.

2. 인기 편향 강건성을 위한 순위 집계기 (Rank Aggregator, RA)

인기 편향을 완화하기 위해, PROBE는 등장 빈도에 따라 테스트 트리플에 가중치를 할당합니다.

• 트리플 레벨 인기: 엔티티 빈도만을 고려하는 이전 연구들과 달리, PROBE는 다음을 결합하여 트리플 레벨에서의 인기를 측정합니다:
  • 엔티티 인기 ($\delta(e)$): 대상 엔티티의 빈도.
  • 엔티티 조건부 관계 인기 ($\delta(r|e)$): 특정 엔티티가 주어졌을 때 해당 관계의 빈도.
• 가중치 메커니즘: 트리플에 대한 가중치 $w_t$는 파라미터 $\beta$에 의해 제어되는 엔티티 및 관계 인기에서 유도된 가중치의 곱으로 계산됩니다.
  • $\beta > 0$: 저빈도 트리플에는 높은 가중치를 부여하고 고빈도 트리플에는 낮은 가중치를 부여하여 편향에 대한 강건성을 높입니다.
  • $\beta = 0$: 가중치가 없는 평균(기존 지표와 동일)으로 환원됩니다.
• 최종 점수: 최종 PROBE 점수는 변환된 점수들의 가중 평균입니다: $PROBE = \sum w_i \cdot c_i$.

3. 기하학적 해석

이 프레임워크는 평가를 $n$차원 공간에서의 내적(inner product)으로 해석합니다. 순위 변환기는 점수 공간의 기하학적 구조를 정의하며($\alpha$에 의해 제어), 순위 집계기는 평가의 방향을 정의합니다($\beta$에 의해 제어). 이를 통해 이 지표는 다양한 애플리케이션 요구 사항에 맞춰 유연하게 조정될 수 있습니다.

주요 기여

1. 새로운 관점: 본 논문은 KGC 평가에서 간과되었던 두 가지 관점인 **예측 선명도(predictive sharpness)**와 **인기 편향 강건성(popularity-bias robustness)**을 식별하고 공식화했습니다.
2. 일반화된 프레임워크: PROBE는 특정 파라미터 설정($\alpha=1, \beta=0$) 하에서 기존 지표들(예: MRR, Hits@K)을 하위 사례로 포함하는 통합된 프레임워크로 제안되었습니다.
3. 이론적 분석: 저자들은 신뢰할 수 있는 KGC 평가를 위한 6가지 핵심 속성을 정의했습니다:
   • 고정된 최적값(optimum) 및 고정된 최악값(pessimum).
   • 반단조성(Anti-monotonicity).
   • 후보 크기 인식(Candidate-size awareness).
   • 선명도 인식(Sharpness awareness).
   • 인기 인식(Popularity awareness).
     본 논문은 PROBE가 이 6가지 속성을 모두 만족함을 증명하는 반면, 기존 지표들은 일부만을 만족함을 보여줍니다.
4. 개방형 세계 일관성: 이론적 분석을 통해 PROBE가 폐쇄형 세계(CWA)와 비교했을 때 개방형 세계(OWA) 설정에서 모델의 상대적 성능을 더 잘 보존하며, 모델의 본질적인 성능을 더 신뢰성 있게 추정함을 입증했습니다.

실험 결과

저자들은 6개의 실제 세계 지식 그래프(FB15k-237, WN18RR, YAGO3-10, Family, UMLS, Kinship)에 대해 6개의 KGC 모델(RotatE, ComplEx, TuckER, pLogicNet, RNNLogic 포함)을 사용하여 광범위한 실험을 수행했습니다.

• 예측 선명도의 영향 ($\alpha$): $\alpha$를 변화시킴에 따라 모델의 상대적 순위가 크게 바뀌었습니다. 상위 순위 예측에 뛰어난 RNNLogic과 같은 모델은 높은 선명도($\alpha=1$) 환경에서 유리하게 나타난 반면, 순위 3~100 사이에서 안정적인 성능을 유지하는 HousE와 같은 모델은 낮은 선명도($\alpha \le 0$) 환경에서 더 높은 점수를 받았습니다.
• 인기 편향 강건성의 영향 ($\beta$): $\beta$를 높이면 희귀한 사실에 대해 강건한 모델로 선호도가 이동했습니다. 예를 들어, TuckER는 인기 있는 트리플에서는 잘 작동했지만 희귀한 트리플에서는 성능이 저하된 반면, pLogicNet과 ComplEx는 안정성을 유지하여 높은 $\beta$ 환경에서 상위권 모델이 되었습니다.
• 포괄성: 모든 데이터셋과 파라미터 설정에 걸쳐 압도적인 단일 모델은 없었으며, 이는 "최고의" 모델이 요구되는 특정 평가 관점에 따라 달라짐을 강조합니다.
• OWA 하에서의 신뢰성: 불완전한 지식 그래프를 시뮬레이션한 실험에서, PROBE는 완전한 그래프(CWA)에서의 성능과 비교했을 때 모델의 상대적 순위를 일관되게 보존했습니다. 반면, MRR 및 p-MRR과 같은 지표는 CWA에서 OWA로 이동할 때 상당한 순위 불안정성과 점수 발산을 보였습니다.

의의 및 주장

본 논문은 기존의 순위 기반 지표들이 실제 응용 분야의 요구 사항과 일치하지 않을 수 있는 고정된 평가 관점을 암묵적으로 가정하기 때문에, KGC 모델의 포괄적인 평가에 불충분하다고 주장합니다. PROBE를 도입함으로써 저자들은 다음과 같은 특징을 가진 유연하고 원칙적인 프레임워크를 제공합니다:

• 실무자가 특정 도메인 요구 사항(예: 안전이 중요한 신약 개발을 위한 높은 선명도 vs 탐색적 추천을 위한 편향 강건성)에 따라 평가의 엄격도와 편향 강건성을 조정할 수 있게 합니다.
• 기초가 되는 지식 그래프가 불완전하더라도 모델의 본질적인 성능을 신뢰성 있게 추정할 수 있는 이론적 근거를 갖춘 지표를 제공합니다.
• 모델의 우월성이 맥락 의존적임을 밝힘으로써, 커뮤니티가 단일 지표 평가를 넘어 관점 인지적(perspective-aware) 평가로 나아가도록 촉구합니다.