🤖 machine learning

Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

이 논문은 고성능 지식 그래프 임베딩 모델들이 무작위 시드와 하이퍼파라미터 설정에 따라 상당한 불안정성을 겪는다는 점을 밝힘으로써, 현재의 순위 기반 평가 지표의 신뢰성과 링크 예측 결과의 견고성에 의문을 제기한다.

원저자: Guillaume Méroué, Fabien Gandon, Pierre Monnin

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guillaume Méroué, Fabien Gandon, Pierre Monnin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "마법의 수정구슬" 문제

방대한 양의 불완전한 사실들이 담긴 백과사전(지식 그래프)이 있다고 상상해 보세요. 이 백과사전은 "파리는 프랑스의 수도이다"라는 사실은 알고 있지만, 특정 국가의 현재 대통령이 누구인지는 모릅니다.

이 빈칸을 채우기 위해 과학자들은 **지식 그래프 임베딩 모델(KGEMs)**을 사용합니다. 이 모델들을 마법의 수정구슬이라고 생각해 보세요. 당신이 수정구슬에게 "대통령은 누구인가?"라고 물으면, 수정구슬은 자신이 알고 있는 모든 사실을 살펴보고 복잡한 수학 연산을 수행하여 답을 예측합니다.

이 논문은 이러한 수정구슬들이 평균적으로는 정답을 맞히는 데 뛰어나지만, 구체적인 세부 사항을 들여다보면 매우 신뢰할 수 없다고 주장합니다. 만약 당신이 똑같은 질문을 똑같은 수정구슬에 두 번 던지되, 과정을 시작하는 방식을 결정하기 위해 동전을 던져 무작위성(랜덤 시드)을 부여한다면, 수정구슬이 두 번 모두 똑같이 확신한다고 주장하더라도 완전히 다른 후보 명단을 내놓을 수 있습니다.

핵심 문제: "점수는 같지만, 이야기는 다르다"

머신러닝의 세계에서 우리는 보통 MRR(평균 역순위)과 같은 단일 점수로 모델을 평가합니다. 이 점수를 성적표 등급이라고 생각해 보세요.

논문의 발견: 만약 어떤 모델을 서로 다른 랜덤 시드로 다섯 번 학습시킨다면, 그 모델들은 모두 "A" 학점(높은 MRR 점수)을 받습니다.
함정: 이 모델들이 모두 "A"를 받았음에도 불구하고, 그들이 내놓는 구체적인 답변은 완전히 다릅니다.

비유: 레스토랑 리뷰
세 명의 음식 평론가(모델)가 한 레스토랑을 리뷰하고 있다고 상상해 보세요.

평론가 1, 2, 3 모두 해당 레스토랑에 별 5개(높은 MRR)를 주었습니다.
하지만 그들에게 가장 좋아하는 메뉴 TOP 3를 묻자 다음과 같이 답했습니다:
- 평론가 1: 스테이크, 샐러드, 스프.
- 평론가 2: 피자, 타코, 초밥.
- 평론가 3: 버거, 감자튀김, 아이스크림.

만약 당신이 오직 별 5개라는 등급만을 보고 메뉴를 결정하려는 고객이라면, 세 명의 의견이 일치한다고 생각할 것입니다. 하지만 실제로는 그들이 완전히 다른 음식을 추천하고 있는 것입니다. 만약 당신이 질병 치료법을 찾으려는 의사라면(논문에서 언급된 실제 활용 사례), 동전을 던져 결정된 무작위성 때문에 "스테이크" 대신 "버거"를 추천받게 된다면 이는 매우 위험한 일입니다.

조사: 혼란의 원인은 무엇인가?

저자들은 왜 이 모델들이 마음을 바꾸는지 알아내기 위해 탐정처럼 행동했습니다. 그들은 학습 과정에 포함된 "무작위 재료"들을 분리해 냈습니다:

초기화(Initialization): 모델이 뇌를 시작하는 방식 (예: 초기 가중치를 설정하기 위해 주사위를 굴리는 것).
트리플 순서(Triple Ordering): 모델이 사실을 읽는 순서 (예: 책을 1페이지부터 100페이지까지 읽느냐, 혹은 100페이지부터 1페이지까지 읽느냐의 차이).
네거티브 샘플링(Negative Sampling): 모델이 무엇이 틀린 것인지 배우는 방식 (예: 교사가 틀린 답을 제시하여 교정하는 것).
드롭아웃(Dropout): 학습 중에 모델의 뇌 일부를 무작위로 끄는 것 (예: 학생이 눈을 감고 몇 초 동안 시험을 치르는 것).
하드웨어(Hardware): 모델을 실행하는 실제 컴퓨터 칩(GPU).

충격적인 발견:
논문은 이 중 단 하나의 재료만 바꿔도 엄청난 불안정성을 초래할 수 있다는 것을 발견했습니다.

비유: 케이크를 굽는다고 상상해 보세요. 밀가루 브랜드를 바꾸거나, 오븐 온도를 바꾸거나, 달걀을 섞는 순서를 바꾸면, 맛은 똑같을지 몰라도 질감이나 모양은 완전히 다른 케이크가 나올 수 있습니다.
하드웨어의 반전: 그들은 심지어 다른 브랜드의 컴퓨터 칩(GPU)을 사용하는 것이 랜덤 시드를 바꾸는 것과 같은 수준의 혼란을 일으킨다는 것을 발견했습니다. 이는 뉴욕에 있는 컴퓨터에서 모델을 학습시키고 도쿄에 있는 컴퓨터에서 실행하면, 설령 동일한 코드를 사용하더라도 결과가 달라질 수 있음을 의미합니다.

"투표" 해결책: 효과가 있을까?

저자들은 **투표(Voting)**라고 불리는 일반적인 해결책을 테스트했습니다. 이것은 다섯 명의 서로 다른 평론가에게 최고의 메뉴를 투표하게 한 뒤 다수결을 따르는 것과 같습니다.

결과: 투표는 약간의 도움이 되었습니다. 모델을 조금 더 일관성 있게 만들어 주었습니다.
한계: 하지만 문제를 완전히 해결하지는 못했습니다. 모델들은 여전히 많은 세부 사항에서 의견 차이를 보였습니다. 게za로, 하나의 모델을 학습시키는 대신 다섯 개의 모델을 학습시키는 것은 더 많은 시간과 비용이 듭니다.

결론: 성능 $\neq$ 안정성

가장 중요한 시사점은 이것입니다: 높은 점수가 신뢰성을 보장하지는 않습니다.

과거의 방식: "이 모델은 점수가 가장 높으니, 가장 좋은 모델이다."
새로운 현실: "이 모델은 점수가 높지만, 도박과 같다. 오늘 정답을 알려줄 수도 있지만, 내일은 (똑같이 '높은 점수'를 받더라도) 완전히 다른 답을 내놓을 수도 있다."

논문은 우리가 단순히 "성적표 등급"(MRR)만 보는 것을 멈추고, 모델이 얼마나 안정적인지 확인하기 시작해야 한다고 결론짓습니다. 만약 우리가 이 모델들을 약물 치료법을 찾거나 지식 베이스를 완성하는 등의 실세계 의사결정에 사용하려 한다면, 모델이 매번 실행될 때마다 단순히 무작위로 추측하는 것이 아니라는 것을 반드시 알아야 합니다.

한 문장 요약

지식 그래프 모델이 시험에서 높은 점수를 받았다고 해서 반드시 신뢰할 수 있는 것은 아닙니다. 학습 방식의 아주 작은 무작위 변화만으로도 완전히 다른 답을 내놓을 수 있으며, 이는 중요한 결정을 내릴 때 매우 위험할 수 있습니다.

기술 요약: 링크 예측 또는 예측 결핍: 지식 그래프 임베딩의 불안정성의 씨앗

1. 문제 정의

지식 그래프 임베딩 모델(KGEM)은 링크 예측을 통한 지식 그래프 완성(KGC)의 지배적인 접근 방식이다. 표준 평가 프로토콜은 평균 재순위(MRR) 및 Hits@K와 같은 집계된 순위 기반 지표에 크게 의존한다. 그러나 이러한 지표는 무작위 시드(random seeds)가 결과의 안정성에 미치는 영향을 간과하는 경우가 많다.

식별된 핵심 문제는 높은 집계 성능이 트리플(triple) 수준이나 임베딩 공간에서의 안정성을 보장하지 않는다는 것이다. 서로 다른 무작위 시드로 훈련된 두 모델은 동일한 MRR 점수를 달성할 수 있지만, 상위 K개의 예측 결과는 현저히 다를 수 있다. 운영 환경(예: 신약 개발 또는 자동화된 그래프 완성)에서 이러한 시드 의존적 가변성은 서로 다른 완성된 그래프를 생성하여, 다운스트림 의사결정에서 KGEM의 신뢰성을 저해한다. 더욱이, 기존 문헌에서는 엔티티 유사성 및 클러스터링과 같은 작업에 재사용되는 학습된 임베딩 공간 자체의 안정성을 거의 조사하지 않았다.

2. 방법론

저자들은 통제된 실험 프로토콜을 사용하여 여러 KGEM과 데이터셋에 걸쳐 체계적인 안정성 분석을 수행하였다.

실험 설정:

모델: 세 가지 계열의 대표적인 모델을 선정하였다: 기하학적 모델(TransE, RotatE), 텐서 분해(DistMult, ComplEx), 그리고 신경망(ConvE, RGCN, Transformer).
데이터셋: WN18RR, FB15k-237, CoDEx-S를 포함한 표준 벤치마크.
무작위성 원천: 연구는 ML 훈련에서 흔히 발생하는 네 가지 독립적인 확률적 요인을 격리하였다:
1. 파라미터 초기화 ( $I$ )
2. 트리플 순서 ( $O$ )
3. 네거티브 샘플링 ( $N$ )
4. 드롭아웃 ( $D$ )
- 추가로, 하드웨어(GPU 유형)가 무작위성의 원인으로 식별되었다.
하이퍼파라미터 탐색: 성능 수준이 다양한(최상, 중간, 최악) 구성을 식별하기 위해 그리드 탐색을 수행하여 성능과 안정성 사이의 상관관계를 테스트하였다.

제안된 지표:
집계된 순위를 넘어, 저자들은 예측과 임베딩 공간의 유사성에 초점을 맞춘 지표를 도입하였다:

Pred-Overlap@K: 서로 다른 모델 인스턴스에 대해 주어진 쿼리에 대한 상위 K개의 예측 엔티티의 교집합을 측정한다.
Space-Overlap@K: 각 엔티티에 대한 임베딩 공간 내 K-최근접 이웃(K-nearest neighbors)의 교집합을 측정하여, 학습된 잠재 구조의 안정성을 평가한다.
Consistency@K & Homogeneity@K: 모든 실행(run)에서 동시에 상위 K 리스트에 나타나는 엔티티의 비율과 후보의 분산 정도를 정량화하는 집계 지표이다.

3. 주요 기여

체계적 안정성 분석: 본 논문은 무작위 시드가 예측 동작(상위-K 후보)과 내부 조직(임베딩 공간) 모두에 어떻게 영향을 미치는지에 대한 최초의 포괄적인 정량화를 제공한다.
성능과 안정성의 분리: 높은 MRR 점수가 안정적인 예측이나 임베딩 공간을 보장하지 못함을 입증한다.
하드웨어 불안정성 식별: 저자들은 하드웨어(특히 GPU 아키텍처)를 무작위 시드 변동과 맞먹는 중요한 불안정성 원인으로 식별하였으며, 이는 클라우드 환경에서의 재현성에 도전 과제를 제기한다.
구제책의 한계: "투표(voting)"(앙상블 방법)를 완화 전략으로 평가하였으나, 이는 제한적인 개선만을 제공하며 임베딩 공간을 안정화하는 데는 실패함을 발견하였다.

4. 주요 결과

집계 지표가 불안정성을 은폐함: MRR과 Hits@K는 시드 간 낮은 분산을 보이지만, 실제 예측은 매우 상이하다. 예를 들어, FB15k-237에서 서로 다른 시드를 가진 두 개의 RotatE 인스턴스는 평균적으로 상위 10개 예측 엔티티 중 약 4.3개만을 공유했다.
트리플 수준의 발산: 정답 엔티티가 유사한 순위로 랭크되더라도, 정답이 아닌 후보들은 극적으로 다르다. 어떤 경우에는 동일한 MRR을 생성한 실행들이 완전히 다른 상위 10개 엔티티 세트를 생성하기도 했다(Pred-Overlap@10이 0.17까지 낮아짐).
임베딩 공간의 불안정성: 임베딩 공간의 조직 또한 불안정하다. 잠재 공간에서의 이웃은 실행 간에 크게 변하며, 이는 모델이 유사한 전역 성능에도 불구하고 서로 다른 잠재 구조를 학습함을 시사한다.
무작위성의 원천: 무작위성의 단일 원인(초기화, 순서, 샘플링, 드롭아웃)을 독립적으로 변화시켜도 유사한 규모의 불안정성이 유발된다. 특정 원인이 지배적이지 않으며, 불안정성은 훈련 과정 자체에 내재되어 있다.
하드웨어 영향: 동일한 구성을 다른 GPU(예: RTX 2080 Ti vs. A100)에서 훈련했을 때, 무작위 시드를 변경했을 때와 유사한 수준의 불안정성이 나타났다.
성능 vs. 안정성 상관관계: 성능이 낮은 모델은 일반적으로 덜 안정적이다. 그러나 고성능 모델과 중간 성능 모델 사이에는 명확한 상관관계가 없었다; 즉, 더 높은 MRR이 더 높은 안정성을 보장하지 않는다.
모델 편차: TransE는 다른 아키텍처(예: RotatE, ConvE)에 비해 눈에 띄게 높은 안정성을 보였으며, 이는 아키텍처적 차이가 역할을 할 수 있음을 시사한다.
투표의 한한계: 앙상블 투표가 예측 중첩을 개선하기는 했으나, 불안정성을 제거하지 못했으며 임베딩 공간을 안정화하는 데는 적용되지 않았다.

5. 의의 및 주장

본 논문은 현재의 벤치마킹 프로토콜이 운영 환경에서 KGEM의 신뢰성을 평가하기에 불충분하다고 주장한다. 연구 결과는 다음과 같은 결정적인 한계를 강조한다:

신뢰성 우려: 시드 의존적 불안정성은 상위-K 예측을 지식 그래프에 추가할 때 상당히 다른 완성된 그래프를 생성할 수 있음을 의미하며, 이는 잠재적으로 일관되지 않거나 신뢰할 수 없는 다운스트림 의사결정으로 이어질 수 있다.
임베딩 공간의 타당성: 임베딩 공간의 불안정성은 엔티티 유사성 평가, 개념적 클러스터링, 논리적 규칙 마이닝과 같이 안정적인 잠재 구조를 가정하는 다운스트림 작업의 타당성에 의문을 제기한다.
재현성 위기: 하드웨어 및 미세한 확률적 선택에 대한 민동성은 특히 클라우드 컴퓨팅 시나리오에서 재현성에 상당한 도전 과제를 제기한다.
평가 개혁: 저자들은 안정성을 성능과는 별개의 차원으로 취급하여 평가 관행을 전환해야 한다고 주장한다. 모델 선택은 MRR에만 의존해서는 안 되며, 무작위 시드 및 하드웨어 구성 전반에 걸친 강건성을 반드시 고려해야 한다.

결론적으로, 본 논문은 KGEM이 랭킹에는 효과적이지만, 현재의 불안정성으로 인해 일관되고 결정론적인 그래프 완성이나 임베딩 공간의 기하학적 특성에 의존해야 하는 응용 분야에 사용하기에는 위험 요소가 있다고 밝히고 있다. 향후 연구는 안정성을 고려한 아키텍처 또는 훈련 절차를 설계하는 데 집중해야 한다.