💻 computer science

Fully Geometric Multi-Hop Reasoning on Knowledge Graphs with Transitive Relations

이 논문은 모든 논리 연산을 순수 기하학적 변환으로 매핑하고 논리 규칙을 보존하기 위해 새로운 전이 손실 함수를 채택하여, 기존의 기하학적 접근 방식보다 우수한 성능을 달성하는 동시에 신경망 기반 방식들과 경쟁력 있는 결과를 유지하며 지식 그래프 상의 멀티홉 추론을 위한 기하학적 임베딩 방법인 GeometrE를 소개한다.

원저자: Fernando Zhapa-Camacho, Robert Hoehndorf

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fernando Zhapa-Camacho, Robert Hoehndorf

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

모든 책이 보이지 않는 실로 서로 연결되어 있는 거대한 도서관을 상상해 보세요. 이 실들은 "고양이가 매트 위에 있다", "매트는 빨간색이다", 또는 "빨간색인 것들은 따뜻하다"와 같은 사실들을 나타냅니다. 이 도서관이 바로 **지식 그래프(Knowledge Graph)**입니다.

때때로 여러분은 "무엇이 빨간색인가?"와 같은 단순한 질문(one-hop 질문)을 던집니다. 하지만 종종 "빨간 매트 위에 있지만, 고양이는 아닌 것을 찾아줘"와 같은 복잡한 질문을 던지기도 합니다. 이것이 다중 홉 추론(multi-hop reasoning) 과제입니다. 여러분은 실을 따라가고, 단서들을 결합하며, 잘못된 답을 걸러내야 합니다.

이 논문은 이러한 복잡한 퍼즐을 풀기 위한 새로운 도구인 GeometrE를 소개합니다. 그 작동 원리를 쉽게 설명하면 다음과 같습니다.

1. 과거의 방식: "블랙박스" vs "기하학적 지도"

이전에는 컴퓨터가 이러한 퍼즐을 두 가지 방식으로 해결하려고 시도했습니다:

신경망 방식 (The Neural Network Way): 이것은 마법의 블랙박스와 같습니다. 질문을 입력하면 답을 내놓습니다. 매우 잘 작동하지만, 컴퓨터가 어떻게 그 결정을 내렸는지 알 수 없습니다. 마치 마법사가 주문을 외우는 것과 같습니다. 결과는 얻었지만, 그 마법의 과정을 이해할 수는 없습니다.
기하학적 방식 (The Geometric Way): 이것은 지도를 그리려고 시도합니다. 사실들을 격자 위의 도형(예: 상자)으로 변환합니다. 만약 "무엇이 빨간색인가?"라고 물으면, 컴퓨터는 빨간색인 모든 것 주변에 상자를 그립니다. 이는 논리를 눈으로 볼 수 있어 매우 좋습니다. 하지만 기존의 기하학적 지도들은 문제가 있었습니다. "A 그리고 B, 하지만 C는 아님"과 같은 복와 복잡한 수학을 수행할 때, 이를 작동시키기 위해 상자 안에 약간의 "블랙박스" 마법을 몰래 집어넣어야 했습니다. 이는 "순수한 지도"라는 개념을 훼손하는 것이었습니다.

GeometrE의 핵심 아이디어: 이 모델은 순수하게 기하학적인 지도를 만듭니다. 이 모델은 "블랙박스" 마법이 전혀 필요하지 않다고 주장합니다. 모든 논리적 단계(AND, OR, NOT)는 상자를 밀거나 종이를 자르는 것과 같은 아주 단순하고 깔끔한 기하학적 움직임일 뿐입니다.

2. GeometrE는 어떻게 지도를 그리는가

GeometrE는 사실들을 단순한 점이 아니라 상자(3D 판지 상자 같은 형태)로 변환합니다.

"상자" 개념: "유럽 국가들"을 나타내는 하나의 상자가 있다고 상상해 보세요.
교집합 (AND): 만약 여러분이 "유럽 국가이면서 동시에 국왕이 있는 국가"를 찾고 싶다면, GeometrE는 단순히 두 상자를 가져와서 두 상자가 맞닿는 겹치는 영역을 찾아냅니다. 이는 두 개의 투명한 상자를 겹쳐 놓고 두 존재가 모두 존재하는 공간을 보는 것과 같습니다.
부정 (NOT): 이것은 까다로운 부분입니다. 상자만을 사용하여 "상자가 아닌 모든 것"을 그리기는 쉽지 않습니다. GeometrE는 영리한 트릭으로 이를 해결합니다: 배제 구역(Exclusion Zone). "아닌" 모양을 직접 그리는 대신, "답은 '유럽' 상자 안에 있어야 하지만, '국왕' 상자로부터는 멀어져 있어야 한다"라고 말합니다 우주의 나머지 부분을 전부 그릴 필요 없이, 금지된 구역으로부터 답을 밀어내는 방식입니다.

3. "이행적" 체인 (도미노 효과)

어떤 사실들은 **이행적(transitive)**입니다. 즉, A가 B와 관계가 있고 B가 C와 관계가 있다면, A는 자동으로 C와 관계가 있다는 뜻입니다.

예시: "할아버지는 아버지의 아버지이다"와 "아버지는 아들의 아버지이다"라는 사실이 있다면, "할아버지는 아들의 아버지이다"라는 결론이 도출됩니다.

논문은 이전의 기하학적 지도들이 이러한 체인을 자주 깨뜨린다는 점에 주목했습니다. 그들은 규칙을 따르는 것만으로 "할아버지" 상자가 "손자" 상자와 논리적으로 연결되도록 보장하지 못했습니다.

GeometrE의 해결책: 이 모델은 특별한 "이행적 손실(Transitive Loss)"(컴퓨터가 학습할 때 따라야 하는 규칙)을 추가합니다.

계단을 상상해 보세요. 만약 여러분이 바닥에서 중간으로, 그리고 중간에서 꼭대기로 올라간다면, 반드시 꼭대기에 도착해야 합니다.
GeometrE는 컴퓨터가 이 "계단" 구조에 맞춰 상자들을 배치하도록 강제하여, 순서가 항상 보존되도록 합니다. 이는 만약 여러분이 상자들의 체인을 따라간다면, 마치 줄지어 서 있는 도미노처럼 논리가 완벽하게 유지되도록 보장합니다.

4. 결과: 더 나은 지도, 마법은 없다

저자들은 표준적인 "도서관" 데이터셋(WN18RR, NELL, FB15k-237 등)을 통해 GeometrE를 테스트했습니다.

기존 기하학적 지도보다 뛰어납니다: 상자를 움직이는 "밀기(additive)"와 "늘리기(multiplicative)" 방식을 혼합하여 사용함으로써, GeometrE는 이전의 기하학적 방법들보다 더 많은 퍼즐을 정확하게 풀어냈습니다.
"블랙박스" 마법사들과 견줄 만합니다: 복잡한 마법을 사용하는 신경망과 거의 대등한 성능을 보여주면서도, 엄청난 장점을 가집니다. 바로 문제를 어떻게 풀었는지 실제로 볼 수 있다는 점입니다. 여러분은 상자들을 보고 "아, 답이 이 상자 안에 있고 저 상자 밖에 있기 때문에 찾아졌구나"라고 말할 수 있습니다.

요약

GeometrE를 거대한 미로를 항해하는 새로운 방법이라고 생각하세요.

기존 방식들은 답을 알려주지만 지도는 보여주지 않는 GPS(신경망)를 사용하거나, 지도가 약간 고장 나서 모서리 부분을 마법으로 고쳐야 했던 기존의 기하학적 방법들을 사용했습니다.
GeometrE는 모든 회전, 막다른 길, 지름길이 단순하고 논리적인 기하학적 모양으로 이루어진 완벽하고 깨끗한 지도를 그립니다. 또한 긴 단서의 사슬(예: 가계도)이 항상 올바른 목적지에 도달하도록 만드는 특별한 규칙까지 갖추고 있습니다.

이 논문은 이 방법이 이해하기 더 빠르고, 복잡한 방법들만큼 정확하며, 누구나 검사할 수 있도록 논리를 투명하게 유지한다고 주장합니다.

기술 요약: GeometrE

문제 정의

지식 그래프(Knowledge Graphs, KGs)에서의 멀티홉 논리 추론은 1차 논리 연산(교집합, 합집합, 부정 및 존재 양화)을 포함하는 복잡한 질의에 답하기 위해 논리적 의미론을 잠재 공간(latent space)으로 충실하게 매핑하는 것을 요구한다. 현재의 접근 방식들은 해석 가능성과 성능 사이에서 트레이드오프를 겪고 있다:

기하학적 방법(Geometric Methods): 엔티티를 기하학적 영역(예: 박스, 원뿔)으로 매핑하고 연산을 변환으로 매핑함으로써 해석 가능성을 제공하지만, 순수 기하학적 변환 대신 신경망을 사용하여 논리 연산자(교집합 또는 부정 등)를 학습하는 데 의존하는 경우가 많다. 또한, 기존의 기하학적 방법들은 **이행적 관계(transitive relations)**를 효과적으로 모델링하는 데 어려움을 겪으며, 논리 규칙 $\forall a, b, c : r(a, b) \land r(b, c) \rightarrow r(a, c)$ 또는 이행적 관계의 멱등성(idempotency) 속성을 보존하지 못한다.
신경망 기반 방법(Neural Methods): 순수 신경망 기반 접근 방식은 종종 기하학적 방법보다 정확도 면에서 우수하지만, 논리 연산자를 "블랙박스" 신경망 구성 요소로 취급하여 잠재 공간에서의 해석 가능성이 부족하다.

본 논문은 현재 연구의 두 가지 구체적인 한계를 식별한다: (1) 논리 연산자에 대한 순수 기하학적 해석 가능성의 결여, 그리고 (2) 체인 구조와 멱등성을 보존하는 이행적 관계를 모델링할 수 없는 능력이다.

방법론: GeometrE

저자들은 모든 논리 연산을 잠재 공간에서의 순수 기하학적 변환으로 매핑하도록 설계된 박스 임베딩 모델인 GeometrE를 제안한다. 이는 논리 연산자를 학습하기 위해 신경망을 사용할 필요를 제거한다.

1. 박스 임베딩 및 기하학적 투영

표현(Representation): 엔티티와 질의는 중심($cen $)과 오프셋($ off $)으로 정의되는$ n$-차원 축 정렬 박스(axis-aligned boxes)로 표현된다.
관계 투영(Relation Projection): 순수하게 가산적인 이동(additive translations)만을 사용하는 이전 방식(예: Query2Box)과 달리, GeometrE는 **곱셈-가산 투영 메커니즘(multiplicative-additive projection mechanism)**을 도입한다. 관계 $r$ $r$ 은 4-튜플 $(r_1, r_2, r_3, r_4)$ $(r_{1}, r_{2}, r_{3}, r_{4})$ 로 표현된다. 박스 $B$ $B$ 에 대한 변환 $T_r$ $T_{r}$ 은 다음과 같이 정의된다:
- $cen(B') = r_1 \otimes cen(B) + r_2$
- $off(B') = |r_3 \otimes off(B) + r_4|$
  여기서 $\otimes$ 는 좌표별 곱셈을 의미한다. 이 조합은 기하학적 해석 가능성을 유지하면서 표현력을 향상시킨다.
멱등성(Idempotency): 이 변환은 특정 파라미터 설정에 대해 멱등적( $T_r(T_r(B)) \approx T_r(B)$ )이 되도록 설계되었으며, 이는 이행적 관계를 모델링하는 데 중요한 속성이다.

2. 기하학적 논리 연산

교집합(Intersection): 하한(lower bounds)의 좌표별 최댓값과 상한(upper bounds)의 최솟값을 통해 계산된다. 저자들은 부피 기반 중첩에서 발생할 수 있는 서로소(disjointness) 문제에도 불구하고, 거리 기반 최적화 목적 함수가 DeepSets와 같은 신경망 근사 없이도 안정적인 그래디언트를 보장한다고 주장한다.
부정(Negation): 박스의 기하학적 여집합(complement)을 표현하려고 시도하는 대신(박스는 박스가 아니므로), GeometrE는 부정을 **기하학적 배제 제약(geometric exclusion constraint)**으로 모델링한다. "A이지만 B는 아닌"이라는 질의의 경우, 모델은 양의 박스 $A$ 와의 거리는 최소화하면서 음의 박스 $B$ 의 내부로부터의 거리는 최대화한다. 이는 잠재 공간에서 비-박스 형태를 표현하는 문제를 피한다.

3. 이행적 관계 및 손실 함수

이행적 관계 모델링을 해결하기 위해 GeometrE는 두 가지 핵심 요소를 도입한다:

순서 보존 함수(Order-Preserving Function): 이행적 관계 $r$ 에 대해, 모델은 특정 투영 차원 $i$ 에 대한 순서 제약을 강제한다. 만약 $r(a, b)$ 와 $r(b, c)$ 가 성립한다면, 임베딩은 $cen(a)[i] > cen(b)[i] > cen(c)[i] $를 만족해야 한다. 이는 체인 형태의 순서를 위반하는 것에 패널티를 주는 특수 거리 함수인$ distordering$을 통해 달성된다.
이행적 손실 함수( $L_{\hat{r}_i}$ ): 관계 투영이 비-이행적 차원에서는 항등 함수( $r_1 \approx 1, r_3 \approx 1, r_2 \approx 0, r_4 \approx 0$ )에 근사하도록 하는 동시에, 차원 $i$ 에서는 엄격하게 순서를 강제하여 관계 임베딩이 항등 변환(idempotency)으로 작용하도록 최적화한다.
이론적 보장: 저자들은 이러한 손실 함수 하에서 모델이 이행 규칙을 보존함을 증명한다(정리 1). 즉, $(a, b)$ 와 $(b, c)$ 에 대한 거리가 0이면, $(a, c)$ 에 대한 거리도 0이 되어 올바른 순서를 유지한다.

주요 기여

완전한 기하학적 해석 가능성: 모든 논리 연산(교집합, 부정, 관계 투영)이 순수 기하학적 변환인 질의 응답 방법을 제공하여, 연산자 학습을 위한 신경망 의존성을 제거했다.
곱셈-가산 투영: 가산적 성분과 곱셈적 성분을 결합하여 순수 가산적 이동보다 더 높은 표현력을 보여주는 새로운 관계 임베딩 메커니즘을 제시했다.
이행적 손실 함수: 이행적 관계의 논리적 형태( $\forall a, b, c : r(a, b) \land r(b, c) \rightarrow r(a, c)$ )와 이행적 관계의 멱등성을 성공적으로 인코딩하는 특수 손실 함수 및 순서 보존 메커니즘을 도입했다.
실증적 성능: 표준 벤치마크에서 GeometrE가 최신 기하학적 방법들을 능가하며 신경망 기반 방법들과 경쟁할 수 있음을 입증했다.

실험 결과

방법론은 세 가지 데이터셋인 WN18RR-QA, NELL-QA, **FB15k-237 (FB237)**에서 평가되었다.

기하학적 베이스라인 대비 성능: GeometrE는 대부분의 질의 유형(1p, 2p, 3p, 2i, 3i, pi, ip, 2u, up)과 데이터셋에서 기존 기하학적 방법들(GQE, Q2B, BETAE, ConE, LinE)보다 우수한 성능을 보였다. 특히, 베이스라인들이 종종 신경망 근사에 의존하는 교집합 질의(2i, 3i)에서 탁월한 결과를 달성했다.
신경망 베이스라인 대비 성능: GeometrE는 신경망 기반 방법인 NMP-QEM의 성능에 근접했다. WN18RR 및 FB237에서 경쟁력 있는 성능을 보였으나, 일부 지표에서는 NMP-QEM이 약간 앞섰다.
부정 처리: 기하학적 배제 제약이 효과적임이 입증되어, GeometrE는 부정 관련 질의(2in, 3in, inp, pin, pni)에서 기하학적 베이스라인들을 능가했다.
이행성 검증:
- 일반 벤치마크에서 이행적 손실은 데이터셋 내 이행적 체인의 빈도가 낮아 전체 MRR에 미치는 통계적으로 유의미하지 않은 미미한 개선을 보였다.
- 그러나 이행적 체인에 대한 타겟 평가( hypernym 및 has_part 관계 사용)에서, 이행적 손실을 적용한 GeometrE는 스피어만 상관계수 0.87을 달성하여(손실 미적용 시 0.12), 이행적 체인의 순서 구조를 보존하는 강력한 능력을 입증했다.
절제 연구(Ablation Studies):
- 곱셈 성분(GeometrE-m) 또는 가산 성분(GeometrE-a)을 제거하면 성능이 저하되어, 결합 메커니즘의 이점을 확인했다.
- 정답 임베딩 초기화 방식(별도 벡터 vs 질의 중심 재사용)은 데이터셋 밀도에 따라 달랐으며, 희소한 그래프(WN18RR)에서는 별도 벡터가, 밀도가 높은 그래프(FB237)에서는 재사용된 중심이 더 나은 성능을 보였다.

의의 및 주장

본 논문은 GeometrE가 기하학적 해석 가능성과 높은 성능 사이의 간극을 성공적으로 메웠다고 주장한다. 모든 논리 연산을 순수 기하학적 변환으로 매핑함으로써, "블랙박스" 신경망 접근 방식과 달리 추론 과정이 투명하고 이해 가능한 프레임워크를 제공한다.

저자들은 신경망 기반 방법이 일부 시나리오에서 여전히 약간의 성능 우위를 점할 수 있지만, GeometrE는 해석 가능성을 희생하지 않으면서도 매력적인 대안을 제공한다고 강조한다. 특히 이행적 손실 함수의 도입은 이전의 기하학적 방법들이 이행적 관계의 체인 구조를 효과적으로 모델링할 수 없었다는 점에서 중요한 진전임을 강조한다. 이 연구는 적절한 기하학적 제약과 손실 함수를 사용한다면, 논리 연산자를 위한 신경망 근사에 의존하지 않고도 복잡한 논리 추론을 달성할 수 있음을 시사한다.