Hierarchy-Aware Semantic Losses for Knowledge Graph Link Prediction

현대 과학의 광활한 디지털 경관 속에서, 정보는 드물게 단순한 목록이나 평면적인 파일 형태로 저장됩니다. 대신, 연구자들과 컴퓨터는 점점 더 지식 그래프에 의존하고 있는데, 이는 마치 거대한 연결된 사실들의 그물망과 같습니다. 모든 노드가 사물(사람, 약물, 질병, 단백질 등)이고, 그들을 연결하는 모든 선이 관계(예: "치료한다" 또는 "유발한다")인 웹을 상상해 보십시오. 이러한 구조는 기계가 복잡한 데이터 네트워크를 탐색하도록 하여, 특정 질병에 어떤 신약이 효과가 있을지 알아내는 것과 같은 누락된 연결 고리를 예측하는 데 도움을 줍니다. 그러나 이 웹들은 종종 또 다른 조직화 계층인 개념의 가계도(family tree)와 나란히 존재합니다. 생물학적 종이 속(genus)에 속하고, 그 속이 다시 과(family)에 속하는 것처럼, 디지털 개념들도 하나의 범주가 더 넓은 범주의 특정한 유형이 되는 계층 구조로 배열되곤 합니다. 이 배경 구조는 사물들이 어떻게 연관되어 있는지에 대한 가치 있는 단서를 담고 있지만, 오랫동안 이 웹을 탐색하기 위해 설계된 컴퓨터 프로그램들은 눈에 보이는 직접적인 연결에만 집중하며 이러한 가계도를 대체로 무시해 왔습니다.

샬머스 공과대학교와 예테보리 대학교의 연구진은 케임브리지 대학교의 동료와 협력하여 이를 변화시키고자 했습니다. 그들은 명쾌한 질문을 던졌습니다. 만약 우리가 이 컴퓨터 프로그램들에게 학습하는 동안 개념의 가계도를 존중하도록 가르친다면, 이들이 누락된 연결을 예측하는 능력이 더 좋아질 것인가? 연구진은 이 새로운 접근 방方式을 세 가지 매우 다른 데이터 세트에 대해 테스트했습니다: 학술 및 조직적 사실의 모음, 위키피디아에서 추출한 방대한 일반 지식의 웹, 그리고 약물, 질병, 단백질을 포함하는 복잡한 생물학적 네트워크입니다. 그들은 자신들의 새로운 방법을 표준적인 방식 및 가계도를 웹에 추가하기 위해 추가적인 선들을 지도에 더하는 방식의 구식 기술과 비교했습니다.

결과는 명확하고 일관적이었습니다. 컴퓨터의 내부적 이해가 알려진 가계도와 일치하도록 부드럽게 유도하는 특별한 수학적 페널티를 사용함으로써, 연구진은 누락된 연결을 찾는 시스템의 능력을 크게 향상시켰습니다. "시맨틱 로스(semantic loss)"라고 부르는 이 새로운 방법은 가계 관계를 그래프에 추가적인 연결로 단순히 삽입하는 것보다 더 효과적이었습니다. 실제로 생물학적 데이터 세트에서 이 개선은 상당했는데, 표준 방식에 비해 정확도를 15% 높였습니다. 다른 데이터 세트에서도 2%에서 8% 사이의 긍정적인 성과를 보였습니다. 아마도 가장 중요한 점은, 이 더 똑똑한 학습 방식이 지도를 만드는 데 추가적인 선을 더하는 방식보다 더 적은 컴퓨터 자원을 사용하면서도 이러한 결과를 달성했다는 것입니다.

연구진은 이 접근 방식의 성공이 가용 가능한 가계도 정보의 품질과 깊이에 크게 의존한다는 것을 발견했습니다. 약물, 질병, 단백질에 대한 풍부하고 상세한 계층 구조를 가진 생물학적 데이터 세트에서 가장 극적인 개선이 나타났습니다. 더 얕고 불완전한 가계도를 가진 일반 지식 데이터 세트는 더 완만한 이득을 보였습니다. 이는 이 기술이 어디서나 동일하게 잘 작동하는 마법의 탄환은 아니며, 오히려 학습 과정을 안내할 수 있는 깊고 구조화된 지식이 있을 때 빛을 발하는 강력한 도구임을 시사합니다. 이 연구는 컴퓨터가 이미 인간이 구축한 논리적 구조와 자신의 내부 지도를 일치시키도록 권장될 때, 복잡한 데이터를 탐색하는 데 훨씬 더 효과적이 된다는 것을 보여줍니다.

이것이 어떻게 작동하는지 이해하려면, 이러한 시스템이 학습하는 방식을 살펴보아야 합니다. 전통적으로 컴퓨터는 이미 존재하는 연결 패턴을 연구함으로써 누락된 연결을 예측하는 법을 배웁니다. 컴퓨터는 모든 엔티티(entity)에 대해 단순화된 수치적 표현을 만들어, 유사한 것들이 서로 가까이 위치하게 되는 가상 공간에 배치합니다. 문제는 가이드가 없다면, 컴퓨터는 특정 종류의 암을 일반적인 "질병" 범주로부터 멀리 떨어뜨려 놓을 수 있다는 것입니다. 비록 우리는 그것이 질병에 속한다는 것을 알고 있음에도 말입니다. 새로운 방법은 "만약 A가 B의 유형이라고 생각한다면, 당신의 내부 지도는 A가 B의 공간 안에 있어야 한다"라는 규칙을 도입합니다. 이는 학습의 매 단계마다 컴퓨터의 내부 지도를 확인하고, 계층 구조가 위반될 경우 작은 수정을 적용함으로써 수행됩니다. 이 수정은 컴퓨터가 반드시 복종하도록 강요하는 엄격한 규칙이 아니라, 관찰된 연결과 논리적 가계도를 모두 만족시키는 해답을 찾도록 독려하는 부드러운 압력입니다.

연구진은 결과의 견고함을 보장하기 위해 세 가지 뚜럽 다른 데이터 세트에서 이를 테스트했습니다. 첫 번째인 AIFB는 사람, 프로젝트, 조직에 관한 작은 규모의 사실 모음입니다. 두 번째인 CoDEx는 엔터테인먼트에서 과학에 이르기까지 위키피디아에서 추출한 거대한 다중 도메인 그래프입니다. 세 번째인 BioKG는 기능, 질병, 부작용, 단백질, 약물을 연결하는 전문적인 생물학적 네트워크입니다. 각 데이터 세트는 단순한 목록부터 깊고 복잡한 계층 구조에 이르기까지 고유한 가계도 구조를 가지고 있었습니다. 연구진은 새로운 방법을 두 가지 다른 접근 방식과 비교했습니다: 가계도를 완전히 무시하는 표준 모델, 그리고 가계도를 그래프에 추가적인 연결로 삽입하여 통합하려는 모델입니다.

결과는 새로운 방법이 모든 분야에서 두 경쟁자를 압도했음을 보여주었습니다. 생물학적 데이터 세트에서 새로운 방식은 표준 모델에 비해 연결 예측 정확도를 15% 향상시켰습니다. 학술 데이터 세트에서는 거의 8%, 일반 지식 데이터 세트에서는 약 2.5%의 개선이 있었습니다. 결정적으로, 새로운 방법은 추가적인 연결을 더하는 방식보다 더 우수했습니다. 실제로 추가적인 연결을 더하는 것은 특히 생물학적 데이터 세트에서 성능을 악화시키기도 했는데, 이는 아마도 해당 작업의 특정 목적에 직접적인 도움이 되지 않는 정보들로 그래프를 복잡하게 만들었기 때문일 것입니다. 반면, 새로운 방법은 그래프를 깨끗하게 유지하면서 가계도 정보를 물리적인 추가물이 아닌 가이드 원칙으로 사용했습니다.

연구진은 또한 컴퓨터의 내부적 이해가 시간이 지남에 따라 어떻게 변하는지 살펴보았습니다. 그들은 컴퓨터가 가계도를 얼마나 잘 준수하는지를 나타내는 척도인 "로스(loss)"를 추적했습니다. 그들은 이 척도가 꾸준히 감소하는 것을 발견했는데, 이는 컴퓨터가 내부 지도를 논리적 계층 구조와 일치시키도록 성공적으로 학습하고 있음을 의미합니다. 그러나 개선의 속도와 정도는 데이터의 유형에 따라 달랐습니다. 깊고 상세한 계층 구조를 가진 생물학적 범주들은 가장 유의미한 정렬을 보여주었습니다. 더 복잡하고 다양한 부작용 범주들은 더 많은 변동을 보였습니다. 이는 이 방법이 기초가 되는 가계도가 잘 정의되어 있고 일관적일 때 가장 효과적임을 나타냅니다.

가장 실용적인 발견 중 하나는 이 더 똑똑한 학습 방식이 또한 더 효율적이었다는 점입니다. 그래프에 추가적인 연결을 더하는 방식은 특히 대규모 생물학적 데이터 세트에서 훨씬 더 많은 컴퓨터 메모리와 처리 능력을 요구했습니다. 가계도를 물리적인 추가물이 아닌 가이드 규칙으로 사용한 새로운 방법은 더 적은 자원으로 더 나은 결과를 달성했습니다. 이러한 효율성은 이 기술이 이를 실행하는 컴퓨터 시스템에 과부하를 주지 않고도 더 크고 복잡한 네트워크로 확장될 수 있음을 의미하기 때문에 중요합니다.

이 연구는 논리적 계층 구조를 학습 과정에 포함하는 것이 기계가 복잡한 데이터를 이해하는 방식을 개선하는 강력한 방법이라는 결론을 내립니다. 이는 세상의 구조에 대해 컴퓨터를 가르치는 최선의 방법이 단순히 연결을 보여주는 것뿐만 아니라, 그 연결을 지배하는 규칙을 상기시켜 주는 것이라는 점을 시사합니다. 그렇게 함으로써 컴퓨터는 데이터에 대한 더 정확하고 신뢰할 수 있는 지도를 구축하며, 누락된 것을 더 잘 예측할 수 있게 됩니다. 이 접근 방식은 데이터 자체의 필요성을 대체하는 것이 아니라 데이터가 사용되는 방식을 강화하여, 단순한 사실의 웹을 인간이 지식을 조직하는 방식과 닮은 구조적이고 논리적인 시스템으로 탈바꿈시킵니다. 이 연구 결과는 의학에서 과학 연구에 이르기까지 사물 간의 관계를 이해하는 것이 결정적인 분야에서 더 지능적인 시스템을 구축하기 위한 명확한 경로를 제시합니다.