Hyperedge Anomaly Detection with Hypergraph Neural Network

데이터 과학의 광활한 풍경 속에서 연구자들은 사물들이 어떻게 연결되는지 이해하기 위해 종종 지도를 활용합니다. 가장 흔한 지도는 단순한 그래프로, 이는 두 사람 사이의 우정이나 두 논문 사이의 인용처럼 한 번에 두 가지를 연결하는 구조입니다. 이러한 지도들은 강력하지만, 한 가지 약점이 있습니다. 세 개, 네 개, 혹은 수십 개의 사물이 하나의 집단으로서 상호작용할 때 발생하는 현상을 쉽게 보여주지 못한다는 점입니다. 이러한 복잡한 다방향 관계를 포착하기 위해 과학자들은 하이퍼그래프(hypergraph)라고 불리는 더 유연한 구조를 사용합니다. 하이퍼그래프에서는 단 하나의 연결이 전체 아이템의 집합을 묶을 수 있는데, 이는 마치 대화가 단지 두 친구 사이의 것이 아니라 그룹 전체에 속하는 단체 채팅방과 같습니다. 과학자들이 이 구조를 사용하여 정보를 분류하거나 링크를 예측하는 법을 익혀왔지만, 한 가지 중요한 질문은 여전히 해결되지 않은 채 남아 있었습니다. 바로 '속하지 않는 것들', 즉 이상한 그룹을 어떻게 찾아낼 것인가 하는 문제입니다. 이러한 이상치를 찾는 것은 조직적인 사기부터 희귀 질병 간의 상호작용을 잡아내는 일까지 매우 중요하지만, 이 복잡한 그룹 환경 내에서 이를 수행할 도구는 대체로 부족한 실정이었습니다.

다카 대학교와 매니토바 대학교의 연구팀은 HYPADE라고 부르는 새로운 접근 방식을 통해 이 공백을 메웠습니다. 그들의 연구는 이상치가 어떤 모습인지에 대한 사전 예시 없이도 하이퍼그래프 내의 이러한 특이한 그룹들을 자동으로 탐지하는 방법을 소개합니다. 머신러닝의 세계에서 이는 비지도 학습(unsupervised task) 작업으로 알려져 있으며, 이는 시스템이 '정상적인' 행동의 형태를 스스로 학습한 다음 그 패턴에서 벗어나는 것을 표시해야 함을 의미합니다. 연구진은 하이퍼그래프의 독특한 구조를 이해하도록 특별히 설계된 인간의 뇌에서 영감을 받은 유형의 컴퓨터 모델인 신경망을 구축했습니다. 이 모델은 단순히 개별 아이템만을 보는 대신, 전체 그룹을 하나의 개체로 인식하여 학습하며, 해당 그룹 내 모든 구성원의 특징을 분석하여 집단 자체가 의심스러운지를 판단합니다.

그들의 방법의 핵심은 학습과 비교라는 두 단계의 과정으로 이루어져 있습니다. 먼저, 모델은 네트워크 내의 개별 아이템으로부터 정보를 수집하여 각 그룹의 표현(representation)을 만듭니다. 이때 모델은 그룹 내의 다양성, 즉 구성원들이 서로 얼마나 다른지에 주목하는데, 왜냐하면 특이한 그룹은 대개 기이한 특성의 혼합을 보이기 때문입니다. 모델이 전형적인 그룹이 어떤 모습인지에 대한 정신적 이미지를 구축하고 나면, 관찰된 모든 그룹에 대한 중심점, 즉 일종의 평균을 계산합니다. 그런 다음 각 특정 그룹이 이 평균으로부터 얼마나 떨어져 있는지를 측정합니다. 그룹이 중심에 매우 가깝다면 정상적인 것으로 간물됩니다. 만약 중심에서 멀리 떨어져 있다면, 모델은 이를 이상치로 표시하며 높은 점수를 부여합니다. 이러한 동적인 접근 방식 덕분에 모델은 학습하면서 '정상'에 대한 이해를 조정할 수 있으며, 시스템이 단일하고 정보가 없는 하나의 점으로 붕괴되는 흔한 함정을 피할 수 있습니다.

이 아이디어가 실제로 작동하는지 테스트하기 위해, 연구팀은 생물학, 학술 연구, 사회적 네트워크 등 다양한 분야에서 추출한 6개의 실제 데이터셋에 알고리즘을 적용했습니다. 또한 모델이 다양한 유형의 데이터 구조를 처리할 수 있는지 확인하기 위해 6개의 합성 데이터셋도 만들었습니다. 결과는 놀라웠습니다. 버섯 종과 관련된 데이터셋에서 식용 품종과 독버섯을 구분하는 것을 목표로 했을 때, 이 새로운 방식은 모든 이상치를 정확히 식별하며 완벽한 점수를 기록했습니다. 과학 논문 및 저자 협업과 관련된 다른 복잡한 데이터셋에서도, 이 모델은 오래된 통계 기술이나 더 단순한 신경망에 의존하는 기존 방식들을 지속적으로 능가했습니다. 연구진은 그들의 접근 방식이 특히 효과적이었던 이유가 다른 도구들이 놓치는 미묘한 고차원적 관계를 포착할 수 있었기 때문임을 발견했으며, 이는 그룹 전체를 바라보는 것이 쌍(pair)을 보는 것보다 더 많은 패턴을 드러낸다는 것을 입증했습니다.

연구는 또한 그들의 구체적인 설계 선택이 왜 중요했는지도 탐구했습니다. 연구진은 고정되고 변하지 않는 평균점을 사용하는 모델과 그룹 구성원의 다양성을 무시하는 모델 등 모델의 변형들을 테스트했습니다. 이러한 테스트는 평균을 업데이트하는 기능과 그룹 내의 다양성에 주목하는 기능이 성공에 필수적임을 보여주었습니다. 이러한 특징들이 없다면 모델은 정상과 이상을 구분하는 데 어려움을 겪었습니다. 복잡한 다중 엔티티 구조에서 이상치를 찾기 위해 딥러닝을 어떻게 적응시킬 수 있는지 성공적으로 입증함으로써, 연구진은 데이터 과학자들에게 새로운 도구를 제공했습니다. 그들의 연구는 컴퓨터에게 그룹의 전체 맥락을 이해하도록 가르침으로써, 일상적인 데이터의 소음 속에 숨겨진 희귀하고 위험한 사건들을 더 잘 탐지할 수 있음을 시사합니다.