Simulation-consistent Estimation of the Marginal Likelihood for Block Models

당신이 수천 명의 사람들이 뒤섞여 떠들고 이야기를 나누는 거대하고 혼란스러운 파티장에 들어선다고 상상해 보십시오. 당신의 목표는 누가 어떤 그룹에 속하는지 파악하는 것입니다. 구석에서 최신 SF 영화에 대해 토론하는 사람들은 펀치 볼 옆에서 기후 변화를 논쟁하는 사람들과는 다른 무리일까요? 데이터 과학의 세계에서 이 파티는 '네트워크'이며, 이 그룹들은 '클러스터(군집)'라고 불립니다. 과학자들은 이 보이지 않는 사회적 원을 지도화하기 위해 '블록 모델(block models)'이라는 수학적 도구를 사용합니다. 하지만 여기서 까다로운 점이 있습니다. 파티에 몇 개의 그룹이 있는지 정답을 모르는 상태에서 완벽한 그룹 수를 추측하는 것과 마찬가지로, 당신이 찾은 그룹의 수가 '맞는' 것인지 확인하는 것은 매우 어렵습니다. 5개의 그룹이 있을 수도 있고, 50개가 있을 수도 있지만, 이를 확인할 신뢰할 만한 방법이 없다면 완전히 틀릴 수도 있습니다. 이는 매우 큰 문제입니다. 왜냐하면 그룹의 수를 정확하게 셀 수 없다면, 네트워크를 통해 정보, 아이디어, 심지어 바이러스가 어떻게 퍼져나가는지 이해할 수 없기 때문입니다.

여기서 THAMES(Truncated Harmonic Mean Estimator for Block Models, 블록 모델을 위한 절단 조화 평균 추정기)라는 새로운 방법이 등장합니다. 이 방법은 마치 초스마트한 시뮬레이션 기반의 탐정처럼 작동합니다. 마틴 메토디에프(Martin Metodiev)와 동료들이 이끄는 연구진은 다양한 그룹 구성의 '점수'를 계산하여 어떤 것이 가장 타당한지를 판단할 수 있는 도구를 구축했습니다. 기존의 방법들은 종종 막히거나, 포기하거나, 혹은 터무니없이 불안정한 결과를 내놓곤 하지만, THAMES는 '시뮬레이션 일관성(simulation-consistent)'을 갖도록 설계되었습니다. 이것은 마치 수프를 맛보는 것과 같습니다. 한 숟가락만 맛봐서는 충분히 짭짤한지 알 수 없을지도 모릅니다. 하지만 더 많은 숟가락(시뮬레이션)을 계속 맛본다면, 당신의 미각은 점점 더 정확해져서 결국 확신을 갖게 될 것입니다. THAMES는 네트워크 데이터에 대해 이 작업을 수행하여, 과학자들이 거대하고 무질서한 데이터셋에서도 숨겨진 그룹의 진정한 숫자를 자신 있게 결정할 수 있도록 해줍니다. 연구진은 이를 대규모 기후 회의에 관한 수백만 건의 게시물을 포함한 실제 사례에 적용하여, 다른 방법들이 혼란을 겪는 곳에서도 명확한 패턴을 찾아낼 수 있음을 입증했습니다.

문제점: "레이블 스위칭(Label Switching)"의 혼란

이 새로운 도구가 왜 특별한지 이해하려면 먼저 데이터의 무질서함을 살펴봐야 합니다. 색깔이 있는 구슬 더미를 양동이에 분류한다고 상상해 보십시오. 빨간색, 파란색, 초록색 구슬이 있습니다. 하지만 컴퓨터의 마음속에서는 오늘 '빨간색' 양동이가 '양동이 1'이라고 불렸다가, 내일은 똑같은 구슬을 담고 있음에도 '양동이 3'이라고 불릴 수 있습니다. 이것을 레이블 스위칭(label switching) 현상이라고 합니다.

네트워크를 분석하는 데 사용되는 복잡한 수학에서는, 컴퓨터가 그룹을 파악하기 위해 수천 번의 시뮬레이션(가상 실험과 유사함)을 실행합니다. 레이블 스위칭 때문에 컴퓨터는 이번 실행에서는 "좋아, 이번에는 기후 활동가들이 그룹 A야"라고 했다가, 다음 실행에서는 "기후 활동가들은 그룹 B야"라고 말할 수 있습니다. 만약 이 결과들을 평균 내려고 한다면, 거대하고 혼란스러운 덩어리가 되어버립니다. 이는 마치 사람의 키를 잴 때마다 이름을 무작위로 다른 사람과 바꾼다면, 그 집단의 평균 키를 계산하는 것이 무의미해지는 것과 같습니다. 평균값은 쓸모없어집니다.

기존의 대부분의 네트워크 그룹 카운팅 방법은 이 문제로 인해 어려움을 겪습니다. 데이터가 너무 커지면 무너지거나, 이론적으로는 잘 작동하지만 실제로는 터무니없이 부정확할 수 있는 지름길(근사치)에 의존합니다. 어떤 방법들은 유리병 안의 젤리빈 개수를 유리잔을 보고 추측하는 것과 같고, 어떤 방법들은 병을 흔들면서 젤리빈들이 서로 달라붙지 않기를 바라는 것과 같습니다. 저자들은 이러한 기존 방식들이 특히 데이터가 유한하거나(무한하지 않음) 그룹 간의 구분이 어려울 때 종종 신뢰할 수 없다고 주장합니다.

해결책: "절단된(Truncated)" 탐정, THAMES

이 논문은 THERS라는 새로운 방식의 '주변 가능도(marginal likelihood)' 계산법을 소개합니다. 쉽게 말해, 주변 가능도는 특정 숫자의 그룹이 현재 가진 데이터를 얼마나 잘 설명하는지를 알려주는 점수입니다. 점수가 높을수록 그 모델이 데이터에 더 잘 부합한다는 것을 의미합니다.

저자들은 두 가지 기존 아이디어를 결합하되 그 치명적인 결함들을 수정하여 THAMES를 만들었습니다.

1. 조화 평균 추정기(Harmonic Mean Estimator): 계산하기는 쉽지만 매우 불안정하기로 악명 높은 오래된 기술입니다. 이것은 마치 허리케인 속에서 카드 집을 균형 잡으려는 것과 같습니다. 작은 돌풍(이상한 데이터 포인트) 하나에도 전체가 무너질 수 있습니다.
2. 변분 근사법(Variational Approximation): 문제의 단순화된 버전을 바탕으로 한 빠르고 스마트한 추측입니다. 보통은 정확하지만, 단순화된 모델이기 때문에 편향(약간의 오류)이 생길 수 있습니다.

THAMES는 이 두 세계의 장점을 모두 취합니다. THAMES는 스마트한 추측을 사용하여 '절단 집합(truncation set)', 즉 집중해야 할 가장 가능성 높은 그룹 구성 목록을 정의합니다. 이 과정에서 이상하고 가능성이 낮은 아웃라이어(분포의 '꼬리' 부분)를 무시함으로써, 기존 조화 평균 방식의 불안정성을 피합니다. 동시에, 실제 시뮬레이션 데이터를 사용하여 결과의 정확성을 확보함으로써 단순화된 추측의 편향을 방지합니다.

결정적으로, THAMES는 **대칭적(symmetric)**입니다. 즉, 컴퓨터가 그룹을 '클러스터 1'이라고 부르든 '클러스터 100'이라고 부르든 상관하지 않습니다. 모든 그룹을 하나의 통일된 집합으로 취급합니다. 이를 통해 레이블 스위칭 문제를 자동으로 해결합니다. 컴퓨터가 그룹의 이름을 바꾸더라도 THAMES 점수는 정확히 동일하게 유지됩니다. 이는 마치 참가자의 이름이 아니라 오직 공연의 '질'에만 관심을 갖는 심사위원과 같습니다.

증명: 시뮬레이션과 실전 테스트

저자들은 단순히 이 도구를 만든 것에 그치지 않고, 혹독한 검증 과정을 거쳤습니다.

시뮬레이션 테스트:
그들은 정답(진정한 그룹의 수)을 알고 있는 가상의 네트워크를 생성했습니다. 그리고 THAMES를 기존의 조화 평균 추정기와 ChibPartition이라는 방법과 비교 테스트했습니다.

• 결과: 시뮬레이션 횟수가 증가함에 따라(1,000회에서 10,000회로), THAMES의 계산 오차는 꾸준히 감소했습니다. 이는 THAMES가 '시뮬레이션 일관성'을 가졌음을 의미하며, 즉 시뮬레이션을 더 많이 실행할수록 진실에 가까워진다는 뜻입니다.
• 비교: 기존의 조화 평균 추정기는 데이터가 까다로울 때 완전히 실패하는 등 매우 불안정했습니다. ChibPartition 방법은 특정 그룹이 압도적으로 인기가 있을 때만 잘 작동했으며, 그룹들이 비슷하게 맞서 싸울 때는 무너졌습니다. 반면, THAMES는 모든 시나리오에서 안정적이고 정확했습니다.

실전 테스트: COP28
THAMES가 실제의 복잡한 상황을 처리할 수 있는지 확인하기 위해, 저자들은 2023년 유엔 기후 변화 회의(COP28)의 방대한 데이터셋에 이를 적용했습니다. 그들은 X(구 트위터)에서 100만 명 이상의 사용자가 참여한 400만 건 이상의 게시물을 수집했습니다. 데이터를 정제한 후, 약 11,000명의 사용자로 구성된 네트워크를 분석했습니다.

• 발견: THAMES는 이 네트워크가 12개의 뚜렷한 클러스터로 설명되는 것이 가장 적절하다고 판단했습니다.
• 대조: 이를 ICL(Integrated Complete Likelihood)이라는 인기 있는 대안 방법과 비교했을 것이, ICL은 37개의 클러스터가 있다고 제안했습니다.
• 통찰: 저자들이 ICL 방식의 37개 클러스터를 살펴보았을 때, 그 클러스터들이 '파편화'되어 있음을 발견했습니다. 예를 들어, ICL 방식은 영향력 있는 주요 인물들(알 고어, UN 기후 변화 등)의 핵심 그룹을 여러 개의 작고 분리된 그룹으로 쪼개 놓았습니다. 또한 #SaveSoil 운동을 네 개의 서로 연결되지 않은 클러스터로 나누었습니다.
• THAMES의 관점: 반면, THAMES가 찾아낸 12개의 클러스터는 사회학적으로 훨씬 더 타당했습니다. THAMES는 명확한 '핵심-주변부(core-periphery)' 구조를 식별했습니다. UN 기후 변화, 알 고어, COP28 UAE, 손실 및 피해 협력체, 안토니오 구테흐스로 구성된 단 5명의 사용자만 포함된 아주 작은 중앙 클러스터(클러스터 11)가 존재했습니다. 나머지 모든 사용자는 이 중앙 핵심부를 인용하거나 리포스트하는 '주변부' 그룹이었습니다. 이는 몇몇 지배적인 목소리가 대화를 주도하고 나머지 사람들이 그들에게 반응하는 별 모양의 패턴을 보여주었습니다.

저자들은 이러한 구조가 현실 세계와 일치한다고 언급합니다. 주요 기후 행사에는 서사를 주도하는 몇몇 중심 인물이 존재하며, 풀뿌리 운동이나 봇(bot)들이 그 주변을 맴도는 경우가 많습니다. THAMEs가 이 깔끔하고 논리적인 구조를 찾아낸 반면, 다른 방법은 37개의 작은 그룹이라는 혼란스러운 결과를 낸 것은, THAMES가 복잡한 사회적 네트워크의 '진정한' 숨겨진 구조를 찾는 데 더 뛰어나다는 것을 시사합니다.

이것이 중요한 이유

이 논문은 THAMES가 시뮬레이션 일관성(컴퓨팅 파워가 늘어날수록 더 정확해짐)과 레이블 스위칭 불변성(명명 규칙에 혼란을 느끼지 않음)을 모두 갖춘 최초의 방법이라는 점에서 중요한 진전이라고 결론짓습니다.

저자들은 이것이 마법처럼 모든 문제를 해결하는 해결책이라기보다는 '추정'과 '모델 선택'을 위한 도구임을 주의 깊게 밝히고 있지만, 그 결과는 매우 설득력이 있습니다. 우리는 스마트한 근사법과 엄격한 시뮬레이션을 결합함으로써, 디지털 세상의 숨겨진 형태를 훨씬 더 높은 확신을 가지고 측정할 수 있다는 것을 보여주었습니다. 기후 정보가 어떻게 퍼지는지, 정치적 버블이 어떻게 형성되는지, 혹은 질병이 인구 집단 사이에서 어떻게 이동하는지를 이해하든 간에, 그룹의 수를 세는 신뢰할 만한 방법을 갖는 것은 전체 그림을 이해하기 위한 첫 번째 단계입니다.

요약하자면, THAMES는 우리 사회적 네트워크의 숨겨진 모양을 측정하는 새롭고 신뢰할 수 있는 자이며, 때로는 정답을 추측하는 것보다 정밀하게 시뮬레이션하는 것이 진실을 찾는 최선의 방법임을 증명하고 있습니다.