Nonparametric Bayesian inference for the Gini-Simpson index

당신이 거대하고 북적이는 도시에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 당신은 단 한 명의 범인을 찾는 것이 아니라, 전체 인구의 다양성을 이해하려고 노력하고 있습니다. 소수의 아주 유명한 셀러브리티와 백만 명의 이름 없는 엑스트라가 있는 것일까요? 아니면 모두가 똑같이 유명한 것일까요? 과학의 세계에서 이 "도시"는 종종 숲이나 산호초, 또는 우리 몸속에 사는 아주 작은 미생물이 되기도 합니다. 이러한 장소를 연구하는 과학자들에게는 이 군중이 얼마나 "뒤섞여 있는지" 또는 "다양한지"를 측정할 방법이 필요합니다. 그들은 **지니-심슨 지수(Gini–Simpson index)**라는 특별한 수학 도구를 사용합니다. 이 지수를 "놀라움 측정기"라고 생각해 보십시오. 만약 당신이 군중 속에서 무작위로 두 사람을 뽑는다면, 그들이 서로 다를 확률은 얼마나 될까요? 만약 모두가 같다면 놀라움은 0입니다. 만약 모두가 독특하다면 놀라움은 엄청나게 커집니다. 이 측정값은 생태학자, 유전학자, 심지어 신경과학자들이 그들의 시스템이 얼마나 건강하고 복잡한지를 이해하도록 돕습니다.

하지만 이 "놀라움"을 측정하는 것은 까다로운 일입니다. 도시의 모든 사람을 일일이 셀 수는 없으며, 오직 작은 표본만을 추출할 수 있기 때문입니다. 작은 표본으로부터 전체 그림을 추측하기 위해, 과학자들은 **베이지안 추론(Bayesian inference)**이라는 방법을 사용합니다. 이것을 정보를 모으기 전의 "직감"(사전 확률, prior)과 정보를 모으면서 그 직감을 업데이트하는 과정이라고 상상해 보십시오. 문제는 만약 당신의 직감이 틀렸다면, 당신의 최종 추측도 틀리게 된다는 점입니다. 오랫동안 과학자들은 도시의 다양성이 매우 특정한, 경직된 방식으로 작동한다고 가정하는 표준적인 "직감" 모델을 사용해 왔습니다. 피에르 조반니 비시리(Pier Giovanni Bissiri), 리카르도 코라디니(Riccardo Corradini), 안드레아 오나로(Andrea Ongaro)가 작성한 이 논문은 기존의 이 모델이 결함이 있다고 주장합니다. 그들은 다양성을 추측하는 표준적인 방식이 종의 수가 많다는 이유만으로 답을 "매우 다양하게" 몰아가는 경향이 있다고 지적합니다. 저자들은 초기 "직감"을 설정하는 더 유연한 새로운 방법을 제안하며, 이는 종의 수와 그들이 얼마나 고르게 퍼져 있는지를 분리해 냅니다. 그들은 자신들의 새로운 방법이 도시의 인구가 고정되어 있든, 혹은 무한히 늘어나는 군중이든 상관없이 훨씬 더 명확하고 정직한 그림을 제공한다는 것을 보여줍니다.

기존 "직감"의 문제점

저자들이 왜 기존의 방식을 뒤흔들려 하는지 이해하기 위해, 우리가 보통 인구의 다양성을 어떻게 추측하는지 살펴봅시다. 당신이 거대한 아이스크림 가게의 맛 분포를 추측하려고 한다고 가정해 봅시다. 당신은 몇 개의 스쿱(당신의 표본)을 가지고 있으며, 이를 통해 가게 전체의 맛을 추측하고자 합니다.

수십 년 동안 표준적인 레시피는 대칭 디리클레(Symmetric Dirichlet, SD) 분포를 가정하는 것이었습니다. 쉬운 말로 설명하자면, 이것은 "나는 어떤 맛이 인기 있는지 모르니, 모든 맛이 똑같이 나타날 것이라고 가정하고, 맛의 종류가 아무리 많아지더라도 이 규칙을 고수하겠다"라고 말하는 것과 같습니다. 저자들은 이 논리에 중대한 결함을 발견했습니다. 만약 이 오래된 레시피를 사용한다면, 당신의 "직감"은 단순히 맛의 종류가 많아진다는 이유만으로 자동으로 아이스크림 가게의 상태를 변화시킨다는 것을 발견했습니다.

여기 이상한 점이 있습니다. 기존 SD 모델 하에서는, 만약 당신이 100가지 맛이 있다고 가정하면 모델은 자동으로 그 가게가 완벽하게 균형 잡혀 있다(모든 맛의 양이 동일하다)고 생각합니다. 하지만 만약 1,000가지 맛이 있다고 가정하면, 모델은 가게가 훨씬 더 완벽하게 균형 잡혀 있다고 생각합니다. 마치 모델이 "더 많은 종류 = 완벽한 균등"이라는 편향을 가진 것처럼 행동하는 것입니다. 이것은 실제 세상에서 종의 수가 많다고 해서 그것이 반드시 모두 똑같이 흔하다는 것을 의미하지 않기 때문에 문제입니다. 어떤 종은 희귀할 수도 있고, 어떤 종은 지배적일 수도 있습니다. 기존 모델은 실제 데이터가 무엇을 보여주든 상관없이, 종의 수가 많다는 이유만으로 답이 "너무 다양하고" "너무 균등하게" 보이도록 강제합니다.

새로운 "역동적" 레시피

이를 해결하기 위해 저자들은 역동적 디리클레(Dynamic Dirichlet, DD) 모델이라고 부르는 새로운 초기 추측 설정 방식을 도입합니다.

기존 모델을 가게의 규모가 커지든 말든 아이스크림 맛의 균형에 대해 생각을 바꾸기를 거부하는 딱딱한 로봇이라고 생각하십시오. 새로운 DD 모델은 영리하고 적응력이 뛰어난 셰프와 같습니다. 이 셰프는 가게가 커지면(종이 많아지면) 맛의 "균형"이 자동으로 완벽해져서는 안 된다는 것을 알고 있습니다. 대신, 셰프는 새로운 맛이 추가되더라도 맛의 "균등함"이 일정하게 유지되도록 규칙을 조정합니다.

기술적인 용어로, 저자들은 "집중 매개변수"(모델이 균형이라는 개념을 얼마나 신뢰하는지를 조절하는 숫자)가 종의 수에 의존하게 함으로써, 이전에는 서로 엉켜 있었던 두 가지 요소를 분리할 수 있음을 보여줍니다:

1. 풍부도(Richness): 얼마나 다양한 종이 있는가?
2. 균등도(Evenness): 그 종들이 얼마나 고르게 분포되어 있는가?

기존 모델에서는 하나를 언급하면 다른 하나를 의도치 않게 변화시키게 됩니다. 하지만 새로운 DD 모델을 사용하면, "우리는 50종의 종을 가지고 있으며, 이들은 매우 불균등하다"라고 말할 수 있습니다. 수학이 당신에게 완벽하게 균등하다고 믿도록 강요하지 않기 때문입니다. 이는 수학을 훨씬 더 정직하고 해석하기 쉽게 만듭니다.

군중이 무한할 때는 어떻게 되는가?

이 논문은 또한 가장 무서운 시나리오를 다룹니다. 만약 종의 수가 무한하다면 어떻게 될까요? 자연계에서 미생물이나 유전적 변이 같은 경우 이는 흔한 가정입니다. 무한한 군중을 위한 표준 도구는 **디리클레 프로세스(Dirichlet Process, DP)**입니다.

저자들은 DP 모델이 다소 경직되어 있다는 점을 발견했습니다. 이 모델은 평균적인 다양성과 다양성이 변할 수 있는 정도를 모두 조절하는 데 단 하나의 노브(조절기)만을 가지고 있습니다. 이것은 마치 자동차의 핸들과 가속 페달이 서로 붙어 있어서, 속도를 높이려면 반드시 방향을 틀어야만 하는 상황과 같습니다. 이는 높은 다양성을 원하면서도 불확실성은 낮게 유지하고 싶거나, 그 반대의 경우처럼 실제 세계의 상황을 모델링하기 어렵게 만듭니다.

이를 해결하기 위해 그들은 푸아송-디리클레(Poisson–Dirichlet, PD) 프로세스(Pitman–Yol process라고도 함)라는 더 발전된 도구를 사용할 것을 제안합니다. 이 모델은 하나의 노브 대신 두 개의 노브를 가지고 있습니다. 이를 통해 과학자들은 다양성과 불확실성을 독립적으로 미세하게 조정할 수 있습니다. 저자들은 이 모델이 훨씬 더 유연하며 종의 수가 매우 많을 때 더 잘 작동한다는 것을 보여줍니다. 이는 몇몇 종이 모든 것을 지배한다고 가정하는 "부익부 빈익빈"의 함정을 피하게 해줍니다. 이는 항상 사실인 것은 아닙니다.

"볼록 결합"의 마법

이 논문에서 가장 아름다운 발견 중 하나는 최종 답이 어떻게 계산되는지에 대한 것입니다. 저자들이 새로운 모델(DD 및 PD)을 사용할 때, Gini-Simpson 지수에 대한 최종 추정치는 **볼록 결합(convex combination)**으로 나타납니다.

당신이 온도를 추측하려고 한다고 상상해 보십시오. 당신에게는 두 가지 정보원이 있습니다:

1. 데이터: 거리에서 측정한 온도계의 읽기 값 (빈도주의 추정량).
2. 추측: 평소 온도가 어떠했는지에 대한 당신의 기억 (사전 기대값).

저자들은 새로운 모델들이 이 두 정보원을 완벽하게 결합한다는 것을 보여줍니다. 최종 답은 온도계의 읽기 값과 당신의 기억 사이의 가중 평균입니다.

• 데이터가 많을수록(거대한 표본), 온도계가 승리하며 당신의 추측은 거의 중요하지 않게 됩니다.
• 데이터가 매우 적을 경우, 당신의 기억(사전 확률)이 더 큰 비중을 갖습니다.

결정적으로, 기존 모델에서는 이 가중치가 복잡했으며 종의 수에 따라 혼란스러운 방식으로 의존했습니다. 하지만 새로운 DD와 PD 모델을 사용하면, 이 가중치는 깔끔하고 논리적입니다. 이는 마치 "데이터 70%, 추측 30%로 섞으시오"라고 적힌 레시피와 같으며, 여기서 70%와 30%는 숨겨진 수학적 함정이 아니라 단순히 당신이 가진 데이터의 양에 의해 결정됩니다.

실제 개구리 데이터를 통한 이론 검증

그들의 아이디어가 작동한다는 것을 증명하기 위해, 저자들은 단순히 종이 위에서 수학 계산만 한 것이 아니라 실제 데이터로 테스트했습니다. 그들은 북미의 Ranidae(개구리과) 종에 대한 71,856개의 관찰 데이터를 살펴보았습니다. 그들은 109개의 뚜렷한 종을 발견했습니다.

그들이 이 데이터에 새로운 모델을 적용했을 때, 결과는 장기적으로(점근적으로) 기존 방식과 일치했습니다. 즉, 무한한 데이터가 있다면 모두가 동의할 것이라는 뜻입니다. 그러나 실제 가지고 있던 데이터의 양(유한한 표본)을 기준으로 했을 때, 새로운 모델은 훨씬 더 합리적인 결과를 보여주었습니다. 새로운 모델은 기존 모델의 "완벽하게 균등함"이라는 함정에 빠지지 않았습니다. 저자들은 새로운 접근 방식이 불확실성을 훨씬 더 잘 처리하여, 과학자들에게 개구리 개체군이 실제로 얼마나 다양한지에 대한 더 명확한 시각을 제공한다는 것을 보여주었습니다.

핵심 요약

이 논문은 단순히 공식을 수정하는 것이 아니라, 우리가 다양성을 생각하는 방식의 근본적인 결함을 바로잡습니다. 저자들은 종의 다양성을 추측하는 표준적인 방식(Symmetric Dirichlet)이 인구의 모습을 실제보다 더 균형 잡힌 것처럼 보이게 만드는 숨겨진 편향을 가지고 있음을 입증합니다. 유한한 군중을 위한 역동적 디리클레(Dynamic Dirichlet) 모델과 무한한 군중을 위한 푸아송-디리클레(Poisson–Dirichlet) 모델로 전환함으로써, 과학자들은 이제 자연계를 더 정확하고 유연하며 해석 가능한 방식으로 그려낼 수 있게 되었습니다.

이 논문은 새로운 모델들이 수학적으로 타당하며, 데이터가 증가함에 따라 일관된 추정치를 생성하고, 불확실성을 정량화하는 훨씬 더 나은 방법을 제공한다는 것을 증명합니다. 이는 과학에서 가장 확립된 "경험 법칙"조차도 점검이 필요하다는 것을 상기시켜 줍니다. 왜냐하면 때때로 복잡한 군중을 이해하는 최선의 방법은 모두가 같다고 가정하는 것을 멈추고, 데이터의 목소리에 귀를 기울이는 것이기 때문입니다.