Sparse Poisson Log Normal Model for Zero-Inflated Multivariate Count Data

우유 생산의 숨겨진 세계 속에서, 보이지 않는 박테리아 공동체는 생우유를 치즈로 변형시키기 위해 끊임없이 움직입니다. 과학자들은 농장의 공기, 물, 유두, 그리고 우유 자체에서 채취한 샘플에 각 종이 얼마나 존재하는지 계산하며 이 미생물 이웃들의 지도를 그리기 위해 오랫동안 노력해 왔습니다. 그러나 이러한 수치들은 고집스러운 통계적 난제를 안겨줍니다. 많은 샘플에서 전체 종이 누락되어 나타나며, 이는 '0'의 바다를 형성합니다. 때로는 어떤 종이 해당 환경에 실제로 존재하지 않기도 하지만, 다른 경우에는 존재함에도 불구하고 샘 샘플링 방식이 단순히 놓쳐버린 아주 희귀한 경우도 있습니다. 진정한 부재와 탐지 실패를 구분하는 것은 어렵지만, 식단, 계절, 그리고 농장 조건이 이러한 미생물 생태계를 어떻게 형성하는지 이해하는 데 있어 매우 중요합니다. 연구자들이 이러한 박테리아 수치를 환경적 요인과 연결하려고 할 때, 쏟아지는 '0'의 수치는 결과값을 왜곡하여 어떤 요인이 실제로 중요한지, 아니면 그저 노이즈에 불과한지를 구별하기 어렵게 만듭니다.

이를 해결하기 위해 프랑스의 한 연구팀은 이 복잡한 데이터 세트를 분석하는 새로운 방법을 개발했습니다. 그들은 살아있는 생물체의 수를 다루기 위해 설계된 특정 유형의 수학적 모델인 '포아송 로그-노멀(Poisson Log-Normal)' 모델에 주목했습니다. 이 표준 도구는 종이 적절한 숫자로 존재할 때는 잘 작동하지만, 데이터가 '0'으로 넘쳐날 때는 어려움을 겪습니다. 연구자들은 명확한 그림을 얻기 위해서는 종이 실제로 부재하여 발생하는 '0'과 샘플링 과정 중 우연히 발생하는 '0'을 분리해야 한다는 점을 깨달았습니다. 그들은 이 두 종류의 '0'을 다르게 취급하는 기존의 '제로-인플레이티드 포아송 로그-노멀(Zero-Inflated Poisson Log-Normal)' 모델을 기반으로 연구를 진행했으나, 이 모델 역시 잠재적인 환경 요인이 많아질 경우 너무 복잡해진다는 것을 발견했습니다.

연구팀이 해결한 핵심 과제는 바로 '선택'의 문제였습니다. 전형적인 농장 연구에서는 목초지에서 생산된 우유의 비율, 젖산균의 수, 또는 우유 내 체세포 수와 같이 고려해야 할 수십 가지 변수가 있을 수 있습니다. 수백 종의 박테리아를 이 모든 변수와 대조하여 분석할 때, 발견되는 많은 연결 고리는 단순한 우연일 가능성이 높습니다. 연구자들은 중요한 신호를 실수로 버리거나 무관한 것을 남기지 않으면서, 오직 진정으로 박테리아에 영향을 미치는 요인만을 가려낼 수 있는 방법이 필요했습니다. 그들은 매우 정밀한 필터처럼 작동하여, 중요하지 않은 변수의 영향력을 완전히 '0'까지 줄여 모델에서 효과적으로 제거하면서도 중요한 변수는 그대로 유지할 수 있는 기술을 활용했습니다.

연구팀은 이 필터링 기술을 제로-인플레이티드 모델과 결합하여 '스파스 제로-인플레이티드 포아송 로그-노멀(Sparse Zero-Inflated Poisson Log-Normal)'이라 부르는 새로운 접근 방식을 만들었습니다. 이 방식에서 컴퓨터는 단순히 어떤 변수가 중요한지 추측하는 것이 아니라, 필터를 점진적으로 조여가며 가장 유의미한 관계만 남을 때까지 체계적으로 테스트합니다. 이 과정은 모든 가능성을 넓게 보는 관점에서 시작하여, 실제 동인을 보여주는 날카롭고 집중된 그림으로 나아가는 정교한 알고리즘을 포함합니다. 연구진은 먼저 정답을 미리 알고 있는 시뮬레이션 데이터를 통해 이 방법이 올바른 변수를 식별하고 잘못된 변수를 무시할 수 있는지 확인했습니다. 이 테스트 결과, 그들의 방법이 데이터에 '0'이 가득할 때 이전의 접근 방식들보다 진정한 연결 고리를 찾고 허위 경보를 피하는 데 더 뛰어남을 입증했습니다.

그 후, 그들은 프랑스 오베르뉴(Auvergne) 지역의 우유 생산 연구에서 얻은 실제 데이터에 이 방법을 적용했습니다. 데이터는 14개 농장에서 여름과 겨울 동안 수집되었으며, 공기, 물, 깔개, 그리고 암소의 유두를 포함한 7가지 서로 다른 생태계를 다루었습니다. 연구진은 특히 유두에서 발견되는 박테리아에 초점을 맞추어, 한 시나리오에서는 49개의 박테리아 속(genera)을, 다른 시나리오에서는 84개를 분석했습니다. 그들은 소의 식단이나 우유 내 박테리아 수와 같은 요인들이 유두의 특정 박테리아 존재에 어떤 영향을 미치는지 알고 싶었습니다. 분석을 실행했을 때, 새로운 모델은 표준 방식보다 훨씬 더 명확한 그림을 제공했습니다. 이 모델은 무관한 요인들로 인한 혼란을 제거함으로써, 실제로 중요한 변수들로 이루어진 더 작고 신뢰할 수 있는 집합을 성공적으로 식별해 냈습니다.

결과는 서로 다른 종류의 '0'을 고려하는 것이 필수적임을 보여주었습니다. '0'의 차이를 구분하지 못한 모델들은 노이즈가 너무 많거나 혹은 너무 빈약한 추정치를 내놓아 실제 연결 고리를 놓치는 경향이 있었습니다. 새로운 방법은 모델을 이해할 수 있을 만큼 단순하게 유지하면서도 정확할 만큼 상세하게 만드는 균형을 잡았습니다. 실제 데이터에서 연구진은 이 접근 방식이 환경 조건과 강력하게 연결된 특정 박테리아 그룹을 식별해 냈음을 발견했으며, 이는 농장의 미생물 경관에 대한 더 신뢰할 수 있는 지도를 제공했습니다. 비록 이 방법이 데이터 세트의 모든 개별 숫자를 예측하는 데 있어 항상 가장 낮은 오차를 기록하는 것은 아니었지만, 연구의 주된 목표인 '환경과 미생물 사이의 진정한 관계를 찾는 것'에는 탁월한 성능을 보였습니다.

이 연구는 복잡하고 결측치가 많은 생물학적 데이터를 다룰 때, '0'을 처리하는 방식이 데이터 자체만큼이나 중요하다는 것을 보여줍니다. 적절한 변수를 선택하는 도구를 정교화함으로써, 연구진은 농장 관리 관행이 미생물의 세계에 어떻게 영향을 미치는지 이해할 수 있는 더 신뢰할 수 있는 방법을 제시했습니다. 그들의 접근 방식은 단순히 박테리아의 수를 세는 것이 아니라, 어떤 요인이 미생물 공동체를 형성하는지를 이해하도록 도와줌으로써 생태학 및 농업 분야의 향후 연구를 위한 더 명확한 길을 열어줍니다. 이 방법은 부재(absence)가 존재(presence)만큼이나 유익한 정보를 제공하는 카운트 데이터(count data)를 해석하려는 모든 이들에게 실질적인 개선책이 될 것입니다.