Population Mode Estimation Using Spline

데이터 연구에서 숫자는 종종 '전형적인' 값에 대한 이야기를 들려줍니다. 수십 년 동안 통계학자들은 군중을 요약하기 위해 두 가지 주요 등장인물에 의존해 왔습니다. 하나는 모든 것을 더한 뒤 개수로 나누는 평균이고, 다른 하나는 정렬된 목록의 정확한 중앙을 찾는 중간값입니다. 이러한 도구들은 데이터가 모래 더미처럼 꼭짓점이 정중앙에 위치하는 균형 잡히고 대칭적인 형태일 때 잘 작동합니다. 하지만 현실 세계는 그렇게 깔끔한 경우가 드뭅니다. 소득 분포, 생존 시간, 환경 측정값 등은 한쪽으로 크게 치우치거나 여러 개의 정점을 갖기도 하며, 이는 평균과 중간값이 가장 흔한 결과를 완전히 놓칠 수 있는 지형을 만들어냅니다. 이러한 왜곡되거나 복잡한 상황에서 진정한 '전형적'인 값은 데이터가 가장 밀집된 단일 지점, 즉 골짜기의 중간점이 아니라 산의 가장 높은 봉우리인 최빈값입니다. 이 봉우리를 찾는 것은 가장 일어날 법한 일이 무엇인지 이해하는 데 매우 중요하지만, 데이터를 매핑하는 데 사용되는 도구들이 최빈값을 흥미롭게 만드는 바로 그 특징들에서 걸려 넘어지는 경우가 많아 역사적으로 정밀하게 찾아내는 것이 어려웠습니다.

인도의 브레인웨어 대학교(Brainware University)의 한 연구자가 데이터를 점들의 들쭉날쭉한 집합이 아닌, 유연하고 매끄러운 표면처럼 다루는 새로운 방식을 개발했습니다. 데이터를 훑으며 모양을 짐작하는 전통적인 방식인 윈도우 슬라이딩 대신, 이 새로운 접근 방식은 마치 배의 선체가 매끄럽고 연속적인 판들로 설계되는 것과 유사하게, 일련의 연결된 곡선들을 사용하여 수학적 모델을 구축합니다. 스플라인 평활화(spline smoothing)라고 알려진 이 기술은 모델이 너무 구불구불하거나 불안정해지지 않으면서도 데이터의 특정 형태에 맞춰 굽어지고 적응할 수 있게 해줍니다. 이 매끄러운 표면을 데이터에 맞춘 뒤 그 최고점을 탐색함으로써, 연구자는 데이터가 심하게 왜곡되었거나 여러 개의 정점을 가진 경우에도 이전 방법들보다 더 높은 정확도로 최빈값을 짚어낼 수 있습니다.

연구는 이 새로운 방법을 다양한 시뮬레이션 데이터에 대한 표준 접근 방식과 테스트하는 것으로 시작되었습니다. 연구자는 다양한 현실 세계의 시나리오를 나타내는 수천 개의 가짜 데이터셋을 생성했습니다. 어떤 것은 종 모양의 곡선처럼 완벽하게 대칭이었고, 어떤 것은 몇몇 매우 높은 값들이 꼬리를 길게 늘어뜨리는 소득 데이터처럼 심하게 왜곡되었으며, 또 어떤 것은 두 그룹이 섞인 것처럼 두 개의 뚜렷한 정점을 가진 이봉 분포였습니다. 이러한 컴퓨터 실험에서 새로운 스플라인 기반 방식은 데이터를 얼마나 부드럽게 만들지 결정하는 특정 설정에 의존하는 전통적인 커널 밀도 추정법(kernel density estimator)을 지속적으로 능가했습니다. 결과에 따르면, 새로운 방식은 실제 정점에 더 가까운 추정치를 생성했으며 샘플 간의 변동성도 적었습니다. 이러한 이점은 어려운 사례들에서 특히 명확했는데, 꼬리가 두껍거나 정점이 날카로운 데이터의 경우 전통적인 방식은 실제 최빈값을 초과하거나 미달하는 경우가 많았던 반면, 스플라인 방식은 중심을 지키며 더 신뢰할 수 있는 답을 제공했습니다.

이것이 왜 중요한지 이해하기 위해, 울퉁불퉁하고 고르지 않은 언덕의 가장 높은 지점을 자를 사용하여 찾으려는 것과 유연한 천을 사용하여 지형에 완벽하게 덮어씌우는 것의 차이를 생각해 보십시오. 전통적인 방식은 자와 같습니다. 그것은 경직되어 있고 어떻게 잡느냐에 따라 민감하게 반응하므로, 언덕이 가파르거나 불규칙하면 오차가 발생할 수 있습니다. 새로운 방식은 유연한 천과 같습니다. 그것은 땅의 모양에 자연스럽게 순응하며, 주변 경사면이 얼마나 들쭉날쭉하든 상관없이 진정한 정상부를 드러냅니다. 시뮬레이션에서 이러한 유연성 덕분에 연구자는 기존 방식이 실패했던 왜곡된 분포에서 실제 최빈값을 포착할 수 있었고, 두 개의 봉우리가 있는 분포에서 두 정점을 혼동하지 않고 모두 식별할 수 있었습니다. 연구는 또한 데이터가 가장 두터운 곳을 기준으로 곡선의 배치를 자동으로 조정하는 더 발전된 버전의 기술을 탐구했습니다. 이 적응형 접근 방식은 복잡한 다봉 분포 상황에서 오차를 거의 30% 줄이며 훨씬 더 정확한 모습을 보였지만, 추가적인 조정을 수행하기 위해 약간 더 많은 계산 시간이 필요했습니다.

그 후 연구자는 이 방법이 통제된 컴퓨터 시뮬레이션 환경 밖에서 어떻게 작동하는지 확인하기 위해 실제 데이터에 적용했습니다. 첫 번째 테스트는 부유한 소수의 사람들로 인해 값이 위로 끌려 올라가는 경향이 있는, 유명하게도 왜곡된 형태를 띠는 가구 소득 데이터를 대상으로 했습니다. 새로운 방식은 평균이 부유한 소수에 의해 상향 조정되는 것과 달리, 전형적인 가구를 보여주는 더 명확한 빈도 수준의 소득을 식별해 냈습니다. 다음으로, 이 방법은 환자의 생존 시간을 분석하는 데 사용되었는데, 이는 데이터가 초기에 밀집되고 시간이 흐름에 따라 길게 늘어지는 특성이 있습니다. 여기서 스플라인 접근 방식은 가장 확률 높은 생존 기간을 성공적으로 식별하여, 임상의들에게 전통적인 평균을 보완할 수 있는 유용한 지표를 제공했습니다. 마지막으로, 이 방법은 오염원들에 대응하여 여러 개의 정점을 보이는 경우가 많은 오염 물질 수치와 같은 환경 측정값에 테스트되었습니다. 이 새로운 기술은 겹쳐진 정점들을 성공적으로 분리해 냈으며, 다른 방식들이 하나의 혼란스러운 평균으로 뭉뚱그려 버렸을 법한 뚜렷한 오염 체계들을 밝혀냈습니다.

이 모든 테스트 과정 전반에 걸쳐, 연구자는 자신이 내놓은 답에 대해 얼마나 확신할 수 있는지 측정하는 방법 또한 개발했습니다. 데이터를 여러 번 섞고 재분석하는 재표본 추출(resampling) 기법을 사용하여, 연구는 최빈값의 가능한 범위치를 생성함으로써 추정치의 신뢰도를 제시했습니다. 데이터가 양호한 경우에는 수학적 예측 불확실성이 재표본 추출 결과와 거의 완벽하게 일치했습니다. 더 혼란스럽거나 다봉적인 상황에서는 재표본 추출이 약간 더 넓고 신중한 범위를 제공하여 결론이 견고하게 유지되도록 했습니다. 연구는 전통적인 방식이 단순하고 대칭적인 데이터에는 여전히 유용하지만, 스플라인 기반 접근 방식은 현실 세계의 특징인 무질서하고 복잡한 분포를 다루는 데 있어 더 우수한 도구를 제공한다고 결론지었습니다. 이 방식은 들쭉날쭉한 지형에서 정점을 찾는 어려운 과제를 매끄럽고 신뢰할 수 있는 과정으로 바꾸어 놓으며, 가장 흔한 결과를 정확하고 해석 가능하게 찾아내 줍니다.