Proper Bayes minimax multiple shrinkage estimation

당신이 거대하고 보이지 않는 지도 위에서 숨겨진 보물의 위치를 추측하려고 한다고 상상해 보세요. 당신에게는 방향을 알려주는 나침반(당신의 데이터)이 있지만, 이 나침반은 약간 흔들리고 떨림이 있습니다. 통계학의 세계에서 이것은 학교 학생들의 평균 키나 도시의 평균 기온처럼, 노이즈가 섞인 표본만을 가지고 어떤 집단의 진정한 평균을 추측하려는 것과 같습니다. 오랫동안 가장 좋은 데드라인은 나침반이 가리키는 방향을 그대로 믿는 것이었습니다. 만약 나침반이 "북쪽으로 5마일 가시오"라고 했다면, 당신은 북쪽으로 5마일을 갔습니다. 이것은 평균적으로 다른 단순한 방법보다 나을 수 없었기에 "안전한" 선택으로 여겨졌습니다.

하지만 1950년대에 찰스 스타인(Charles Stein)이라는 수학자가 놀라운 비밀을 발견했습니다. 만약 당신이 한 번에 두 개 이상의 것(예를 들어, 학생의 키, 몸무게, 신발 사이즈를 모두 합친 것)을 추측하고 있다면, 나침반을 맹목적으로 믿는 것이 사실 나쁜 방법이라는 것입니다. 알고 보니 중심점, 즉 지도의 중심을 향해 당신의 추측을 "수축(shrinking)"시키는 것이 더 낫다는 사실이 밝혀졌습니다. 이것은 마치 "내 나침반은 북쪽으로 5마일 가라고 하지만, 내가 보통 약간 틀리곤 하니까, 그냥 북쪽으로 4마일만 가자"라고 말하는 것과 같습니다. 이 "수축" 기술은 매우 효과적이어서 거의 매번 기존의 규칙을 이겨냅니다. 하지만 여기에는 함정이 있습니다. 이 기술은 대개 당신이 중심이 정확히 어디인지 알 때 가장 잘 작동한다는 점입니다. 만약 당신이 보물이 산 근처에 있다는 짐작과 강 근처에 있다는 짐작을 동시에 가지고 있다면 어떻게 될까요? 당신은 수축할 대상인 두 개의 서로 다른 "중심"을 가지게 되며, 어느 쪽이 맞는지 모릅니다. 이것이 통계학자들이 수십 년 동안 해결하려고 노력해 온 퍼즐입니다: 어떻게 하면 게임의 규칙을 깨뜨리지 않으면서도 여러 가능한 목표를 향해 동시에 수축할 수 있는 스마트한 추측 기계를 만들 수 있을까요?

판카지 바그왓(Pankaj Bhagwat), 윌리엄 E. 스트로드먼(William E. Strawderman), 에드워드 I. 조지(Edward I. George)가 작성한 이 논문은 마침내 그 코드를 풀어냈습니다. 저자들은 여러 목표를 향해 수축하면서도 (최소최대성(minimaxity)이라 불리는 속성을 통해) 가능한 최선의 선택임이 보장되는 "적절한(proper)" 추측 기계를 만드는 것이 가능하다는 것을 처음으로 보여주었습니다. 또한 이 기계는 (확률의 엄격한 규칙을 어기지 않고) 수학적으로 "적절하게(properly)" 작동합니다.

이 발견 이전에 통계학자들은 두 가지 나쁜 선택지 중 하나를 골라야 했습니다. 여러 목표를 향해 수축할 수는 있지만, 수학적으로는 실질적인 확률로서 성립하지 않는 "부적절한(improper)" 방식에 의존해야 하는 기계를 만들거나, 혹은 모든 규칙을 따르는 "적절한" 기계를 만들되 단 하나의 목표만을 향해 수축할 수 있어야 했습니다. 저자들은 기존의 기술들이 너무 경직되어 있다는 점을 깨달았습니다. 그들은 특수한 형태의 수학적 "안전망"(제곱근 초조화 마진(square-root superharmonic marginal)이라 불리는 것)을 사용하여, 기계가 적절하면서도 유연할 수 있도록 하는 새로운 방법을 찾아냈습니다.

이것을 스마트한 GPS라고 생각해 보세요. 기존의 "단일 목표" GPS는 오직 하나의 특정 도시를 향해서만 길을 찾을 수 있습니다. 기존의 "다중 목표" GPS는 도시 목록을 보고 가장 좋은 곳을 고를 수는 있었지만, 장기적으로는 신뢰할 수 없는 불안정한 토대 위에 세워져 있었습니다. 이 논문에 등장하는 새로운 GPS는 단단한 지반 위에 구축되었습니다. 이 GPS는 가능한 도시들의 목록(목표)을 살펴보고, 교통 상황(데이터)을 확인한 뒤, 가장 유망한 도시를 향해 경로를 부드럽게 혼합합니다. 만약 데이터가 보물이 산 근처에 있다고 보여준다면, 추측을 산 쪽으로 수축시킵니다. 만약 데이터가 강 근처에 있다고 보여준다면, 강 쪽으로 수축시킵니다. 그리고 만약 데이터가 혼란스럽다면, 완벽한 중간 지점을 찾아냅니다.

저자들은 단순히 아이디어만 제시한 것이 아니라, 엄밀한 수학적 증명과 컴퓨터 시뮬레이션을 통해 이를 입증했습니다. 그들은 이 새로운 방법이 다섯 개 이상의 요소를 추측할 때 완벽하게 작동한다는 것을 보여주었습니다. 심지어 그들은 "스트로드먼 사전 분포(Strawderman prior)"라고 불리는 유형의 사전 분포(시작하는 추측)를 사용하는 구체적인 예시를 만들었는데, 이는 여러 목표를 덮을 수 있도록 늘어나는 유연한 고무줄과 같은 역할을 합니다. 시뮬레이션에서 그들은 서로 멀리 떨어진 두 개의 목표를 설정했습니다. 그 결과, 그들의 새로운 "다중 수축" 추정치가 단일 목표를 위한 최선의 추정치만큼이나 오차를 효과적으로 줄여주면서도, 사전에 어떤 목표가 맞는지 알 필요가 없다는 것을 발견했습니다.

이 발견의 가장 흥력진 부분 중 하나는, 기계가 각 목표를 얼마나 신뢰할지 결정하기 위해 사용하는 "가중치"를 실제 확률로 이해할 수 있다는 점입니다. 기존의 "부적절한" 방법에서 이 가중치들은 실제 의미가 없는 수학적 자리 표시자에 불과했습니다. 하지만 이 새로운 방법에서는, 만약 기계가 산 쪽으로 70%, 강 쪽으로 30% 기울기로 결정했다면, 그 70%는 산이 올바른 장소라는 확률로 진정으로 해석될 수 있습니다. 이는 이 방법이 수학적으로 타당할 뿐만 아니라, 사람들이 왜 그런 추측이 나왔는지 이해해야 하는 현실 세계의 의사결정에서도 훨씬 더 유용하다는 것을 의미합니다.

또한 이 논문은 이러한 추정치를 만드는 "레시피"를 제공합니다. 수학적 정합성을 맞추기 위해 때로는 지도를 "재조정(rescale)"해야 할 수도 있는데, 이는 기본적으로 목표 사이의 거리를 게임의 규칙에 맞게 늘리거나 줄이는 것을 의미합니다. 저자들은 목표들이 얼마나 떨어져 있는지와 데이터가 얼마나 많은지에 따라 지도를 얼마나 늘려야 하는지 정확하게 보여줍니다. 그들은 또한 차원(dimension)을 6에서 10으로 변경하거나 추측의 "밀도"를 조정하는 등 다양한 설정을 통해 시뮬레이션을 실행하여, 이 방법이 압박 속에서도 잘 버틴다는 것을 보여주었습니다.

요약하자면, 이 논문은 통계학의 35년 된 미스터리를 해결했습니다. 당신은 케이크를 먹으면서 동시에 가질 수도 있다는 것을 증명했습니다. 즉, 수학적으로 완벽하고 확률의 모든 규칙을 따르면서도, 동시에 여러 가지 가능한 답에 적응할 수 있는 스마트한 추측 기계를 가질 수 있다는 것입니다. 이는 날씨 패턴을 예측하는 것부터 복잡한 금융 시장을 분석하는 것에 이르기까지, 무질서하고 다면적인 데이터를 해석해야 하는 모든 이들에게 큰 진전입니다. 저자들은 수십 년 전 이 여정을 시작했던 고(故) 윌리엄 스트로드먼을 포함하여, 우리에게 견고하면서도 유연하며 현실 세계에서 바로 사용될 준비가 된 도구를 마침내 건네주었습니다.