Reconciling Bayesian and frequentist approaches to robustness against outliers

위대한 데이터 탐정의 대결

당신이 단서 더미를 살펴보며 미스터리를 풀려는 탐정이라고 상상해 보십시오. 대부분의 단서는 명확하고 일관된 이야기를 들려줍니다. 용의자가 왼쪽으로 달렸다가, 오른쪽으로 달린 뒤, 덤불 속에 숨었다는 식입니다. 하지만 그러다 보면 몇 가지 이상한 메모를 발견하게 됩니다. 어떤 메모는 용의자가 달로 날아갔다고 적혀 있고, 또 다른 메모는 그가 토스터기로 변했다고 주장합니다. 통계학의 세계에서 이 기이한 메모들은 **이상치(outliers)**라고 불립니다. 이들은 실수나 드물고 혼란스러운 사건 때문에 발생하는, 패턴에 맞지 않는 데이터 지점들입니다. 만약 당신이 '날아다니는 토스터' 같은 것들을 포함하여 모든 단서를 관통하는 직선을 그리려 한다면, 그 선은 경로를 크게 벗어나게 될 것이고, 용의자의 경로에 대한 당신의 결론은 틀리게 될 것입니다.

이를 해결하기 위해 통계학자들은 두 개의 주요 탐정 팀을 개발했습니다. 바로 **베이지안(Bayesians)**과 **빈도주의자(Frequentists)**입니다. 두 팀 모두 기이한 메모를 무시하고 실제 이야기에 집중하기를 원하지만, 서로 다른 도구 상자를 사용합니다. 빈도주의자들은 기이한 메모들을 흡수하여 그것들이 중요하지 않게 될 때까지 축소시키는 특수한 '스펀지'를 만드는 엔지니어와 같습니다. 베이지안들은 지도를 다시 그려서 날아다니는 토스터의 존재를 받아들이기 쉽게 만들되, 그 지도가 매우 신중하게 그려져야 한다고 믿는 예술가와 같습니다. 오랫동안 이 두 팀은 같은 문제를 해결하고 있다고 생각했지만, 사실 그들은 서로 잘 맞지 않는 지도를 사용하고 있었습니다. 이 논문은 왜 그들의 지도가 달랐는지, 그리고 어떻게 마침에 모두를 위한 하나의 지도를 그릴 수 있는지에 대한 발견에 관한 것입니다.

지도의 충돌

이야기는 단순한 질문에서 시작됩니다: 어떻게 하면 전체 퍼즐을 버리지 않고도 "날아다니는 토스터" 데이터 지점들을 무시할 수 있을까요?

빈도주의 팀은 **투키의 비가중치(Tukey's biweight)**라는 자신이 좋아하는 도구를 가지고 있습니다. 이것을 데이터 지점이 군집에서 너무 멀어지면 단순히 관심을 끊어버리는 마법의 자라고 상상해 보십시오. 어떤 점이 약간 이상하다면, 자는 아주 작은 자극만 줍니다. 만약 그것이 터무니없이 이상하다면(토스터처럼), 자는 "난 너랑 끝이야"라고 말하며 가중치를 0으로 할당합니다. 이는 소음을 무시하는 데 매우 효과적입니다. 하지만 여기에는 함정이 있습니다. 이 마법의 자는 확률의 엄격한 규칙을 따르지 않습니다. 수학자들이 말하는 "부적절한(improper)" 모델입니다. 이는 맛있는 케이크를 만드는 데는 완벽하게 작동하지만, 재료 목록이 전체 숫자로 합산되는 방식으로 적혀 있지 않은 레시피와 같습니다.

반면, 베이지안 팀은 레시피에 대해 매우 까다롭습니다. 그들은 모든 모델이 모든 것이 완벽하게 합산되는 엄격한 확률 규칙을 따르는 "적절한(proper)" 모델이어야 한다고 주장합니다. 이상치를 처리하기 위해 그들은 두꺼운 꼬리 모델(heavy-tailed models)(Student's t-분포나 LPTN 같은 것)을 사용합니다. 이것을 매우 넓고 부드러운 가장자리를 가진 지도로 생각해 보십시오. 데이터 지점이 멀리 떨어져 있다면, 지도는 그것을 포함하기 위해 확장되지만, 바깥으로 나갈수록 그 영향력은 줄어듭니다. 문제는, 베이지안들이 사용할 수 있는 가장 "두꺼운" 꼬리조차도 날아다니는 토스터의 메모를 완전히 무시할 만큼 두껍지는 않다는 것입니다. 그들은 여전히 약간의 미친 소음이 최종 답변에 흔들리도록 허용합니다.

이 논문의 저자들은 빈도주의자들이 매우 강력하지만 약간 "불법적인" 도구(부적절한 투키의 비가중치)를 사용하고 있으며, 베이지안들은 그것을 건드릴 수 없다는 사실을 깨달았습니다. 이 때문에 두 팀이 동일한 지저분한 데이터를 보았을 때 서로 다른 답을 얻었습니다. 빈도주의자들은 이상치를 완벽하게 무시하는 깨끗한 선을 얻었습니다. 반면, "적절한" 지도에 갇힌 베이지안들은 여전히 이상치 쪽으로 약간 끌려가는 선을 얻었습니다.

"일반 베이즈(General Bayes)"를 통한 간극 메우기

이 논문은 일종의 법적 허점을 이용한 듯한 해결책을 제안합니다. 저자들은 베이지안들이 **일반 베이즈(Generalized Bayes)**라고 불리는 새로운 프레임워크를 채택해야 한다고 제안합니다. 이 프레임워크는 베이지안 팀이 "적절한" 시작 믿음(사전 분포)과 결합하는 한, 빈도주의자들이 좋아하는 "부적절한" 도구(투키의 비가중치)를 사용할 수 있도록 허용하는 특별 허가증과 같습니다.

이렇게 생각해 보십시오: 베이지ian 예술가는 보통 페인트가 사방으로 튀는 붓(부적절한 모델)으로 그림 그리는 것을 거부합니다. 하지만 이 새로운 허가증이 있다면, 그들은 먼저 깨끗한 캔버스를 깔아둔 후라면 튀는 붓을 사용할 수 있습니다. 결과는 어떨까요? 페인트는 튀지만, 최종 그림은 여전히 완벽하고 완전한 이미지가 됩니다.

저자들은 미로를 달리는 쥐에 대한 데이터셋과 보험 청구에 대한 데이터셋을 포함한 실제 데이터를 통해 이 아이디어를 테스트했습니다. 두 경우 모두 전통적인 베이지안 방식은 여전히 이상치에 의해 경로가 이탈되었습니다. 그러나 그들이 투키의 비가 weight를 사용한 새로운 일반 베이즈 접근법을 사용했을 때, 베이지안 결과는 빈도주의 실무자와 유사한 결과를 얻었으며, 추정된 회귀선은 본질적으로 동일했습니다. 이상치는 효과적으로 무시되었고, "날아다니는 토스터" 메모의 영향력은 현저히 감소했습니다.

수학이 말하는 것

이 논문은 단순히 컴퓨터상에서 이것이 작동함을 보여주는 데 그치지 않고, 강력한 수학으로 이를 증명합니다. 그들은 이상치가 점점 더 멀어질 때(예를 들어 토스터가 깊은 우주로 날아갈 때), 이 새로운 방법을 사용하는 베이지안 모델이 그들에게 귀를 기울이는 것을 멈추는 상태에 도달함을 보여주었습니다. 수학적으로 이 모델은 이러한 점근적 한계에서 **"완전하게 강건함(wholly robust)"**을 갖게 되며, 이는 이상치의 수가 척도 추정량의 붕괴 지점(breakdown point)을 초과하지 않는 한, 이상치가 최종 답변에 무시할 수 있는 영향만을 미친다는 것을 의미합니다.

그들은 또한 불확실성을 어떻게 보정할지도 파악했습니다. 보통 이러한 "부적별한" 도구를 사용할 때는 자신의 답변에 얼마나 확신을 가져야 할지 알기 어렵습니다. 저자들은 "온도" 조절 노브(템퍼링 매개변수라고 불림)를 조정하여 신뢰 구간(가능한 답변의 범위)이 너무 넓지도, 너무 좁지도 않게 딱 적절하도록 만드는 방법을 개발했습니다. 그들은 수천 개의 가짜 데이터셋을 이용한 시뮬레이션을 실행하여, 이 방법이 기존의 표준적인 방법만큼 신뢰할 수 있는 답변을 주면서도 소음을 훨씬 더 잘 무시한다는 것을 보여주었습니다.

핵심 요약

주요 발견은 두 통계 팀 사이의 격차가 규칙의 차이에서 비롯되었다는 것입니다. 즉, 빈도주의자는 이상치를 완벽하게 무시하기 위해 "부적절한" 모델을 사용할 수 있었던 반면, 베이지안은 그럴 수 없었습니다. 일반 베이즈 프레임워크를 채택함으로써, 베이지안은 이제 빈도주의자와 동일한 강력한 도구를 사용할 수 있게 되었습니다. 이는 당신이 빈도주의자이든 베이지안이든, 데이터가 날아다니는 토스터와 미친 메모들로 가득 차 있더라도 유사하고 매우 정확한 결과를 얻을 수 있음을 의미합니다. 이 논문은 이것이 단순한 미세한 조정이 아니라, 두 접근 방식을 완전히 화해시켜 모두가 과업에 가장 적합한 최고의 도구를 사용할 수 있게 하는 방법이라고 제안합니다.