Coherence, charity and triangulation in statistical modelling

보이지 않는 지도와 공유된 세계

당신이 한 번도 가본 적 없는 도시를 항해하려고 한다고 상상해 보십시오. 당신에게는 지도가 있지만, 그 지도는 도시 그 자체가 아닙니다. 그것은 거리, 공원, 건물을 나타내는 기호, 선, 색채의 집합체입니다. 통계학의 세계에서 이 지도를 "모델"이라고 부르며, 도시는 우리가 현실 세계에서 수집하는 "데이터"입니다. 오랫동안 과학자와 수학자들은 지도와 도시의 관계를 두고 논쟁해 왔습니다. 어떤 이들은 도시가 측정되기를 기다리는 고정되고 객로적인 실재이며, 지도는 단지 그것을 복사하기 위해 사용하는 도구일 뿐이라고 생각했습니다. 다른 이들은 지도가 전적으로 우리 머릿속에 있는 것, 즉 외부의 실제 거리와는 아무런 상관이 없는 주관적인 추측이라고 생각했습니다.

이 논문은 특히 확률을 "믿음의 정도"로 생각하는 방식인 베이즈 통계학(Bayesian statistics) 내에서의 이 논쟁을 깊이 있게 다룹니다. 베이즈적 사고는 "비가 올 진짜, 변하지 않는 확률은 무엇인가?"라고 묻는 대신, "내가 알고 있는 것을 바탕으로 비가 올 것이라고 얼마나 강하게 믿는가?"라고 묻습니다. 이 논문은 우리의 내부적 믿음(지도)과 외부 세계(도시) 사이에 단단한 벽이 존재한다는 생각에 도전합니다. 저자는 우리의 "데이터"가 그것을 바라보는 데 사용하는 "모델"에 의해 이미 형성되어 있기 때문에, 둘을 진정으로 분리할 수 없다고 제안합니다. 이를 이해하기 위해 저자는 세 가지 가이드 원칙을 사용합니다: 일관성(당신의 지도는 모든 조각이 맞물리는 퍼즐처럼 내부적으로 말이 되어야 함), 자애(다른 사람들의 지도가 대체로 옳다고 가정해야 타인과 대화할 수 있음), 그리고 삼각측량(실제 도시가 어디에 있는지 알아내기 위해서는 같은 사물을 서로 다른 각도에서 바라보는 최소 두 명의 사람이 필요함).

논문의 핵심 아이디어: 그것은 모두 하나의 거대한 믿음 체계이다

이 논문에서 데이비드 썸프터(David Sumpter)는 통계학을 마치 양동이에 물을 붓는 것처럼 새로운 데이터로 모델을 "업데이트"하는 게임으로 생각하는 것을 멈춰야 한다고 주장합니다. 대신, 그는 우리의 전체 믿음 체계—모델, 데이터, 그리고 예측—가 하나의 거대하고 상호 연결된 그물망이라고 제안합니다. 그는 이 과정이 어떻게 작동하는지 보여주기 위해 축구 경기를 지속적인 예시로 사용합니다. 세 사람이 같은 경기를 보고 있다고 상상해 보십시오: 모든 슛을 기록하는 조(Joe), 스마트폰으로 점수와 슛 횟수만 확인하는 젠(Jen), 그리고 수년간 팀이 열 번의 슛당 약 한 골을 넣는다는 이야기를 들어왔지만 경기를 본 적은 없는 제인(Jane)입니다.

논문은 조, 젠, 제인에게 있어 "데이터"와 "모델" 사이의 경계가 모호하다는 것을 보여줍니다. 조에게 그의 상세한 슛 목록은 데이터이지만, 제인에게는 "10번에 1번"이라는 그녀의 믿음이 데이터입니다. 젠의 누적 수치는 두 가지가 혼합된 형태입니다. 저자는 세상에 발견되기를 기다리고 있는 "순수한" 데이터란 존재하지 않는다고 주장합니다. 대신, 우리가 데이터라고 부르는 것은 우리가 이미 구축한 모델의 남겨진 파편들일 뿐입니다. 우리가 축구 슛을 볼 때, 우리는 숫자를 적기도 전에 무엇이 "슛"이고 무엇이 "골"인지 이미 결정한 상태입니다.

이 논문은 명시적으로 베이즈 정리(Bayes' theorem)가 외부에서 데이터가 들어와 내부의 모델을 업데이트하는 마법 같은 기계라는 생각을 배제합니다. 저자는 이것이 오해라고 제[]안합니다. 대신, 베이즈 정리는 당신의 자신만의 믿음 체계 내에서 서로 다른 부분들이 어떻게 연결되어 있는지를 설명하는 규칙일 뿐입니다. 그것은 마치 비디오 게임의 규칙과 같습니다: "만약 네가 이만큼의 코인을 가지고 있고 이만큼의 생명을 가지고 있다면, 네 점수는 X여야 한다." 게임이 외부에서 당신의 점수를 "업데이트"하는 것이 아니라, 점수는 이미 당신이 가진 코인과 생명 사이의 관계일 뿐입니다. 논문은 진정한 학습이 단 하나의 숫자를 미세하게 조정하는 것이 아니라, 당신의 지도 전체가 틀렸음을 깨닫고 새로운 지도를 만드는 과정에서 일어난다고 제안합니다.

이를 해결하기 위해, 논문은 일반적인 "일관성"(수학적 모순이 없는지 확인하는 것) 규칙 위에 두 가지 새로운 규칙을 우리의 통계적 지도에 추가해야 한다고 제안합니다. 첫 번째는 **자애(Charity)**입니다. 이는 우리가 모델을 구축할 때, 다른 사람들도 대체로 옳으며 우리의 모델이 그들에게도 이해될 수 있어야 함을 의미합니다. 만약 당신이 아무도 이해하지 못하는 방식으로 축구 골을 세는 법을 발명한다면, 당신의 모델은 더 "용감한" 것이 아니라 그저 쓸모없는 것이 됩니다. 두 번째 규칙은 **삼각측량(Triangulation)**입니다. 이는 우리가 우리의 믿음을 다른 사람 및 공유된 세계와 대조해 보아야 함을 의미합니다. 두 사람이 산의 서로 다른 면에서 산을 바라보며 정상의 위치에 동의할 수 있는 것처럼, 통계학자들도 자신들의 모델을 타인의 모델 및 실제 세계와 비교하여 단순히 무언가를 지어내고 있는 것이 아닌지 확인해야 합니다.

논문은 젠(딸)의 이야기를 통해 이것이 실생활에서 어떻게 작동하는지 보여줍니다. 그녀는 그녀의 아버지(조)가 놓친 것을 발견했습니다: 팀이 골을 넣은 직후에는 슛을 더 자주 놓치는 것처럼 보인다는 점이었습니다. 그녀는 단순히 숫자를 "업데이트"한 것이 아니라, 경기를 바라보는 그녀의 방식 전체를 수정해야 한다는 것을 깨달았습니다. 그녀는 공유된 데이터(아버지의 기록)와 자신의 관찰을 사용하여 더 나은 믿음 체계를 구축했습니다. 저자는 "슈퍼포캐스터(superforecasters)"와 같이 세계적 사건을 예측하는 최고의 통계학자들이 바로 이 일을 가장 잘하는 사람들이라고 제안합니다. 그들은 단지 자신의 내부적 논리에만 매달리지 않고, 자신의 믿음을 타인의 생각 및 실제로 세상에서 일어나는 일들과 끊임없이 대조합니다.

논문은 통계학자 조지 박스(George Box)의 유명한 격언을 재치 있게 비틀며 결론을 맺습니다. 그는 한때 "모든 모델은 틀렸지만, 어떤 모델은 유용하다"라고 말했습니다. 저자는 이를 뒤집어 제안합니다: "대부분의 모델은 옳다, 그렇기에 유용하다." 모델이 유용하다면, 그것은 이미 세상에 대해 어느 정도 맞고 있다는 뜻입니다. 우리가 고쳐나가야 할 고장 난 지도가 아니라, 이미 꽤 괜찮은 지도이며, 우리의 역할은 타인의 말을 듣고 함께 세상을 바라봄으로써 그 지도를 더욱 개선하는 것입니다. 이 논문은 통계학의 모든 문제를 해결했거나 새로운 수학적 법칙을 증명했다고 주장하지 않습니다. 대신, 우리의 믿음을 공유되고, 자애로우며, 삼각측량된 체계로 생각함으로써 우리가 더 나은 과학을 수행하고 더 나은 예측을 할 수 있다고 제안합니다. 이것은 우리의 모델을 고립된 섬으로 취급하는 것을 멈추고, 우리와 세상을 잇는 다리로 대우하라는 부름입니다.