Estimated Ranking Tables and Uncertainty

수백 개의 부스와 각기 다른 프로젝트가 전시된 거대한 과학 박람회에 와 있다고 상상해 보세요. 만약 당신이 단순히 알파벳 순서대로 학교 이름을 읽으며 복도를 지나간다면, 어떤 프로젝트가 실제로 1위를 차지했는지 알아내기 위해 앞뒤로 왔다 갔다 해야 할 것입니다. 숫자를 뚫어지게 비교하고 추측하며 누가 "최고"인지 고민해야 하겠죠. 이것은 통계학자들이 데이터 표를 발표할 때 발생하는 혼란과 정확히 일의 같습니다. 그들은 종종 국가, 주, 또는 도시를 알파벳 순으로 나열하는데, 이는 특정 이름을 찾는 데는 좋지만 경쟁에서 누가 이기고 있는지 지고 있는지를 파악하는 데는 최악입니다.

이 논문은 통계학, 구체적으로는 샘플(예: 1,000명에게 통근 시간을 묻는 것)을 통해 전체 모집단이 무엇을 하고 있는지 추측하는 방법을 다루는 분야에 관한 것입니다. 핵심 아이디어는 불확실성입니다. 샘플을 바탕으로 추측하는 것이기 때문에, 우리의 숫자는 완벽한 사실이 아니라 약간의 "여지(wiggle room)"가 있는 추정치입니다. 만약 A 주의 평균 통근 시간이 30분이고 B 주가 30.1분이라면, B 주가 정말 더 느린 것일까요, 아니면 단순히 설문 조사상의 우연일까요? 이 논문은 우리가 순위를 보여줄 때 단순히 이름만 나열하는 것이 아니라, 1위, 2위 또는 꼴찌가 누구인지에 대해 우리가 얼마나 확신하는지(또는 확신하지 못하는지)를 실제로 보여주는 새로운 방법이 필요하다고 주장합니다.

---

위대한 순위의 뒤섞임 (The Great Ranking Shuffle)

미국 인구조사국(U.S. Census Bureau)의 연구원인 토미 라이트(Tommy Wright)는 우리가 데이터 표를 보는 방식을 개선하려는 임무를 띠고 있습니다. 그는 정부 기관이 여러 주(state)의 통근 시간처럼 숫자가 담긴 목록을 공개할 때, 단순히 A부터 Z까지 나열해서는 안 된다고 믿습니다. 대신, 그것을 **추정 순위 표(Estimated Ranking Table)**로 제시해야 합니다.

이것을 스포츠 리그라고 생각해 보세요. 팀들을 단순히 알파벳 순으로 나열하면, 리더보드에서 누가 상위권인지 알기 위해 직접 계산을 해야 합니다. 라이트는 말합니다. "그냥 리더보드를 보여줍시다!" 하지만 여기 함정이 있습니다. 현실 세계에서 리더보드는 고정되고 변하지 않는 사실이 아닙니다. 그것은 샘플에 기반한 스냅샷이며, 불확실성이라는 구름을 동반합니다.

라이트의 논문은 단순하지만 거대한 질문을 던집니다. "데이터 표가 추정 순위 표로서 명시적으로 제시되어야 하는가?" 그의 대답은 강력한 "예"입니다. 그는 서로 다른 그룹에 대한 숫자를 보여주는 거의 모든 표는 높은 값에서 낮은 값 순으로 정렬되어야 하며, 순위에 대한 "안개(fog)"를 보여주는 시각적 가이드가 함께 제공되어야 한다고 주장합니다.

불확실성의 "안개"

라이트의 해결책을 이해하기 위해, 친구들의 키를 순위 매긴다고 상상해 보세요. 당신은 자를 가지고 측정하지만, 그 자는 약간 흔들립니다. 당신은 친구 앨리스가 5피트 6인치이고 밥이 5피트 5인치라고 생각합니다. 하지만 자가 흔들리기 때문에, 어쩌면 밥은 실제로는 5피트 5.5인치이고 앨리스는 5피트 5.4인치일 수도 있습니다. 만약 당신이 단순히 "앨리스 1위, 밥 2위"라고 적는다면, 당신은 당신이 얼마나 확신하는지에 대해 거짓말을 하고 있는 것입니다.

라이트는 **DIFF 결합 신뢰 영역(DIFF Joint Confidence Region)**이라는 방법을 소개합니다. "DIFF"는 차이(differences)를 의미합니다. 한 사람의 키만 보는 대신, 이 방법은 모든 쌍 사이의 차이를 살펴봅니다. 이 방법은 다음과 같이 묻습니다. "앨리스와 밥 사이의 격차가 앨리스가 더 크다고 확신할 수 있을 만큼 큰가, 아니면 두 사람이 동점일 수 있을 만큼 작은가?"

그는 격자나 사다리처럼 보이는 시각적 도구를 사용합니다.

• 세로축은 순위(1위, 2위 등)입니다.
• 가로축은 최선의 추정치에 따라 정렬된 그룹(주 또는 국가 등)을 나열합니다.
• **상자(Boxes)**는 각 그룹이 존재할 수 있는 위치를 보여줍니다.

만약 어떤 주가 확실한 승자라면, 그 상자는 맨 꼭대기에 있는 단일하고 단단한 정사각형 모양일 것입니다. 하지만 두 주가 매우 비슷하다면, 상자들이 겹쳐져서 가능성의 "구름"을 만들어낼 것입니다. 이 구름은 다음과 같이 알려줍니다. "헤이, A 주가 아마 1위겠지만, 실제로는 2위일 수도 있고 B 주가 1위가 될 수도 있어."

세 가지 사례: 통근에서 수학 점수까지

라이트는 단순히 이론만 이야기하는 것이 아니라, 자신의 아이디어가 어떻게 작동하는지 보여주기 위해 세 가지 실제 사례로 테스트합니다.

1. 통근의 혼돈 (미국 주별 사례)
그는 51개 주(워싱턴 D.C. 포함)의 평균 통근 시간을 살펴보았습니다. 전통적인 알파벳 순 표에서는 메릴랜드와 노스다코타를 찾기 위해 직접 찾아다녀야 합니다. 라이트의 순위 표에서 메릴랜드는 32.2분의 통근 시간으로 명확하게 맨 위에 있으며, 노스다코타와 사우스다코타는 16.9분으로 맨 아래에 있습니다.
흥미로운 점은 "안개"입니다. 맨 위와 맨 아래에 있는 주들은 구름이 매우 작아서, 우리가 그들이 가장 빠르고 느리다는 것을 매우 확신한다는 것을 의미합니다. 하지만 중간 부분, 즉 많은 주가 비슷한 시간(약 23~25분)을 기록하는 곳에서는 구름이 매우 큽니다. 이는 우리가 "메릴랜드가 가장 느리다"라고 말할 수는 있지만, 예를 들어 일리노이가 5위인지 6위인지에 대해서는 100% 확신할 수 없다는 것을 알려줍니다. 표는 이렇게 인정하는 것입니다. "중간 부분은 확실히 알 수 없습니다!"

2. 소비의 열기 (인도)
다음으로, 그는 인도의 18개 주요 주에서 사람들이 매달 음식과 물건에 쓰는 비용을 살펴보았습니다. 최고 지출 지역은 텔랑가나로 8,158(통화 단위)이었고, 최저 지출 지역은 차티스가르로 4,483이었습니다. 마찬가지로, 순위 표는 상위와 하위는 명확하게 보여주었지만, 중간 지역들은 많은 겹침 현상을 보였습니다. 이는 정책 입안자들이 어떤 주가 확실히 부유하거나 가난한지는 알 수 있지만, 중간에 있는 주들은 추가 데이터 없이는 판단하기 너무 가깝다는 것을 파악하는 데 도움을 줍니다.

3. 수학 대결 (OECD 국가들)
마지막으로, 그는 PISA 테스트의 37개국 15세 학생들의 수학 점수를 살펴보았습니다. 일본과 한국이 각각 536점과 527점으로 명확한 선두를 달리고 있었습니다. 하위권에는 콜롬비아, 코스타리카, 멕시코가 있었습니다. 시각적 자료는 상위 국가들은 뚜렷하게 구분되지만, 중간 그룹의 국가들(점수 약 470~490점)은 거대하고 뒤섞인 구름임을 보여주었습니다. 이는 중간 그룹에서 "국가 X가 국가 Y보다 낫다"라고 말하는 것은 종종 사실이 아니라 추측이라는 것을 의미합니다.

이것이 왜 중요한가

라이트의 논문은 우리가 단 하나의 숫자가 절대적인 진리인 것처럼 가장하는 것을 멈춰야 한다고 제안합니다. 이러한 추정 순위 표를 사용함으로써, 통계 기관은 더 빠르고 명확하게 소통할 수 있습니다. 사용자가 알파벳 순 목록 속에서 헤매게 만드는 대신, 표는 "승자"와 "패자"를 즉시 보여줍니다. 더 중요한 것은 불확실성을 보여준다는 점입니다.

그는 우리가 "암묵적(Implicit)" 순위(순위를 직접 추측해야 하는 방식)에서 벗어나 "명시적(Explicit)" 순위(순위와 함께 의구심의 안개가 함께 제시되는 방식)로 이동해야 한다고 주장합니다. 그는 우리가 이렇게 함으로써, 데이터가 너무 모호하여 판단할 수 없을 때 "누가 더 낫다"거나 "누가 더 나쁘다"라는 잘못된 주장을 하는 것을 방지할 수 있다고 믿습니다.

요약하자면, 라이트는 우리에게 이렇게 말하고 있습니다. "단순히 숫자 목록을 주지 마세요. 경기가 너무 치열해서 판단하기 어려운 순간을 인정하는 리더보드를 주세요." 이것은 우리가 무엇을 알고 있고 무엇을 그저 추측하고 있는지를 정직하게 밝힘으로써, 데이터를 단순한 사실의 목록이 아니라 그 사실들에 대해 우리가 얼마나 확신하는지에 대한 이야기로 만드는 방법입니다.