Geometric mean-based pairwise comparison method with the reference values -- statistical approach

당신이 학교 동아리의 회장이라고 상상해 보세요. 당신은 다가오는 새 학기를 위해 가장 좋은 세 가지 활동을 선정해야 합니다. 당신은 친구들에게 투표를 요청하지만, 단순히 좋아하는 것을 고르라고 하는 대신, 모든 활동을 서로 하나씩 비교하게 합니다. "'하이킹'이 '베이킹'보다 두 배 더 재미있니?" " '코딩'이 '미술'보다 세 배 더 좋니?" 이렇게 모든 항목을 쌍으로 비교하는 방식은 시장 후보자를 결정하거나 최선의 의료 처치를 선택하는 것과 같은 어려운 결정을 내릴 때 전문가들이 사용하는 전형적인 도구입니다. 이것은 마치 나무 두 그루 사이의 경사도만을 측정하여 산의 정확한 높이를 알아내려는 것과 같습니다.

문제는 인간이 완벽한 계산기가 아니라는 점입니다. 한 친구는 하이킹이 베이킹보다 좋다고 말하면서도, 베이킹은 코딩보다 낫고, 코딩은 하이킹보다 좋다고 말할 수 있습니다. 이것은 논리적 순환, 즉 "불일치"입니다. 수십 년 동안 수학자들은 이러한 루프를 매끄럽게 해결하고 최종 순위를 찾는 방법을 개발해 왔지만, 대부분은 이러한 오류를 무시해야 할 지저도한 '노이즈'로 취급했습니다. 그들은 순위가 무엇인지는 알려줄 수 있었지만, 그 순위에 대해 얼마나 확신하는지는 쉽게 알려주지 못했습니다. 그것은 마치 "비가 올 것이다"라는 일기 예보를 들으면서도, 그것이 51%의 확률인지 99%의 확률인지는 알 수 없는 것과 같았습니다. 이 논문은 바로 이 간극에 뛰어들어, 그 지저분한 인간의 비교를 단순한 오류가 아니라 통계적 실험의 데이터 포인트로 취급함으로써, 과학자가 실험실 결과에 대한 확신을 측정하는 것처럼 우리의 결정에 대한 확신도를 측정할 수 있게 합니다.

이 논문의 핵심 아이디어: 추측을 수학 실험실로 바꾸기

이 논문의 저자인 콘라드 쿠와코프스키(Konrad Kułakowski), 카밀 푸스텔니크(Kamil Pustelnik), 야체크 시보프스키(Jacek Szybowski)는 "휴리스틱 등급 추정(Heuristic Rating Estimation, HRE)"이라는 특정 의사결정 방법을 살펴보고 있습니다. 당신에게 미지의 항목들(예: 새로운 비디오 게임들)과 알려진 몇 가지 항목들(예: 당신이 완벽한 10점 만점이라고 알고 있는 클래식 게임)이 있다고 상상해 보세요. 당신은 전문가에게 새로운 게임들을 클래식 게임들과, 그리고 서로 간에 비교하도록 요청합니다. 목표는 새로운 게임들의 "가중치" 또는 점수를 찾아내는 것입니다.

전통적으로 이는 기하 평균(비율을 잘 처리하는 특정 유형의 평균)을 사용하여 수행됩니다. 저자들은 이 전체 과정이 사실 선형 회귀 문제라는 놀라운 사실을 발견했습니다. 이는 산점도의 점들을 통과하는 "최적의 적합선"을 그리는 데 사용되는 수학과 동일한 방식입니다.

여기 비유가 있습니다: 당신이 여러 개의 미스터리 박스의 무게를 추측하려고 한다고 상상해 보세요. 당신에게는 저울 위에 놓인 몇 개의 알려진 무게(참조 값)가 있습니다. 당신은 미스터리 박스의 무게를 모르지만, 친구가 "A 상자는 B 상자보다 약 절반 정도 가볍다"라거나 "C 상자는 5kg 참조 무게보다 두 배 무겁다"와 같은 단서를 줍니다. 당신의 친구는 완벽하지 않아서, 실제로는 1.9배인데 "두 배 무겁다"라고 추측할 수도 있습니다.

논문은 우리가 이러한 추측들을 단순히 평균 내는 것이 아니라, 모든 비교를 과학 실험에서의 하나의 "측정"으로 취급해야 한다고 제안합니다. 여기서 "미지의 무게"는 우리가 풀어야 할 변수이며, "친구의 추측"은 우리의 데이터 포인트입니다. 통계학의 도구(구체적으로 최소제곱법)를 사용함으로써, 우리는 미스터리 박스들에 대한 가장 가능성 높은 무게를 찾을 수 있습니다.

그들이 발견한 것: 신뢰 구간과 "동점" 클러스터

이 논문의 진짜 마법은 무게를 찾는 것뿐만 아니라, 그 무게를 얼마나 믿을 수 있는지 아는 데 있습니다. 문제를 통계적 실험으로 다루었기 때문에, 저자들은 이전에는 불가능했던 것들을 계산할 수 있었습니다.

1. 신뢰 구간: 여론 조사가 "지지율 50%, 오차 범위 ±3%"라고 말하는 것처럼, 이 방법은 어떤 게임의 점수가 0.15에서 0.25 사이일 가능성이 높다는 것을 알려줄 수 있습니다. 범위가 매우 넓다면 데이터가 불안정하다는 것을 알 수 있고, 범위가 매우 좁다면 그 순위를 신뢰할 수 있습니다.
2. 순위 역전 확률: 이것이 가장 흥eli로운 부분입니다. 저자들은 두 항목의 순서가 올바를 확률을 정확히 계산했습니다. 예를 들어, 예시 속의 두 특정 항목에 대해 한 항목이 다른 항목보다 나을 확률이 **99.46%**라는 것을 발견했습니다. 하지만 다른 한 쌍의 경우, 그 확률은 **58.18%**에 불 불과했습니다! 이는 동전 던지기보다 조금 나은 수준입니다!
3. "동점" 솔루션: 이 부분이 논문을 매우 실용적으로 만드는 지점입니다. 만약 항목 A가 항목 B보다 나을 확률이 낮다면(예를 들어 75% 미만), 저자들은 억지로 순위를 매기지 말아야 한다고 제прав니다. 대신, 이들을 "동점 클러스터(tie cluster)"로 묶어야 합니다. 경주에서 두 주자가 너무 근접하여 결승선 카메라가 승자를 판별할 수 없는 상황을 상상해 보세요. 가짜 승자를 선언하는 대신, "동점"이라고 말하는 것입니다. 이 논문은 이러한 불확실한 항목들을 자동으로 그룹화하고 평균 점수를 부여하는 알고리즘을 제안합니다. 이는 의사 결정자가 약한 근거를 바탕으로 성급한 결정을 내리는 것을 방지합니다.

그들이 주장하지 않는 것 (그리고 배제하는 것)

이 논문이 하지 않는 일을 명시하는 것이 중요합니다. 이 논문은 인간의 뇌를 고치거나 전문가가 실수를 멈추게 한다고 주장하지 않습니다. 데이터의 "노이즈"나 불일치는 여전히 존재하며, 논문은 단지 그것을 더 잘 측정할 뿐입니다.

저자들은 불확실성을 그냥 무시하거나 전통적인 "불일치 지수"(데이터가 얼마나 지저분한지 하나의 숫자로 나타내는 오래된 수학 도구)에만 의존해서는 안 된다는 점을 명시적으로 주장합니다. 그들은 단일 숫자가 충분하지 않음을 보여줍니다. 왜냐하면 두 가지 서로 다른 항목 쌍이 동일한 "지저분함" 점수를 가질 수 있지만, 한 쌍은 명확히 구분되어 있는 반면(순위 매기기 쉬움), 다른 한 쌍은 거의 동일할 수 있기 때문입니다(순위 매기기 어려움) 때문입니다. 그들의 새로운 방법은 "지저분함"과 항목 간의 "거리"를 모두 포착합니다.

또한 이 논문이 모든 상황에 적용되는 마법의 탄환이라고 주장하지도 않습니다. 그들의 결과는 수학적 증명과 시뮬레이션(그들이 작업한 7개 대안의 예시 등)에 기반합니다. 그들은 여러 전문가가 데이터를 제공하는 집단 설정에서는, 각 전문가가 일부 비교를 놓치더라도 모두의 "측정값"을 결합하여 더 명확한 그림을 얻을 수 있기 때문에 이 방법이 훨씬 더 강력할 수 있다고 제안합니다.

핵-결론

간단히 말해, 이 논문은 "이것이 저것보다 낫다고 생각한다"라는 식의 지저분하고 주관적인 세계를 엄격하고 데이터 중심적인 과학으로 바꿉니다. 이는 우리에게 "A가 B보다 낫다고 99% 확신하지만, C와 D에 대해서는 58%만 확신하므로 C와 D를 동점으로 처리하자"라고 말할 수 있는 방법을 제공합니다. 이는 경직된 순위 목록을 우리가 실제로 알고 있는 것에 대한 유연하고 정직한 표현으로 바꾸어, 의사 결정자가 실제보다 더 확신하고 있는 척하는 함정에 빠지지 않도록 도와줍니다.