Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

인간이 승자를 결정하는 스포츠에서, 심판의 개인적인 스타일과 실제 불공정함 사이의 경계는 종종 보이지 않을 때가 많다. 어떤 심판들은 자연스럽게 관대하여 모두에게 높은 점수를 주는 반면, 어떤 심판들은 엄격하여 오직 완벽한 수행에만 최고점을 남겨두기도 한다. 어떤 심판들은 극단적인 점수를 피하며 중간 범위에 안전하게 머무는 반면, 어떤 심판들은 전체 척도를 모두 사용한다. 이러한 스타일의 차이는 반드시 편향을 의미하는 것이 아니라, 단지 서로 다른 사람들이 세상을 바라보는 방식일 뿐이다. 스포츠 관계자들에게 있어 진정한 과제는, 한 심판이 단순히 엄격하거나 관대한 것을 넘어, 결과에 영향을 미칠 정도로 특정 선수에게 구체적으로 유리하게 작와했는지를 파악하는 것이다. 이것이 심판의 무결성 연구 뒤에 숨겨진 핵심 질문이다. 즉, 어떻게 하면 심판의 일반적인 성격과 특정 선수에 대한 구체적이고 불공정한 선호도를 구분해낼 것인가 하는 문제다.

독립 연구자인 마이클 알만(Michael Allman)의 새로운 연구는 국제빙상연맹(ISU)의 심판 시스템에 특화되어 설계된 신선한 통계적 접근 방식을 사용하여 이 문제를 다룬다. 피겨 스케이팅과 아이스 댄스에서 사용되는 이 시스템은 모든 동작과 구성 요소에 점수를 매기는 심판 패널에 의존한다. 하나의 이상치가 결과를 왜곡하는 것을 방지하기 위해, 각 요소에 대한 최고점과 최저점을 제외하고 남은 점수의 평균을 사용한다. 알만의 연구는 2026년 밀라노-코르티나 동계 올림픽, 특히 아이스 댄스 프리 댄스 부문에 초점을 맞추고 있지만, 이 방법은 2022년부터 2026년 사이 17개 대회의 142개 이벤트를 대상으로 테스트되었다. 목표는 단 한 명의 심판이 두 특정 스케이터 사이의 격차를 나머지 패널과는 다른 방식으로 벌렸는지 여부를 판단할 수 있는 도구를 구축하는 것이었다.

이 논문에서 개발된 방법은 한 심판이 실제로 행한 행동을 다른 심판들의 중간 지점에 맞췄을 경우의 행동과 비교함으로써 작동한다. 한 심판이 금메달 후보와 은메달 후보에게 점수를 주는 상황을 상상해 보자. 연구진은 먼저 해당 심판의 구체적인 점수가 두 스케이터 사이의 최종 점수 차이를 얼마나 변화시켰는지 계산한다. 그런 다음, 해당 심판의 점수를 다른 심판들의 중앙값으로 대체한 '중립적' 버전의 이벤트를 만든다. 실제 결과와 이 중립적 버전을 비교함으로써, 연구진은 특정 심판이 두 스케이터 사이의 격차에 더하거나 뺀 정확한 점수를 측정할 수 있다. 이것은 심판이 일반적으로 높거나 낮은 점수를 주었느냐에 관한 것이 아니다. 그것은 그 심판이 집단의 기준과 비교했을 때, 한 선수에게는 유별나게 높고 다른 선수에게는 유별나게 낮았는지에 관한 것이다.

이 측정이 무작위적인 소음이나 스케이터 프로그램의 자연스러운 난이도 때문에 발생한 것이 아님을 보장하기 위해, 연구진은 순열 검정(permutation test)이라 불리는 기법을 사용했다. 이는 데이터를 수천 번 섞어서, 관찰된 것만큼 극단적인 결과가 순전히 우연히 발생할 확률이 얼마나 되는지 확인하는 과정이다. 결정적으로, 이 섞기 과정은 심판의 개인적인 스타일을 그대로 유지하도록 설계되었다. 테스트의 내용은 다음과 같았다. 만약 이 심판이 동일한 일반적인 엄격함이나 관대함을 가지고 있었지만, 이를 서로 다른 스케이터들에게 무작위로 적용했다면, 여전히 금메달리스트와 은메달리스트 사이에 이와 같은 격차가 나타났겠는가? 만약 답이 '아니오'라면, 그 구체적인 편애는 실재할 가능성이 높다. 이 접근 방식을 통해 연구진은 모든 심판과 모든 경쟁 쌍에 대해 점수 단위의 정밀한 '마진 변화(margin shift)'와 함께, 결과가 요행이 아닐 통계적 확률을 산출할 수 있었다.

2026년 올림픽 아이스 댄스 프리 댄스에 적용했을 때, 이 방법은 한 특정 심판과 관련된 놀라운 패턴을 드러냈다. 1위와 2위를 차지한 스케이터 쌍에 대해, 이 심판의 점수는 금메달리스트에게 유리하게 1.19점을 변화시켰다. 통계 분석 결과, 이것이 무작위로 일어날 확률은 0.0003으로 매우 낮았다. 연구진이 많은 다양한 스케이터 쌍을 테스트했다는 점을 고려하여 조정했을 때도, 결과는 통계적으로 유의미했다. 이 1.19점의 변화는 실제 공식적인 1위와 2위 팀 간의 격차인 0.97점보다 컸다. 이 심판의 점수를 다른 심판들의 중앙값으로 대체한 반사실적 시나리오에서는 은메달리스트가 우승했을 것이다. 이러한 발견은 고립된 사례가 아니었다. 연구진은 데이터베이스 내의 여러 이벤트에서 단일 심판의 구체적인 편향이 이론적으로 우승자를 바꿀 수 있을 만큼 강력했던 아홉 가지 사례를 식별했다.

연구는 또한 분석된 142개 이벤트 전반의 심판 환경을 살펴보았다. 심판과 스케이터 쌍 사이의 27만 개 이상의 개별 비교를 통해, 연구진은 심판이 통계적으로 유의미한 경쟁자별 차이를 보인 2만 건 이상의 사례를 발견했다. 이러한 사례들은 고르게 분포되어 있지 않았다. 그것들은 특정 대회와 종목에 집중되어 나타났다. 예를 들어, 2022년 유럽 선수권 대회가 이러한 유의미한 발견의 상당 부분을 차지했는데, 이는 특정 이벤트의 심판 패널 구성이 종목 자체보다 더 중요하다는 것을 시사한다. 연구진은 많은 심판이 이러한 차이를 보였지만, 모든 심판이 공유하는 단일하고 보편적인 편향의 증거는 발견하지 못했다고 언급했다. 이는 이 상대적 방법론을 사용했을 때 더 쉽게 탐지될 수 있었던 부분이다.

이 작업의 가장 중요한 측면 중 하나는 "스타일"이라는 개념을 어떻게 처리하느냐에 있다. 연구진은 일반적으로 가혹하거나 관대한 심판이 반드시 편향되었다고 보는 관점을 명시적으로 배제했다. 그들의 방법은 그러한 전역적인 경향을 무시하도록 설계되었다. 만약 어떤 심판이 모두에게 낮은 점수를 준다면, 그것은 스타일의 차이지 편향이 아니다. 이 연구에서 편향은 엄격하게 정의된다. 즉, 한 심판이 다른 패널과는 다르게 한 경쟁자를 다른 경쟁자와 다르게 대우하는 것을 의미한다. 분석은 이 방법이 견고함을 입증했다. 연구진이 실력이 매우 다른 스케이터들에 대해 확인했을 때 통계적 신뢰도가 유지되었으며, 이는 도구가 단순히 판단하기 어려운 수행을 불공정함과 혼동하고 있는 것이 아님을 의미한다.

2026년 올림픽의 결과는 '심판 한 명 제외(leave-one-judge-out)' 분석이라는 별도의 검증을 통해 뒷받침되었다. 이 테스트에서 연구진은 특정 심판의 점수를 완전히 제거하고 이를 남은 심판들의 평균으로 대체하여 우승자가 바뀌는지 확인했다. 이 독립적인 방법은 메인 테스트에서 식별된 것과 동일한 심판을 제거했을 때 실제로 금메달이 은메달로 바뀐다는 것을 확인했다. 두 가지 서로 다른 통계적 접근 방식의 이러한 수렴은 관찰된 변화가 수학적 산물이 아니라, 해당 특정 심판이 해당 특정 이벤트에서 점수를 매긴 실제 특징이라는 결론을 강화한다.

궁극적으로, 이 논문은 붐비는 경쟁 속에서 단 한 명의 심판의 의견이 갖는 보이지 않는 무게를 측정하는 방법을 제공한다. 이는 고점과 저점을 제외하는 시스템이 이상치를 방지하기 위해 설계되었음에도 불구하고, 항상 두 특정 경쟁자 사이의 저울을 기울이는 것을 막지는 못한다는 것을 보여준다. 이 연구는 악의적인 의도나 결탁을 증명하려 하거나 전체 심판 시스템이 망가졌다고 주장하는 것이 아니다. 대신, 특정 스케이터 쌍에 대한 심판의 구체적인 점수가 패널의 합의에서 벗어나 최종 순위를 바꿀 수 있음을 식별할 수 있는 정밀한 비모수적 도구를 제공한다. 경쟁자 사이의 구체적인 마진에 집중함으로써, 이 연구는 9명의 심판과 엄격한 규칙이 있는 시스템에서도 경쟁의 결과가 한 개인의 구체적이고 차별적인 선택에 의해 좌우될 수 있음을 강조한다.