Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

人間が勝者を決定するスポーツにおいて、審判の個人的なスタイルと実際の不公平さとの境界線は、しばしば不可視である。高いスコアを全員に惜しみなく与える自然と寛大な審判もいれば、最も完璧な演技に対してのみ最高得点を残しておく厳格な審判もいる。極端なスコアを避け、安全に範囲の中間に留まる審判もいれば、全スケールを活用する審判もいる。これらのスタイルの違いは必ずしも偏向（バイアス）ではなく、単に人々の世界の見方の違いに過ぎない。スポーツ関係者の真の課題は、ある審判が単に厳格であったり寛大であったりするのではなく、結果を変えてしまうような形で、特定の競技者を特別に優遇しているのではないかを見極めることである。これが、審判の誠実さを研究する際の中心的な問いである。すなわち、審判の一般的な性格と、特定の選手に対する具体的な不当な好みを、どのように区別するのかという問いである。

独立系研究者であるマイケル・オールマンによる新しい研究は、国際スケート連盟（ISU）の採点システムに特化して設計された新しい統計的手法を用いて、この問題に取り組んでいる。フィギュアスケートやアイスダンスで使用されるシステムは、パフォーマンスのあらゆる動きや構成要素に対して採点を行う審判団に依存している。一つの外れ値が結果を歪めるのを防ぐため、各要素の最高点と最低点は除外され、残りのマークの平均が使用される。オールマンの研究は、2026年ミラノ・コルティナ・ダンテ冬季オリンピック、特にアイスダンスのフリーダンス部門に焦点を当てているが、その手法は2022年から2026年の間の17の異なる競技会からなる142のイベント全体でテストされた。その目的は、一人の審判が二人の特定のスケーターに対して、パネル全体の傾向とは異なる形でその差を広げたかどうかを判断できるツールを構築することであった。

この論文で開発された手法は、ある審判が実際に何を行ったかを、他の審判の中間地点に合わせた場合にどうなっていたかと比較することで機能する。ある審判が金メダル候補と銀メダル候補にスコアを与えている場面を想像してほしい。研究者はまず、その審判の特定のマークが、それら二人のスケーター間の最終的なポイント差をどれだけ変化させたかを計算する。次に、その審判のマークを他の審判の中央値に置き換えた「中立的」なイベントを作成する。実際の結果とこの中立的なバージョンを比較することで、研究者は特定の審判が二人のスケーター間の差に、具体的に何ポイントを加算または減算したかを測定できる。これは、その審判が全般的に高いか低いかについての問題ではない。その審判が、グループと比較して、一方のスケーターに対して異常に高く、他方に対して異常に低かったかどうかについての問題なのである。

この測定が、単なるランダムなノイズやスケーターのプログラムの自然な難易度を拾い上げているのではないことを確実にするために、研究者は「置換テスト（パーミュテーション・テスト）」と呼ばれる手法を用いた。これは、データを数千回シャッフルし、観察されたものと同じほど極端な結果が純粋な偶然によってどの程度起こり得るかを確認する作業である。決定的なことに、このシャッフルプロセスは、審判の個人的なスタイルを維持するように設計された。テストの内容はこうである。「もしこの審判が、同じ一般的な厳格さや寛大さを持っていたとしても、それを異なるスケーターに対してランダムに適用していた場合、それでもなお、金メダルと銀メダルの間のこの特定の差が見られるだろうか？」もし答えがノーであれば、その特定の優遇措置は実在する可能性が高い。このアプローチにより、研究者はすべての審判とすべての競技者のペアに対して、正確な「マージン・シフト（差の変動）」をポイント単位で、そしてその結果が偶然ではない統計的確率とともに算出することができた。

2026年オリンピックのアイスダンス・フリーダンスに適用したところ、この手法はある特定の審判に関する驚くべきパターンを明らかにした。1位と2位のスケーターのペアにおいて、この審判のマークは金メダリストに有利に1.19ポイントの差を動かした。統計分析によれば、これがランダムに起こる確率は0.0003と極めて低かった。研究者が多くの異なるペアのスケーターに対してテストを行っていることを考慮して調整した後でも、結果は統計的に有意であった。この1.19ポイントのシフトは、実際の公式の差である0.97ポイントよりも大きかった。この審判のマークを他の審判の中央値に置き換えた反事実的なシナリオでは、銀メダリストが優勝していたことになる。この発見は孤立したものではなく、データベース内の9つのイベントにおいて、単一の審判の特定のバイアスが、理論的に勝者を変更するほど強力であったことが特定された。

研究は、分析された142のイベント全体における採点の広範な状況についても調査した。27万件以上の審判とペアのスケーターの個別の比較の結果、研究者は、審判が統計的に有意な競技者固有の格差を示した事例を2万件以上発見した。これらは均等に分布しているのではなく、特定の競技会や種目に強く集中していた。例えば、2022年欧州選手権は、これらの有意な発見の大部分を占めており、特定のイベントにおける審判団の構成が、種目そのものよりも重要であることを示唆している。研究者はまた、多くの審判がこれらの格差を示していたものの、すべての審判に共通する単一の普遍的なバイアスは見出せなかったとも指摘している。これは、この相対的な手法を用いることで検出しやすかったはずである。

この研究の最も重要な側面の一つは、「スタイル」という概念をどのように扱うかである。研究者は、一般的に厳しい、あるいは一般的に寛大な審判が必ずしもバイアスを持っているわけではないという考えを明確に排除した。彼らの手法は、そのようなグローバルな傾向を無視するように設計されている。もし審判が全員に低いスコアを与えているなら、それはスタイルの違いであり、バイアスではない。本研究におけるバイアスは、厳密に、ある審判が他の審判とは異なる方法で一人の競技者を他者と異なる扱いをしたことと定義される。分析は、この手法が堅牢であることを確認した。研究者が非常にスキルの異なるスケーターの結果をチェックした際、統計的な信頼性は維持されており、これはツールが単に難しいパフォーマンスを不当さと混同しているのではないことを意味している。

2026年オリンピックの知見は、「リーブ・ワン・ジャッジ・アウト（一人の審判を除外する）」分析と呼ばれる別の検証によって裏付けられた。このテストでは、研究者は特定の審判のマークを完全に取り除き、残りの審判の平均値で置き換えることで、勝者が変わるかどうかを確認した。この独立した手法は、メインのテストで特定されたのと同じ審判を除去すれば、確かに金メダルが銀メダルへと入れ替わることを裏付けた。これら二つの異なる統計的手法の収束は、観察されたシフトが数学的な産物ではなく、その特定の審判がその特定のイベントに対して行ったスコアリングの実際の特徴であるという結論を強化している。

結局のところ、この論文は、混み合ったフィールドの中で、一人の審判の意見が持つ「目に見えない重み」を測定する方法を提示している。それは、高得点と低得点を切り捨てるシステムが、外れ値から保護するように設計されている一方で、二人の特定の競技者間の天秤を傾けることを常に防げるわけではないことを示している。この研究は、悪意のある意図や共謀を証明しようとしたり、採点システム全体が壊れていると示唆したりするものではない。そうではなく、特定のスケーターのペアに対する審判の具体的なマークが、パネルのコンセンサスから逸脱して最終的な順位を変える場合を特定できる、精密な非パラメトリック・ツールを提供している。競技者の間の具体的なマージンに焦点を当てることで、この研究は、9人の審判と厳格なルールが存在するシステムにおいても、競技の結果が一人の個人の具体的な、かつ差別的な選択によって左右され得ることを浮き彫りにしている。