Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

In Sportarten, in denen Menschen den Sieger bestimmen, ist die Grenze zwischen dem persönlichen Stil eines Richters und tatsächlicher Unfairness oft unsichtbar. Einige Richter sind von Natur aus großzügig und verteilen hohe Punktzahlen an alle, während andere streng sind und die Bestnoten nur für die perfektesten Leistungen reservieren. Einige Richter vermeiden es, extreme Bewertungen abzugeben, und bleiben sicher in der Mitte des Bereichs, während andere die gesamte Skala nutzen. Diese Unterschiede im Stil sind nicht notwendigerweise Voreingenommenheit; sie sind schlicht die Art und Weise, wie verschiedene Menschen die Welt sehen. Die eigentliche Herausforderung für Sportoffizielle besteht darin, herauszufinden, wann ein Richter nicht nur streng oder nachgiebig ist, sondern einen bestimmten Wettbewerber gegenüber einem anderen gezielt bevorzugt, auf eine Weise, die das Ergebnis verändert. Dies ist die zentrale Frage hinter der Untersuchung der Integrität der Preisgerichtsbarkeit: Wie unterscheidet man den allgemeinen Charakter eines Richters von einer spezifischen, unfairen Präferenz für einen bestimmten Athleten?

Eine neue Studie des unabhängigen Forschers Michael Allman widmet sich diesem Problem mit einem neuen statistischen Ansatz, der speziell für das Bewertungssystem der International Skating Union entwickelt wurde. Das in Eiskunstlauf und Eistanz verwendete System beruht auf einem Gremium von Preisrichtern, die jede einzelne Bewegung und jede Komponente einer Darbietung bewerten. Um zu verhindern, dass ein einzelner Ausreißer die Ergebnisse verzerrt, werden die höchsten und niedrigsten Punktzahlen für jedes Element verworfen, und der Durchschnitt der verbleibenden Marken wird verwendet. Allmans Arbeit konzentriert sich auf die Olympischen Winterspiele 2026 in Mailand-Cortina, speziell auf das Eistanz-Frei程序-Segment, aber die Methode wurde über 142 Veranstaltungen aus 17 verschiedenen Wettbewerben zwischen 2022 und 2026 getestet. Das Ziel war es, ein Werkzeug zu entwickeln, das die Punktzahlen eines einzelnen Richters für zwei spezifische Skater betrachten und bestimmen kann, ob dieser Richter den Abstand zwischen ihnen in einer Weise verschoben hat, die das restliche Gremium nicht tat.

Die in dieser Arbeit entwickelte Methode funktioniert, indem sie vergleicht, was ein Richter tatsächlich getan hat, gegenüber dem, was er getan hätte, wenn er sich einfach an der Mitte der anderen Richter orientiert hätte. Stellen Sie sich vor, ein Richter gibt eine Punktzahl für einen Goldmedaillen-Anwärter und einen Silbermedaillen-Anwärter. Die Forscher berechnen zunächst, wie sehr die spezifischen Punktzahlen dieses Richters den endgültigen Punktunterschied zwischen diesen beiden Skatern verändert haben. Dann erstellen sie eine „neutrale“ Version des Wettbewerbs, in der die Punktzahlen dieses Richters durch den Median der anderen Richter ersetzt werden. Durch den Vergleich des realen Ergebnisses mit dieser neutralen Version können die Forscher die exakte Anzahl der Punkte messen, die ein spezifischer Richter dem Abstand zwischen zwei Skatern hinzugefügt oder abgezogen hat. Hierbei geht es nicht darum, ob der Richter allgemein hoch oder niedrig bewertet hat; es geht darum, ob er für einen Skater ungewöhnlich hoch und für einen anderen ungewöhnlich niedrig war, relativ zur Gruppe.

Um sicherzustellen, dass diese Messung nicht nur zufälliges Rauschen oder die natürliche Schwierigkeit der Programme der Skater erfasste, verwendeten die Forscher eine Technik namens Permutationstest. Dies beinhaltet das Durchmischen der Daten tausende Male, um zu sehen, wie oft ein so extremes Ergebnis wie das beobachtete durch reinen Zufall zustande kommen könnte. Entscheidend war, dass dieser Mischprozess den persönlichen Stil des Richters intakt hielt. Der Test fragte: Wenn dieser Richter dieselbe allgemeine Tendenz zur Strenge oder Nachgiebigkeit gehabt hätte, sie aber zufällig auf verschiedene Skater angewendet hätte, würden wir dann immer noch diese spezifische Lücke zwischen den Gold- und Silbermedailisten sehen? Wenn die Antwort nein lautet, dann ist die spezifische Bevorzugung wahrscheinlich real. Dieser Ansatz ermöglichte es den Forschern, für jeden Richter und jedes Paar von Wettbewerbern eine präzise „Margenverschiebung“ in Punkten sowie eine statistische Wahrscheinlichkeit zu berechnen, dass das Ergebnis kein Zufall war.

Bei der Anwendung auf den Eistanz-Frei程序 der Olympischen Spiele 2026 offenbarte die Methode ein auffälliges Muster unter Beteiligung eines spezifischen Richters. Bei dem Paar der Skater, die Erster und Zweiter wurden, verschob die Bewertung dieses Richters den Punktunterschied um 1,19 Punkte zugunsten des Goldgewinners. Die statistische Analyse zeigte, dass die Wahrscheinlichkeit, dass dies zufällig geschah, extrem gering war, nämlich bei 0,0003. Als die Forscher die Analyse korrigierten, um der Tatsache Rechnung zu tragen, dass sie viele verschiedene Paare von Skatern testeten, blieb das Ergebnis statistisch signifikant. Diese 1,19-Punkte-Verschiebung war größer als der tatsächliche offizielle Abstand zwischen den erst- und zweitplatzierten Teams, der 0,97 Punkte betrug. In einem kontrafaktischen Szenario, in dem die Punktzahlen dieses Richters durch den Median der anderen Richter ersetzt worden wären, hätte der Silbermedailist gewonnen. Dieser Befund war nicht isoliert; die Forscher identifizierten neun Ereignisse in der Datenbank, bei denen die spezifische Voreingenommenheit eines einzelnen Richters stark genug war, um theoretisch den Sieger zu verändern.

Die Studie untersuchte auch die breitere Landschaft der Preisgerichtsbarkeit über die 142 analysierten Veranstaltungen hinweg. Von mehr als 270.000 individuellen Vergleichen zwischen Richtern und Paaren von Skatern fanden die Forscher über 20.000 Fälle, in denen ein Richter ein statistisch signifikantes, wettbewerbsspezifisches Differenzial aufwies. Diese waren nicht gleichmäßig verteilt; sie häuften sich stark in bestimmten Wettbewerben und Disziplinen. So war beispielsweise die Europameisterschaft 2022 für einen großen Teil der signifikanten Befunde verantwortlich, was darauf hindeutet, dass die Zusammensetzung des Preisgericht-Gremiums in einem bestimmten Wettbewerb wichtiger ist als die Disziplin selbst. Die Forscher stellten auch fest, dass viele Richter zwar diese Differenziale zeigten, sie jedoch keine Beweise für eine einzige, universelle Voreingenommenheit fanden, die von allen Richtern geteilt wurde, was mit dieser relativen Methode schwerer zu detektieren gewesen wäre.

Einer der wichtigsten Aspekte dieser Arbeit ist, wie sie mit dem Konzept des „Stils“ umgeht. Die Forscher schlossen explizit die Idee aus, dass ein Richter, der allgemein hart oder allgemein nachgiebig ist, notwendigerweise voreingenommen ist. Ihre Methode ist darauf ausgelegt, diese globalen Tendenzen zu ignorieren. Wenn ein Richter allen eine niedrige Punktzahl gibt, ist das ein Unterschied im Stil, keine Voreingenommenheit. Voreingenommenheit wird in dieser Studie strikt als die Art und Weise definiert, wie ein Richter einen Wettbewerber anders behandelt als einen anderen, in einer Weise, die nicht dem Rest des Gremiums entspricht. Die Analyse bestätigte, dass die Methode robust ist: Als die Forscher die Ergebnisse für Skater mit sehr unterschiedlichen Leistungsniveaus überprüften, blieb die statistische Zuverlässigkeit bestehen, was bedeutet, dass das Werkzeug nicht einfach eine schwer zu bewertende Leistung mit Unfairness verwechselt.

Die Ergebnisse der Olympischen Spiele 2026 wurden durch eine separate Überprüfung bestätigt, die als „Leave-one-judge-out“-Analyse bezeichnet wird. In diesem Test entfernten die Forscher einfach die Punktzahlen des spezifischen Richters und ersetzten sie durch den Durchschnitt der verbleibenden Richter, um zu sehen, ob sich der Sieger änderte. Diese unabhängige Methode bestätigte, dass das Entfernen desselben Richters, der durch den Haupttest identifiziert wurde, tatsächlich die Goldmedaille an den Silbermedailisten übertragen hätte. Diese Konvergenz zweier unterschiedlicher statistischer Ansätze stärkt die Schlussfolgerung, dass die beobachtete Verschiebung kein Artefakt der Mathematik war, sondern ein reales Merkmal der Art und Weise, wie dieser spezifische Richter diesen spezifischen Wettbewerb bewertet hat.

Letztendlich bietet die Arbeit eine Möglichkeit, das unsichtbare Gewicht der Meinung eines einzelnen Richters in einem dichten Feld zu messen. Sie zeigt, dass das System der Streichung hoher und niedriger Werte zwar darauf ausgelegt ist, vor Ausreißern zu schützen, aber nicht immer verhindert, dass ein einzelner Richter das Pendel zwischen zwei spezifischen Wettbewerbern neigt. Die Studie behauptet nicht, böswillige Absicht oder Kollusion zu beweisen, noch deutet sie an, dass das gesamte Bewertungssystem defekt sei. Stattdessen bietet sie ein präzises, nicht-parametrisches Werkzeug, das identifizieren kann, wann die spezifischen Punktzahlen eines Richters für ein Paar von Skatern vom Konsens des Gremiums in einer Weise abweichen, die den endgültigen Stand verändert. Indem sie sich auf die spezifische Marge zwischen den Wettbewerbern statt auf die Gesamtpunkte konzentriert, hebt die Forschung hervor, dass selbst in einem System mit neun Richtern und strengen Regeln der Ausgang eines Wettbewerbs von den spezifischen, differenziellen Entscheidungen eines Einzelnen abhängen kann.