Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

Dans les sports où des êtres humains décident du vainqueur, la frontière entre le style personnel d'un juge et une réelle injustice est souvent invisible. Certains juges sont naturellement généreux, attribuant des scores élevés à tout le monde, tandis que d'autres sont stricts, réservant les notes les plus hautes aux performances les plus parfaites. Certains juges évitent de donner des scores extrêmes, se tenant prudemment dans la moyenne, tandis que d'autres utilisent toute l'échelle. Ces différences de style ne sont pas nécessairement des biais ; elles sont simplement la façon dont différentes personnes perçoivent le monde. Le véritable défi pour les officiels sportifs est de déterminer quand un juge n'est pas seulement strict ou indulgent, mais favorise spécifiquement un compétiteur par rapport à un autre d'une manière qui modifie le résultat. C'est la question centrale derrière l'étude de l'intégrité du jugement : comment distinguer la personnalité générale d'un juge d'une préférence spécifique et injuste pour un athlète particulier ?

Une nouvelle étude menée par le chercheur indépendant Michael Allman s'attaque à ce problème en utilisant une approche statistique inédite conçue spécifiquement pour le système de jugement de l'Union Internationale de Patinage. Le système utilisé en patinage artistique et en danse sur glace repose sur un panel de juges qui évaluent chaque mouvement et chaque composante d'une performance. Pour éviter qu'une valeur aberrante ne fausse les résultats, les scores les plus hauts et les plus bas pour chaque élément sont écartés, et la moyenne des notes restantes est utilisée. Le travail d'Allman se concentre sur les Jeux Olympiques d'hiver 2026 de Milano-Cortina, plus précisément sur la partie danse sur glace, mais la méthode a été testée sur 142 événements issus de 17 compétitions différentes entre 2022 et 2026. L'objectif était de construire un outil capable d'examiner les notes d'un juge spécifique pour deux patineurs précis et de déterminer si ce juge a creusé l'écart entre eux d'une manière que le reste du panel n'a pas fait.

La méthode développée dans cet article fonctionne en comparant ce qu'un juge a réellement fait par rapport à ce qu'il aurait fait s'il s'était simplement aligné sur le point médian des autres juges. Imaginez un juge donnant une note à un prétendant à la médaille d'or et à un prétendant à la médaille d'argent. Les chercheurs calculent d'abord de combien les notes spécifiques de ce juge ont modifié la différence de points finale entre ces deux patineurs. Ensuite, ils créent une version « neutre » de l'événement où les notes de ce juge sont remplacées par la médiane des autres juges. En comparant le résultat réel à cette version neutre, les chercheurs peuvent mesurer le nombre exact de points qu'un juge spécifique a ajouté ou soustrait à la marge entre deux patineurs. Il ne s'agit pas de savoir si le juge était généralement haut ou bas ; il s'agit de savoir s'il a été exceptionnellement élevé pour un patineur et exceptionnellement bas pour un autre, par rapport au groupe.

Pour s'assurer que cette mesure ne relevait pas simplement du bruit aléatoire ou de la difficulté naturelle des programmes des patineurs, les chercheurs ont utilisé une technique appelée test de permutation. Cela consiste à mélanger les données des milliers de fois pour voir à quelle fréquence un résultat aussi extrême que celui observé pourrait se produire par pur hasard. Crucialement, ce processus de mélange a été conçu pour préserver intact le style personnel du juge. Le test demandait : si ce juge avait la même tendance générale à être strict ou indulgent, mais l'appliquait de manière aléatoire à différents patineurs, observerions-nous toujours cet écart spécifique entre les médaillés d'or et d'argent ? Si la réponse est non, alors le favoritisme spécifique est probablement réel. Cette approche a permis aux chercheurs de calculer un « décalage de marge » précis en points pour chaque juge et chaque paire de compétiteurs, ainsi qu'une probabilité statistique que le résultat ne soit pas un coup de chance.

Appliquée à la danse sur glace des JO 2026, la méthode a révélé un schéma frappant impliquant un juge spécifique. Pour la paire de patineurs ayant terminé première et deuxième, les notes de ce juge ont décalé la différence de points de 1,19 point en faveur du médaillé d'or. L'analyse statistique a montré que la probabilité que cela se produise de manière aléatoire était extrêmement faible, avec une probabilité de 0,0003. Lorsque les chercheurs ont ajusté le résultat en tenant compte du fait qu'ils testaient de nombreuses paires de patineurs différentes, le résultat est resté statistiquement significatif. Ce décalage de 1,19 point était supérieur à la marge officielle réelle entre les équipes première et deuxième, qui était de 0,97 point. Dans un scénario contrefactuel où les notes de ce juge auraient été remplacées par la médiane des autres juges, le médaillé d'argent aurait gagné. Cette découverte n'était pas isolée ; les chercheurs ont identifié neuf événements dans la base de données où le biais spécifique d'un juge était assez fort pour théoriquement changer le vainqueur.

L'étude a également examiné le paysage plus large du jugement à travers les 142 événements analysés. Sur plus de 270 000 comparaisons individuelles entre juges et paires de patineurs, les chercheurs ont trouvé plus de 20 000 cas où un juge présentait un différentiel spécifique au compétiteur statistiquement significatif. Ces cas n'étaient pas répartis uniformément ; ils se concentraient fortement dans certaines compétitions et disciplines. Par exemple, les Championnats d'Europe 2022 ont représenté une grande partie de ces conclusions significatives, suggérant que la composition du panel de juges dans un événement spécifique importe plus que la discipline elle-même. Les chercheurs ont également noté que, bien que de nombreux juges aient montré ces différentiels, ils n'ont trouvé aucune preuve d'un biais universel unique partagé par tous les juges, ce qui aurait été plus difficile à détecter avec cette méthode relative.

L'un des aspects les plus importants de ce travail est la manière dont il traite le concept de « style ». Les chercheurs ont explicitement écarté l'idée qu'un juge généralement sévère ou généralement indulgent est nécessairement biaisé. Leur méthode est conçue pour ignorer ces tendances globales. Si un juge donne une note basse à tout le monde, c'est une différence de style, pas un biais. Le biais, dans cette étude, est défini strictement comme le fait qu'un juge traite un compétiteur différemment d'un autre d'une manière que le reste du panel ne fait pas. L'analyse a confirmé que la méthode est robuste : lorsque les chercheurs ont vérifié les résultats pour des patineurs ayant des niveaux de compétence très différents, la fiabilité statistique a tenu bon, ce qui signifie que l'outil ne confond pas simplement une performance difficile à juger avec une injustice.

Les conclusions des JO 2026 ont été corroborées par un contrôle distinct appelé analyse « leave-one-judge-out » (exclusion d'un juge). Dans ce test, les chercheurs ont simplement supprimé les notes du juge spécifique et les ont remplacées par la moyenne des autres juges pour voir si le vainqueur changeait. Cette méthode indépendante a confirmé que le retrait du même juge identifié par le test principal aurait effectivement fait basculer la médaille d'or vers la médaille d'argent. Cette convergence de deux approches statistiques différentes renforce la conclusion selon laquelle le décalage observé n'était pas un artefact des mathématiques, mais une caractéristique réelle de la façon dont ce juge spécifique a noté cet événement précis.

En fin de compte, l'article fournit un moyen de mesurer le poids invisible de l'opinion d'un seul juge dans un champ encombré. Il montre que, bien que le système de suppression des notes hautes et basses soit conçu pour protéger contre les valeurs aberrantes, il ne parvient pas toujours à empêcher un seul juge de faire pencher la balance entre deux compétiteurs spécifiques. L'étude ne prétend pas prouver une intention malveillante ou une collusion, ni suggérer que l'ensemble du système de jugement est défaillant. Elle offre plutôt un outil précis et non paramétrique qui peut identifier quand les notes spécifiques d'un juge pour une paire de patineurs s'écartent du consensus du panel d'une manière qui modifie le classement final. En se concentrant sur la marge spécifique entre les compétiteurs plutôt que sur les scores globaux, la recherche souligne que même dans un système doté de neuf juges et de règles strictes, l'issue d'une compétition peut dépendre des choix différentiels spécifiques d'un seul individu.