Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

En los deportes donde los seres humanos deciden al ganador, la línea entre el estilo personal de un juez y la falta de imparcialidad real es a menudo invisible. Algunos jueces son naturalmente generosos, otorgando puntuaciones altas a todos, mientras que otros son estrictos, reservando las marcas más altas solo para las actuaciones más perfectas. Algunos jueces evitan dar puntuaciones extremas, manteniéndose seguros en la parte media del rango, mientras que otros utilizan la escala completa. Estas diferencias de estilo no son necesariamente un sesgo; son simplemente la forma en que diferentes personas ven el mundo. El verdadero desafío para los oficiales deportivos es determinar cuándo un juez no solo está siendo estricto o permisivo, sino que está favoreciendo específicamente a un competidor sobre otro de una manera que cambia el resultado. Esta es la cuestión central detrás del estudio de la integridad de la jueces: ¿cómo se separa la personalidad general de un juez de una preferencia específica e injusta por un atleta en particular?

Un nuevo estudio del investigador independiente Michael Allman aborda este problema utilizando un enfoque estadístico fresco diseñado específicamente para el sistema de jueces de la Unión Internacional de Patinaje. El sistema utilizado en el patinaje artístico y la danza sobre hielo depende de un panel de jueces que califican cada movimiento y componente de una actuación. Para evitar que un valor atípico desvíe los resultados, se descartan las puntuaciones más altas y más bajas de cada elemento, y se utiliza el promedio de las marcas restantes. El trabajo de Allman se centra en los Juegos Olímpicos de Invierno 2026 en Milán-Cortina, específicamente en el segmento de la danza libre de la danza sobre hielo, pero el método fue probado en 142 eventos de 17 competiciones diferentes entre 2022 y 2026. El objetivo era construir una herramienta que pudiera observar las marcas de un solo juez para dos patinadores específicos y determinar si ese juez cambió la brecha entre ellos de una manera en que el resto del panel no lo hizo.

El método desarrollado en este artículo funciona comparando lo que un juez hizo realmente contra lo que habría hecho si simplemente hubiera coincidido con el punto medio de los otros jueces. Imagine a un juez dando una puntuación a un contendiente de la medalla de oro y a un contendiente de la medalla de plata. Los investigadores primero calculan cuánto cambió la marca específica de ese juez la diferencia de puntos final entre esos dos patinadores. Luego, crean una versión "neutral" del evento donde las marcas de ese juez son reemplazadas por la mediana de los otros jueces. Al comparar el resultado real con esta versión neutral, los investigadores pueden medir el número exacto de puntos que un juez específico añadió o restó al margen entre dos patinadores. Esto no se trata de si el juez fue generalmente alto o bajo; se trata de si fue inusualmente alto para un patinador y inusualmente bajo para otro, en relación con el grupo.

Para asegurar que esta medición no fuera simplemente la detección de ruido aleatorio o la dificultad natural de los programas de los patinadores, los investigadores utilizaron una técnica llamada prueba de permutación. Esto implica barajar los datos miles de veces para ver con qué frecuencia podría ocurrir un resultado tan extremo como el observado por puro azar. Crucialmente, este proceso de barajado fue diseñado para mantener intacto el estilo personal del juez. La prueba preguntaba: si este juez tuviera la misma tendencia general a ser estricto o permisivo, pero la aplicara aleatoriamente a diferentes patinadores, ¿seguiríamos viendo esta brecha específica entre los medallistas de oro y plata? Si la respuesta es no, entonces el favoritismo específico es probablemente real. Este enfoque permitió a los investigadores calcular un "desplazamiento de margen" preciso en puntos para cada juez y cada par de competidores, junto con una probabilidad estadística de que el resultado no fuera una casualidad.

Al aplicarse a la Danza Libre de la Danza sobre Hielo de los Juegos Olímpicos de 2026, el método reveló un patrón sorprendente que involucra a un juez específico. Para la pareja de patinadores que terminaron en primero y segundo lugar, las marcas de este juez desplazaron la diferencia de puntos en 1.19 puntos a favor del medallista de oro. El análisis estadístico mostró que la probabilidad de que esto ocurriera aleatoriamente era extremadamente baja, con una probabilidad de 0.0003. Cuando los investigadores ajustaron el resultado considerando que estaban probando muchos pares de patinadores diferentes, el resultado siguió siendo estadísticamente significativo. Este desplazamiento de 1.19 puntos fue mayor que el margen oficial real entre los equipos de primer y segundo lugar, que fue de 0.97 puntos. En un escenario contrafáctico donde las marcas de este juez fueran reemplazadas por la mediana de los otros jueces, el medallista de plata habría ganado. Este hallazgo no fue aislado; los investigadores identificaron nueve eventos en la base de datos donde el sesgo específico de un juez fue lo suficientemente fuerte como para teóricamente cambiar al ganador.

El estudio también analizó el panorama más amplio de la jueces a través de los 142 eventos analizados. De más de 270,000 comparaciones individuales entre jueces y pares de patinadores, los investigadores encontraron más de 20,000 instancias donde un juez mostró un diferencial específico de competidor estadísticamente significativo. Estos no estaban distribuidos uniformemente; se agrupaban fuertemente en ciertas competiciones y disciplinas. Por ejemplo, el Campeonato Europeo de 2022 representó una gran parte de estos hallazgos significativos, lo que sugiere que la composición del panel de jueces en un evento específico importa más que la disciplina misma. Los investigadores también observaron que, si bien muchos jueces mostraron estos diferenciales, no encontraron evidencia de un sesgo único y universal compartido por todos los jueces, lo cual habría sido más difícil de detectar con este método relativo.

Uno de los aspectos más importantes de este trabajo es cómo maneja el concepto de "estilo". Los investigadores descartaron explícitamente la idea de que un juez que es generalmente severo o generalmente permisivo sea necesariamente parcial. Su método está diseñado para ignorar esas tendencias globales. Si un juez da puntuaciones bajas a todo el mundo, eso es una diferencia de estilo, no de sesgo. El sesgo, en este estudio, se define estrictamente como un juez que trata a un competidor de manera diferente a otro de una forma en que el resto del panel no lo hace. El análisis confirmó que el método es robusto: cuando los investigadores verificaron los resultados para patinadores con niveles de habilidad muy diferentes, la fiabilidad estadística se mantuvo, lo que significa que la herramienta no está simplemente confundiendo una actuación difícil de juzgar con una falta de imparcialidad.

Los hallazgos de los Juegos Olímpicos de 2026 fueron corroborados por una verificación separada llamada análisis de "dejar fuera a un juez". En esta prueba, los investigadores simplemente eliminaron las marcas de ese juez específico y las reemplazaron con el promedio de los jueces restantes para ver si el ganador cambiaba. Este método independiente confirmó que eliminar al mismo juez identificado por la prueba principal efectivamente cambiaría la medalla de oro a la de plata. Esta convergencia de dos enfoques estadísticos diferentes fortalece la conclusión de que el desplazamiento observado no fue un artefacto de las matemáticas, sino una característica real de cómo ese juez específico calificó ese evento específico.

En última instancia, el artículo proporciona una forma de medir el peso invisible de la opinión de un solo juez en un campo concurrido. Muestra que, si bien el sistema de recortar las puntuaciones altas y bajas está diseñado para proteger contra valores atípicos, no siempre evita que un solo juez incline la balanza entre dos competidores específicos. El estudio no pretende demostrar una intención maliciosa o colusión, ni sugiere que todo el sistema de jueces esté roto. En cambio, ofrece una herramienta precisa y no paramétrica que puede identificar cuándo las marcas específicas de un juez para un par de patinadores se desvían del consenso del panel de una manera que altera la clasificación final. Al centrarse en el margen específico entre competidores en lugar de en las puntuaciones generales, la investigación destaca que, incluso en un sistema con nueve jueces y reglas estrictas, el resultado de una competición puede depender de las decisiones específicas y diferenciales de un solo individuo.