Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

Em esportes onde seres humanos decidem o vencedor, a linha entre o estilo pessoal de um juiz e a injustiça real é frequentemente invisível. Alguns juízes são naturalmente generosos, atribuindo pontuações altas a todos, enquanto outros são rigorosos, reservando as notas máximas apenas para as performances mais perfeitas. Alguns juízes evitam dar pontuações extremas, mantendo-se com segurança no meio da escala, enquanto outros utilizam a escala completa. Essas diferenças de estilo não são necessariamente um viés; são simplesmente a maneira como diferentes pessoas veem o mundo. O verdadeiro desafio para os oficiais esportivos é descobrir quando um juiz não está apenas sendo rigoroso ou leniente, mas está especificamente favorecendo um competidor em detrimento de outro de uma forma que altera o resultado. Esta é a questão central por trás do estudo da integridade da arbitragem: como se separa a personalidade geral de um juiz de uma preferência específica e injusta por um determinado atleta?

Um novo estudo do pesquisador independente Michael Allman aborda este problema utilizando uma abordagem estatística inovadora desenhada especificamente para o sistema de arbitragem da União Internacional de Patinação. O sistema utilizado na patinação artística e na dança no gelo baseia-se num painel de juízes que pontuam cada movimento e componente de uma performance. Para evitar que um valor discrepante distorça os resultados, as pontuações mais alta e mais baixa de cada elemento são descartadas, e a média das marcas restantes é utilizada. O trabalho de Allman foca-se nos Jogos Olímpicos de Inverno de 2026 em Milão-Cortina, especificamente no segmento de dança no gelo livre, mas o método foi testado em 142 eventos de 17 competições diferentes entre 2022 e 2026. O objetivo era construir uma ferramenta que pudesse observar as marcas de um único juiz para dois patinadores específicos e determinar se esse juiz alterou a diferença entre eles de uma forma que o resto do painel não fez.

O método desenvolvido neste artigo funciona comparando o que um juiz realmente fez contra o que ele teria feito se tivesse simplesmente correspondido ao ponto médio dos outros juízes. Imagine um juiz dando uma pontuação a um candidato à medalha de ouro e a um candidato à medalha de prata. Os investigadores calculam primeiro o quanto as marcas específicas desse juiz alteraram a diferença de pontos final entre esses dois patinadores. Em seguida, criam uma versão "neutra" do evento onde as marcas desse juiz são substituídas pela mediana das pontuações dos outros juízes. Ao comparar o resultado real com esta versão neutra, os investigadores podem medir o número exato de pontos que um juiz específico adicionou ou subtraiu da margem entre dois patinadores. Isto não é sobre se o juiz foi geralmente alto ou baixo; é sobre se ele foi incomumente alto para um patinador e incomumente baixo para outro, em relação ao grupo.

Para garantir que esta medição não fosse apenas ruído aleatório ou a dificuldade natural dos programas dos patinadores, os investigadores utilizaram uma técnica chamada teste de permutação. Isto envolve embaralhar os dados milhares de vezes para ver com que frequência um resultado tão extremo como o observado poderia acontecer por puro acaso. Crucialmente, este processo de embaralhamento foi desenhado para manter intacto o estilo pessoal do juiz. O teste perguntou: se este juiz tivesse a mesma tendência geral de ser rigoroso ou leniente, mas a aplicasse aleatoriamente a diferentes patinadores, ainda veríamos esta lacuna específica entre as medalhas de ouro e prata? Se a resposta for não, então o favoritismo específico é provavelmente real. Esta abordagem permitiu aos investigadores calcular um "desvio de margem" preciso em pontos para cada juiz e cada par de competidores, juntamente com uma probabilidade estatística de que o resultado não fosse uma coincidência.

Ao ser aplicado à Dança no Gelo Livre dos Jogos Olímpicos de 2026, o método revelou um padrão impressionante envolvendo um juiz específico. Para o par de patinadores que terminou em primeiro e segundo lugar, as marcas deste juiz deslocaram a diferença de pontos em 1,19 pontos a favor do medalhista de ouro. A análise estatística mostrou que a chance de isto acontecer aleatoriamente era extremamente baixa, com uma probabilidade de 0,0003. Quando os investigadores ajustaram para o facto de estarem a testar muitos pares diferentes de patinadores, o resultado permaneceu estatisticamente significativo. Este desvio de 1,19 pontos foi maior do que a margem oficial real entre as equipas de primeiro e segundo lugar, que foi de 0,97 pontos. Num cenário contrafactual onde as marcas deste juiz fossem substituídas pela mediana dos outros juízes, o medalhista de prata teria vencido. Esta descoberta não foi isolada; os investigadores identificaram nove eventos na base de dados onde o viés específico de um juiz foi suficientemente forte para, teoricamente, alterar o vencedor.

O estudo também analisou o panorama mais amplo da arbitragem através dos 142 eventos analisados. De mais de 270.000 comparações individuais entre juízes e pares de patinadores, os investigadores encontraram mais de 20.000 instâncias onde um juiz mostrou um diferencial específico de competidor estatisticamente significativo. Estes não estavam distribuídos uniformemente; concentravam-se fortemente em certas competições e disciplinas. Por exemplo, o Campeonato Europeu de 2022 representou uma grande parte destas descobertas significativas, sugerindo que a composição do painel de juízes num evento específico importa mais do que a disciplina em si. Os investigadores também notaram que, embora muitos juízes tenham mostrado estes diferenciais, não encontraram evidência de um viés único e universal partilhado por todos os juízes, o que teria sido mais difícil de detetar com este método relativo.

Um dos aspetos mais importantes deste trabalho é como lida com o conceito de "estilo". Os investigadores excluíram explicitamente a ideia de que um juiz que é geralmente severo ou geralmente leniente é necessariamente tendencioso. O seu método foi desenhado para ignorar essas tendências globais. Se um juiz dá pontuações baixas a todos, isso é uma diferença de estilo, não de viés. O viés, neste estudo, é definido estritamente como um juiz tratar um competidor de forma diferente de outro de uma forma que o resto do painel não o faz. A análise confirmou que o método é robusto: quando os investigadores verificaram os resultados para patinadores com níveis de habilidade muito diferentes, a fiabilidade estatística manteve-se, o que significa que a ferramenta não está simplesmente a confundir uma performance difícil de julgar com injustiça.

As descobertas dos Jogos Olímpicos de 2026 foram corroboradas por uma verificação separada chamada análise "leave-one-judge-out" (remover um juiz). Neste teste, os investigadores simplesmente removeram as marcas do juiz específico e substituíram-nas pela média dos restantes juízes para ver se o vencedor mudava. Este método independente confirmou que remover o mesmo juiz identificado pelo teste principal alteraria, de facto, a medalha de ouro para a de prata. Esta convergência de duas abordagens estatísticas diferentes reforça a conclusão de que o desvio observado não foi um artefacto da matemática, mas sim uma característica real de como esse juiz específico pontuou esse evento específico.

Em última análise, o artigo fornece uma forma de medir o peso invisível da opinião de um único juiz num campo repleto de competidores. Mostra que, embora o sistema de eliminar as pontuações mais alta e mais baixa seja desenhado para proteger contra valores discrepantes, ele não impede sempre que um único juiz incline a balança entre dois competidores específicos. O estudo não afirma provar intenção maliciosa ou conluio, nem sugere que todo o sistema de arbitragem esteja partido. Em vez disso, oferece uma ferramenta não paramétrica precisa que pode identificar quando as marcas específicas de um juiz para um par de patinadores se desviam do consenso do painel de uma forma que altera a classificação final. Ao focar-se na margem específica entre competidores em vez das pontuações gerais, a investigação destaca que, mesmo num sistema com nove juízes e regras estritas, o resultado de uma competição pode depender das escolhas específicas e diferenciais de um único indivíduo.