Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

Negli sport in cui gli esseri umani decidono il vincitore, la linea tra lo stile personale di un giudice e l'effettiva ingiustizia è spesso invisibile. Alcuni giudici sono naturalmente generosi, assegnando punteggi alti a tutti, mentre altri sono severi, riservando i voti massimi solo alle performance più perfette. Alcuni giudici evitano di dare punteggi estremi, attestandosi in sicurezza nella parte centrale dell'intervallo, mentre altri utilizzano l'intera scala. Queste differenze di stile non sono necessariamente pregiudizi; sono semplicemente il modo in cui persone diverse vedono il mondo. La vera sfida per i funzionari sportivi è capire quando un giudice non sta solo essendo severo o indulgente, ma sta specificamente favorendo un concorrente rispetto a un altro in un modo che cambia l'esito. Questa è la domanda centrale dietro lo studio dell'integrità della giudicatura: come si può separare la personalità generale di un giudice da una specifica, ingiusta preferenza per un particolare atleta?

Un nuovo studio del ricercatore indipendente Michael Allman affronta questo problema utilizzando un approccio statistico inedito, progettato specificamente per il sistema di giudizio dell'International Skating Union. Il sistema utilizzato nel pattinaggio di figura e nella danza su ghiaccio si basa su una giuria che valuta ogni singola mossa e componente di una performance. Per evitare che un singolo valore anomalo sbilanci i risultati, i punteggi più alti e quelli più bassi per ogni elemento vengono scartati, e viene utilizzata la media dei voti rimanenti. Il lavoro di Allman si concentra sui Giochi Olimpici Invernali 2026 di Milano-Cortina, nello specifico sul segmento della danza libera della danza su ghiaccio, ma il metodo è stato testato su 142 eventi di 17 competizioni diverse tra il 2022 e il 2026. L'obiettivo era costruire uno strumento che potesse osservare se un singolo giudice avesse modificato il distacco tra due specifici pattinatori in un modo in cui il resto della giuria non lo aveva fatto.

Il metodo sviluppato in questo articolo funziona confrontando ciò che un giudice ha effettivamente fatto rispetto a ciò che avrebbe fatto se avesse semplicemente seguito la via di mezzo degli altri giudici. Immaginate un giudice che assegna un punteggio a un contendente per la medaglia d'oro e a un contendente per la medaglia d'argento. I ricercatori calcolano prima di quanto il punteggio specifico di quel giudice abbia cambiato la differenza di punti finale tra quei due pattinatori. Successivamente, creano una versione "neutra" dell'evento in cui i voti di quel giudice sono sostituiti dalla mediana dei punteggi degli altri giudici. Confrontando il risultato reale con questa versione neutra, i ricercatori possono misurare l'esatto numero di punti che un determinato giudice ha aggiunto o sottratto al margine tra due pattinatori. Questo non riguarda il fatto che il giudice sia generalmente alto o basso; riguarda il fatto che sia stato insolitamente alto per un pattinatore e insolitamente basso per un altro, rispetto al gruppo.

Per garantire che questa misurazione non fosse solo il frutto di rumore casuale o della naturale difficoltà dei programmi dei pattinatori, i ricercatori hanno utilizzato una tecnica chiamata test di permutazione. Questo comporta lo rimescolamento dei dati migliaia di volte per vedere quanto spesso un risultato così estremo come quello osservato potrebbe verificarsi per puro caso. Fondamentalmente, questo processo di rimescolamento è stato progettato per mantenere intatto lo stile personale del giudice. Il test chiedeva: se questo giudice avesse avuto la stessa tendenza generale a essere severo o indulgente, ma l'avesse applicata casualmente a diversi pattinatori, vedremmo ancora questo specifico divario tra i medagliati d'oro e d'argento? Se la risposta è no, allora il favoritismo specifico è probabilmente reale. Questo approccio ha permesso ai ricercatori di calcolare uno "scostamento del margine" preciso in punti per ogni giudice e per ogni coppia di concorrenti, insieme a una probabilità statistica che il risultato non fosse un caso fortuito.

Applicato alla danza libera su ghiaccio delle Olimpiadi 2026, il metodo ha rivelato un modello sorprendente che coinvolge un giudice specifico. Per la coppia di pattinatori che si è classificata prima e seconda, i voti di questo giudice hanno spostato la differenza di punti di 1,19 punti a favore del medagliato d'oro. L'analisi statistica ha mostrato che la probabilità che ciò accadesse casualmente era estremamente bassa, con una probabilità di 0,0003. Quando i ricercatori hanno corretto il dato per il fatto che stavano testando molte coppie diverse di pattinatori, il risultato è rimasto statisticamente significativo. Questo scostamento di 1,19 punti era superiore al margine ufficiale effettivo tra le prime due squadre, che era di 0,97 punti. In uno scenario controfattuale in cui i voti di questo giudice fossero stati sostituiti dalla mediana degli altri giudici, il medagliato d'argento avrebbe vinto. Questa scoperta non era isolata; i ricercatori hanno identificato nove eventi nell'intero database in cui il bias specifico di un singolo giudice era stato abbastanza forte da cambiare teoricamente il vincitore.

Lo studio ha anche esaminato il panorama più ampio della giudicatura attraverso i 142 eventi analizzati. Su oltre 270.000 confronti individuali tra giudici e coppie di pattinatori, i ricercatori hanno trovato oltre 20.000 casi in cui un giudice mostrava un differenziale specifico rispetto al concorrente che fosse statisticamente significativo. Questi non erano distribuiti uniformemente; erano concentrati pesantemente in certe competizioni e discipline. Ad esempio, i Campionati Europei del 2022 hanno rappresentato una gran parte di queste scoperte significative, suggerendo che la composizione della giuria in un evento specifico conti più della disciplina stessa. I ricercatori hanno inoltre notato che, sebbene molti giudici mostrassero questi differenziali, non avevano trovato prove di un singolo bias universale condiviso da tutti i giudici, il che sarebbe stato più difficile da rilevare con questo metodo relativo.

Uno degli aspetti più importanti di questo lavoro è come gestisce il concetto di "stile". I ricercatori hanno esplicitamente escluso l'idea che un giudice che è generalmente duro o generalmente indulgente sia necessariamente di parte. Il loro metodo è progettato per ignorare queste tendenze globali. Se un giudice dà a tutti un punteggio basso, si tratta di una differenza di stile, non di un pregiudizio. Il bias, in questo studio, è definito strettamente come un giudice che tratta un concorrente in modo diverso rispetto a un altro in un modo in cui il resto della giuria non fa. L'analisi ha confermato che il metodo è robusto: quando i ricercatori hanno controllato i risultati per pattinatori con livelli di abilità molto diversi, l'affidabilità statistica ha tenuto, il che significa che lo strumento non sta semplicemente confondendo una performance difficile da giudicare con l'ingiustizia.

Le scoperte delle Olimpiadi 2026 sono state corroborate da un controllo separato chiamato analisi "leave-one-judge-out" (esclusione di un giudice). In questo test, i ricercatori hanno semplicemente rimosso i voti del giudice specifico e li hanno sostituiti con la media degli altri giudici per vedere se il vincitore cambiasse. Questo metodo indipendente ha confermato che rimuovere lo stesso giudice identificato dal test principale avrebbe effettivamente spostato l'oro alla medaglia d'argento. Questa convergenza di due diversi approcci statistici rafforza la conclusione che lo scostamento osservato non fosse un artefatto della matematica, ma una caratteristica reale di come quel particolare giudice ha valutato quel particolare evento.

In definitiva, l'articolo fornisce un modo per misurare il peso invisibile dell'opinione di un singolo giudice in un campo affollato. Dimostra che, sebbene il sistema di eliminazione dei punteggi alti e bassi sia progettato per proteggere contro gli outlier, non riesce sempre a prevenire un singolo giudice dal pendere la bilancia a favore di due specifici concorrenti. Lo studio non pretende di provare un intento malevolo o una collusione, né suggerisce che l'intero sistema di giudizio sia rotto. Al contrario, offre uno strumento non parametrico preciso che può identificare quando i voti specifici di un giudice per una coppia di pattinatori deviano dal consenso della giuria in un modo che altera la classifica finale. Concentrandosi sullo scarto specifico tra i concorrenti piuttosto che sui punteggi generali, la ricerca evidenzia come, anche in un sistema con nove giudici e regole rigide, l'esito di una competizione possa dipendere dalle scelte specifiche e differenziali di un singolo individuo.