Pairwise, Style-Controlled, Nonparametric Tests for Judge Bias under the ISU Judging System

In sporten waar mensen de winnaar bepalen, is de grens tussen de persoonlijke stijl van een jurylid en werkelijke onrechtvaardigheid vaak onzichtbaar. Sommige juryleden zijn van nature gul en geven hoge scores aan iedereen, terwijl anderen streng zijn en de hoogste punten alleen voorstellen aan de meest perfecte prestaties. Sommige juryleden vermijden het geven van extreme scores en houden zich veilig in het midden van het bereik, terwijl anderen het volledige spectrum gebruiken. Deze verschillen in stijl zijn niet noodzakelijkerwijs vooroordelen; het is simpelweg de manier waarop verschillende mensen de wereld zien. De echte uitdaging voor sportfunctionarissen is om te achterhalen wanneer een jurylid niet alleen streng of mild is, maar specifiek één concurrent bevoordeelt boven een andere op een manier die de uitslag verandert. Dit is de centrale vraag achter het onderzoek naar de integriteit van het jurywerk: hoe onderscheid je de algemene persoonlijkheid van een jurylid van een specifieke, onrechtvaardige voorkeur voor een bepaalde atleet?

Een nieuwe studie door onafhankelijk onderzoeker Michael Allman pakt dit probleem aan met een frisse statistische benadering die specifiek is ontworpen voor het beoordelingssysteem van de International Skating Union. Het systeem dat wordt gebruikt in het kunstschaatsen en ijsdansen vertrouwt op een panel van juryleden die elke beweging en elk onderdeel van een uitvoering scoren. Om te voorkomen dat een enkele uitschieter de resultaten vertekent, worden de hoogste en laagste scores voor elk element weggegooid, en wordt het gemiddelde van de resterende punten gebruikt. Allmans werk richt zich op de Olympische Winterspelen van 2026 in Milano-Cortina, specifelijk het vrije danssegment van het ijsdansen, maar de methode werd getest over 142 evenementen uit 17 verschillende competities tussen 2022 en 2026. Het doel was om een instrument te bouwen dat kan kijken naar de scores van een enkel jurylid voor twee specifieke schaatsers en kan bepalen of dat jurylid de kloof tussen hen heeft vergroot op een manier die de rest van het panel niet deed.

De methode die in dit artikel is ontwikkeld, werkt door te vergelijken wat een jurylid daadwerkelijk deed tegenover wat zij zouden hebben gedaan als zij simpelweg het middenpad van de andere juryleden hadden gevolgd. Stel je een voor dat een jurylid een score geeft aan een kanshebber voor goud en een kanshebber voor zilver. De onderzoekers berekenen eerst hoeveel de specifieke scores van dat jurylid het uiteindelijke puntverschil tussen die twee schaatsers hebben veranderd. Vervolgens creëren ze een "neutrale" versie van het evenement waarbij de scores van dat jurylid worden vervangen door de mediaan van de andere juryleden. Door het echte resultaat met deze neutrale versie te vergelijken, kunnen de onderzoekers het exacte aantal punten meten dat een specifiek jurylid heeft toegevoegd of afgetrokken van de marge tussen twee schaatsers. Dit gaat niet over of het jurylid over het algemeen hoog of laag scoorde; het gaat erom of zij ongewoon hoog was voor de één en ongewoon laag voor de ander, relatief aan de groep.

Om te garanderen dat deze meting niet simpelweg een reactie was op willekeurige ruis of de natuurlijke moeilijkheidsgraad van de programma's van de schaatsers, gebruikten de onderzoekers een techniek genaamd een permutatietest. Dit houdt in dat de gegevens duizenden keren worden gehusseld om te zien hoe vaak een resultaat dat zo extreem is als het geobserveerde, door puur toeval zou kunnen voorkomen. Cruciaal is dat dit husselproces zo is ontworpen dat de persoonlijke stijl van het jurylid intact blijft. De test vroeg: als dit jurylid dezelfde algemene neiging tot strengheid of mildheid had, maar dit willekeurig toepaste op verschillende schaatsers, zouden we dan nog steeds deze specifieke kloof tussen de gouden en zilveren medaillewinnaars zien? Als het antwoord nee is, dan is de specifieke voorkeur waarschijnlijk echt. Deze aanpak stelde de onderzoekers in staat om voor elk jurylid en elk paar concurrenten een precieze "margeverschuiving" in punten te berekenen, samen met een statistische waarschijnlijkheid dat het resultaat geen toevalstreffer was.

Wanneer toegepast op de 2026 Olympische Ijsdans Vrije Dans, onthulde de methode een opvallend patroon waarbij één specifiek jurylid betrokken was. Voor het paar schaatsers dat als eerste en tweede eindigde, verschoof de score van dit jurylid het puntverschil met 1,19 punten in het voordeel van de gouden medalist. De statistische analyse toonde aan dat de kans dat dit willekeurig zou gebeuren extreem laag was, met een waarschijnlijkheid van 0,0003. Wanneer de onderzoekers corrigeerden voor het feit dat ze veel verschillende paren schaatsers testten, bleef het resultaat statistisch significant. Deze verschuiving van 1,19 punten was groter dan de werkelijke officiële marge tussen de eerste en tweede plaatsteams, die 0,97 punten bedroeg. In een contrafeitelijk scenario waarin de scores van dit jurylid zouden worden vervangen door de mediaan van de andere juryleden, zou de zilveren medalist hebben gewonnen. Deze bevinding stond niet op zichzelf; de onderzoekers identificeerden negen evenementen in de database waar de specifieke bias van een enkel jurylid sterk genoeg was om theoretisch de winnaar te veranderen.

De studie keek ook naar het bredere landschap van het jurywerk over de 142 geanalyseerde evenementen. Vanuit meer dan 270.000 individuele vergelijkingen tussen juryleden en paren schaatsers, vonden de onderzoekers meer dan 20.000 gevallen waarin een jurylid een statistisch significante, concurrent-specifieke differentiaal vertoonde. Deze waren niet gelijkmatig verdeeld; ze klonterden sterk in bepaalde competities en disciplines. Zo vormde het Europees Kampioenschap van 2022 een groot deel van deze significante bevindingen, wat suggereert dat de samenstelling van het jurypanel in een specifiek evenement belangrijker is dan de discipline zelf. De onderzoekers merkten ook op dat hoewel veel juryleden deze differentiaal vertoonden, ze geen bewijs vonden voor een enkele, universele bias die gedeeld werd door alle juryleden, wat moeilijker te detecteren zou zijn geweest met deze relatieve methode.

Een van de belangrijkste aspecten van dit werk is hoe het omgaat met het concept van "stijl". De onderzoekers sloten expliciet de gedachte uit dat een jurylid dat over het algemeen hard of mild is, noodzakelijkerwijs bevooroordeeld is. Hun methode is ontworpen om die globale tendensen te negeren. Als een jurylid iedereen een lage score geeft, is dat een verschil in stijl, geen bias. Bias wordt in deze studie strikt gedefinieerd als een jurylid dat één concurrent anders behandelt dan een andere op een manier die de rest van het panel niet doet. De analyse bevestigde dat de methode robuust is: wanneer de onderzoekers de resultaten controleerden voor schaatsers met zeer verschillende vaardigheidsniveaus, bleef de statistische betrouwbaarheid behouden, wat betekent dat het instrument niet simpelweg een moeilijk te beoordelen prestatie verwart met onrechtvaardigheid.

De bevindingen van de 2026 Olympische Spelen werden bevestigd door een aparte controle die een "leave-one-judge-out"-analyse wordt genoemd. In deze test verwijderden de onderzoekers simpelweg de scores van het specifieke jurylid en vervingen deze door het gemiddelde van de overige juryleden om te zien of de winnaar veranderde. Deze onafhankelijke methode bevestigde dat het verwijderen van hetzelfde jurylid dat door de hoofdtest werd geïdentificeerd, inderdaad de gouden medaille zou hebben doen omslaan naar de zilveren medaille. Deze convergentie van twee verschillende statistische benaderingen versterkt de conclusie dat de geobserveerde verschuiving geen artefact van de wiskunde was, maar een echt kenmerk van hoe dat specifieke jurylid die specifieke gebeurtenis beoordeelde.

Uiteindelijk biedt het artikel een manier om het onzichtbare gewicht van de mening van een enkel jurylid in een druk veld te meten. Het laat zien dat hoewel het systeem van het wegknippen van hoge en lage scores is ontworpen om uitschieters te beschermen, het niet altijd voorkomt dat een enkel jurylid de schalen doet doorslaan tussen twee specifieke concurrenten. De studie beweert niet kwaadwillige opzet of collusie te bewijzen, noch suggereert het dat het gehele beoordelingssysteem kapot is. In plaats daarvan biedt het een precieze, niet-parametrische tool die kan identificeren wanneer de specifieke scores van een jurylid voor een paar schaatsers afwijken van de consensus van het panel op een manier die de uiteindelijke stand verandert. Door te focussen op de specifieke marge tussen concurrenten in plaats van op de algemene scores, benadrukt het onderzoek dat zelfs in een systeem met negen juryleden en strikte regels, de uitkomst van een competitie kan afhangen van de specifieke, differentiële keuzes van één individu.