📊 statistics

Engine-Equal, Human-Unequal: A Reproducible Outcome Skew in Engine-Assessed Equal Chess Positions

Dit artikel toont aan dat in schaakstellingen die door sterke engines als objectief gelijkwaardig worden geëvalueerd, menselijke uitslagen stabiele, reproduceerbare biases vertonen die één zijde boven de andere bevoordelen over verschillende spelersgroepen en tijdperken heen, wat bewijst dat engine-evaluaties alleen onvoldoende zijn om menselijke resultaten te voorspellen.

Oorspronkelijke auteurs: Jesung Park

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jesung Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De verborgen bias in een "perfect gebalanceerd" spel

Stel je voor dat je een scheidsrechter bent in een enorme, wereldwijde sportcompetitie waar miljoenen mensen elke dag hetzelfde spel spelen. Om het eerlijk te houden, heb je een superintelligente robotrechter die naar elk moment in het spel kan kijken en precies kan vertellen hoe groot de kans is dat elke speler wint. Als de robot zegt: "Dit is een 50/50-verdeling," ga je ervan uit dat het spel perfect gebalanceerd is, zoals een wipwap met twee kinderen van exact hetzelfde gewicht. Maar hier komt de twist: wat als de robot alleen de fysica van de wipwap beoordeelt, terwijl de kinderen die erop spelen eigenlijk menselijk zijn? Mensen worden moe, ze worden zenuwachtig, ze hebben favoriete zetten die ze duizend keer geoefend hebben, en ze maken soms fouten die de robot, die nooit moe wordt, simpelweg niet begrijpt.

Dit artikel duikt in dat exacte mysterie, maar dan in de wereld van schaken. Het stelt een simpele vraag: wanneer een supercomputer zegt dat een schaakstelling "volkomen gelijkwaardig" is, behandelen menselijke spelers het dan ook echt als gelijkwaardig? De studie gebruikt gegevens van miljo'n echte partijen die online zijn gespeeld. Het kijkt naar stellingen waarin de computer 100% zeker is dat de score nul is (wat betekent dat er geen voordeel is voor een van beide zijden) en controleert vervolgens wat er daadwerkelijk gebeurde toen mensen deze speelden. De onderzoekers proberen niet te bewijzen dat schaken kapot is; ze proberen te zien of de "perfecte score" van de computer het hele verhaal vertelt over menselijk gedrag. Als de computer zegt "gelijkwaardig", maar mensen toch vaker winnen of verliezen dan ze zouden moeten doen, dan betekent dit dat er een verborgen laag van moeilijkheid of voordeel is die de wiskunde van de robot niet kan zien.

Het Grote "Gelijke" Schaaksmysterie

Maak kennis met de "Engine-Equal, Human-Unequal" ontdekking. De auteurs, onder leiding van Jesung Park, gingen op een detectivespel door meer dan 16 miljoen schaakpartijen die in oktober 2025 op Lichess werden gespeeld. Ze zochten naar een heel specifiek type schaakstelling: één waar de sterkste schaakengine ter wereld, Stockfish 18, naar het bord keek en zei: "Dit is perfect gebalanceerd. Wit en Zwart hebben exact dezelfde kans om te winnen." De engine is zo slim dat hij 28 zetten diep in de toekomst kan kijken om deze beslissing te nemen.

De onderzoekers vonden 1.661 van deze "perfect gelijke" stellingen. Maar toen ze keken naar hoe mensen deze specifieke momenten daadwerkelijk speelden, ontdekten ze iets vreemds. Hoewel de computer zei dat het spel een kop-of-munt was, behandelden de mensen het niet zo. In sommige van deze "gelijke" stellingen wonnen Wit-spelers vaker dan ze zouden moeten doen. In andere hadden de Zwart-spelers de overhand. Het was geen toevallige uitschieter; het was een patroon.

De "Ghost in the Machine" Test
Om er zeker van te zijn dat dit geen glitch of een gelukkige gok was, speelden de onderzoekers een slim spel van "het verschil verdelen". Ze namen alle partijen voor een specifieke stelling en verdeelden ze in twee groepen: Groep A (gespeeld door een bepaalde groep mensen) en Groep B (gespeeld door een totaal andere groep mensen die nooit tegen Groep A heeft gespeeld). Als de "ongelijkheid" slechts een fout in de data was, zouden Groep A en Groep B verschillende resultaten laten zien. Maar dat deden ze niet. Als een stelling iets beter voor Wit leek in Groep A, leek deze exact hetzelfde in Groep B.

De connectie tussen de twee groepen was ongelooflijk sterk. De onderzoekers berekenden een "replicatie-helling" van 0,69. Denk hierbij aan een schaduw: als je in de ochtend een schaduw ziet (Groep A), kun je met grote zekerheid voorspellen hoe die schaduw er in de middag (Groep B) uit zal zien. Het feit dat deze schaduw bestaat over twee totaal verschillende groepen mensen heen, bewijst dat de "ongelijkheid" een echt kenmerk van de schaakstelling zelf is, en niet slechts een eigenaardigheid van wie er toevallig aan het spelen was.

De "Denktijd" Aanwijzing
Het artikel keek niet alleen naar wie er won; het keek naar hoe ze speelden. Ze controleerden de klokken. Ze ontdekten dat wanneer een speler aan de "benadeelde" kant van deze vermeend gelijke stellingen zat, diegene langer deed over het maken van een zet. Het was alsof ze naar het bord staarden, hun hoofd krabden en dachten: "Wacht, dit voelt moeilijker dan de computer zei." De kant die de stelling geheim een voordeel gaf, bewoog sneller, terwijl de andere kant een "denktaks" betaalde door ongeveer 23% meer tijd te besteden aan hun zet. Dit bewijst dat de onbalans niet alleen een getal op een scorebord is; het is een echte, gevoelde moeilijkheid die mensen op dat moment ervaren.

Wat dit Papier Uitsluit
De auteurs waren zeer zorgvuldig om andere mogelijke verklaringen onderuit te halen. Ze bewezen dat:

Het gaat niet over vaardigheid: Ze corrigeerden voor de rating van de spelers. Zelfs wanneer een speler met een rating van 1500 tegen een andere speler van 1500 speelde, bleef de afwijking bestaan.
Het niet alleen "slechte openingen" zijn: Ze keken naar specifieke families van openingen. Zelfs binnen dezelfde opening (zoals de "Italiaanse opening") waren sommige specifieke bordopstellingen moeilijker voor de ene kant dan voor de andere.
Het geen "tijdreis-glitch" is: Ze controleerden partijen van acht maanden later (juni 2026) en het patroon was er nog steeds.
Het niet alleen de engine is die het fout heeft: Ze gebruikten een tweede, andere engine (Leela Chess Zero) om de stellingen te verifiëren, en de resultaten bleven standhouden.

De Grote "Maar"
Het paper is zeer eerlijk over wat het niet weet. Het bewijst dat de afwijking bestaat en reproduceerbaar is, maar het bewijst niet waarom. De auteurs suggereren twee hoofdmogelijkheden, maar kunnen niet zeggen welke de echte boosdoener is zonder een nieuw, gecontroleerd experiment:

De Stelling is Moeilijker: De opstelling van het bord zelf kan lastig zijn voor één kant, zelfs als de computer zegt dat het gelijkwaardig is.
De Spelers zijn Bevooroordeeld: Missen de spelers die deze specifieke stellingen kiezen misschien stiekem een voordeel in deze stellingen vergeleken met hun rating, of hebben ze deze lijnen meer geoefend?

De auteurs noemen dit een "observationeel" resultaat. Ze vonden een stabiel, reproduceerbaar patroon waarbij mensen meer worstelen aan de ene kant van een "perfect gelijke" bordopstelling, en ze ontdekten zelfs dat de worstelende kant meer tijd besteedt aan nadenken. Maar ze laten het uiteindelijke "waarom" over aan een toekomstig onderzoek.

De Conclusie
De belangrijkste bevinding is dat de "perfecte score" van een computer niet het hele verhaal is. Alleen omdat een robot zegt dat een schaakstelling een 50/50 kop-of-munt is, betekent dat niet dat mensen dat ook zo zullen behandelen. Er zijn verborgen stromingen in het spel—kleine, specifieke moeilijkheden die ervoor zorgen dat de ene kant zwaarder aanvoelt dan de andere. En het beste deel? Dit gaat niet alleen over schaken. Het is een herinnering dat wanneer we algoritmen gebruiken om menselijke beslissingen te beoordelen, we de rommelige, menselijke realiteit die zich vlak onder de neus van de robot afspeelt, misschien wel missen.

Technische Samenvatting: Engine-Gelijk, Mens-Ongelijk

Probleemstelling

Moderne schaakengines, zoals Stockfish, reduceren complexe bordstellingen tot een enkele scalaire waarde (centipawn-evaluatie). Wanneer een engine een stelling als "volkomen gelijkwaardig" evalueert (bijv. binnen ±10 centipawns van nul bij een hoge zoekdiepte), is de natuurlijke aanname dat de stelling ook voor menselijke spelers gebalanceerd is. Dit paper daagt die aanname uit door te vragen of door engines als gelijkwaardig beschouwde stellingen ( $SF \approx 0$ ) daadwerkelijk leiden tot gebalanceerde uitkomsten (50% winstpercentage voor Wit) wanneer ze door mensen worden gespeeld.

De auteurs stellen dat een scalaire engine-evaluatie geen voldoende statistische grootheid is voor menselijke uitkomsten. Hoewel modellen van engine-zelfspel laten zien dat centipawn-waarden naar verschillende winst/gelijkspel/verlies-verdelingen leiden afhankelijk van materiaal, onderzoekt dit paper of "engine-gelijke" stellingen ( $SF \approx 0$ ) reproduceerbare, directionele uitkomstafwijkingen (systematische voordelen voor Wit of Zwart) bevatten die standhouden na controle voor spelersratings en openingfamilies.

Methodologie

Databron en Selectie

Dataset: De studie maakt gebruik van de Lichess standaardgerateerde games dump van oktober 2025 (26,4M games, 16,1M geanalyseerde voorkomens) en een out-of-sample maand uit juni 2026 (25,0M games).
Filteren van Stellingen: De auteurs identificeerden stellingen die:
1. Door mensen in voldoende volume zijn bereikt (ontdekkingshelft voorkomst $\ge$ 50).
2. Door Stockfish 18 (diepte 12, MultiPV 1) worden geëvalueerd als $|eval| \le 50$ cp.
3. Diep Geverifieerd: Een subset van 7.465 stellingen werd opnieuw geëvalueerd bij toenemende dieptes (12, 16, 20, 25, 28). Een stelling wordt alleen opgenomen in het definitieve panel ( $N=1.661$ ) als de diepte-28 evaluatie binnen $\pm 10$ cp van nul ligt en stabiel blijft (laatste drie dieptes komen overeen binnen 50 cp).
Restricties: Games moeten beide spelers met een rating $\ge$ 1000 hebben, plaatsvinden bij ply $\le$ 40, en getagd zijn met ECO-codes.

Experimenteel Ontwerp

De kern van de methodologie is een reproduceerbaarheidstest ontworpen om vijf alledaagse verklaringen uit te sluiten voor geobserveerde afwijkingen: steekproefruis, rating-artefacten, account-specifieke eigenaardigheden, opening-familie effecten en tijdcontrole-artefacten.

Account-Disjoint Split: De primaire test splitst de data in twee groepen (A en B) op basis van volledig disjuncte sets van spelersaccounts. Een game wordt alleen behouden als beide spelers in dezelfde groep vallen.
Rating Kalibratie: Om het effect van de stelling te isoleren van de sterkte van de speler, passen de auteurs een fractioneel-logit GLM toe om de verwachte score van Wit te voorspellen op basis van het ratingverschil, de gemiddelde rating en de tijdcontrole. De "afwijking" ( $\delta$ ) voor een stelling wordt gedefinieerd als de gemiddelde residu (werkelijke score minus voorspelde score) over alle voorkomens.
Binnen-Familie Fixed Effects: Om uit te sluiten dat de afwijking louter een eigenschap is van een specifieke openingfamilie (bijv. "De Siciliaan bevoordeelt Wit"), trekt de analyse de gewogen gemiddelde afwijking van de openingfamilie af van de afwijking van elke stelling. De regressie wordt uitgevoerd op deze gedemandeerde waarden.
Replicatie Helling ( $\hat{\beta}$ ): De primaire estimand is de helling van de regressie van de Groep B-afwijking op de Groep A-afwijking (binnen openingfamilies).
- $\hat{\beta} \approx 0$ : De afwijking is ruis.
- $\hat{\beta} > 0$ : De afwijking is een stabiele eigenschap van de stelling, reproduceerbaar over disjuncte populaties van spelers.
Inferentie: Significantie wordt bepaald via permutatietests waarbij de stelling-afwijkingen binnen hun openingfamilies worden gehusseld (waarbij de familiestructuur behouden blijft maar de stelling-specifieke links worden verbroken).

Secundaire Maatstaven

Klokbelasting (Clock Burden): De studie analyseert de per zet klokdata om te zien of de "benadeelde" zijde (de zijde met de negatieve afwijking) meer tijd besteedt aan nadenken dan de bevoordeelde zijde.
Robuustheidscontroles: De analyse wordt herhaald over temporele splits (vroege vs. late maand), ratingbanden (Laag, Medium, Hoog), verschillende tijdcontroles (Blitz, Rapid, Classical) en striktere engine-evaluatiebanden.

Belangrijkste Resultaten

1. Reproduceerbare Uitkomstafwijking

De primaire bevinding is een statistisch significante replicatiehelling van $\hat{\beta} = 0,691$ (95% CI [0,646, 0,736], permutatie $p=0,001$ ) op de primaire account-disjuncte as.

Interpretatie: De uitkomstafwijking van een stelling gemeten in één groep spelers voorspelt de afwijking in een volledig disjuncte groep spelers.
Grootte: De typische afwijking is klein (mediaan $|\delta| \approx 0,018$ , ongeveer een 2% afwijking in de score van Wit), maar het is stabiel.
Richting: De afwijking is tweezijdig; sommige stellingen bevoordelen Wit, andere Zwart.
Ruiscorrectie: Wanneer gecorrigeerd voor meetruis (met behulp van split-half betrouwbaarheid, ICC = 0,655), stijgt de gedisattenueerde helling naar $\approx 1,05$ , wat suggereert dat als de meting perfect zou zijn, de afwijking met volledige kracht zou doorwerken.

2. Robuustheid en Bestaan

Het bestaan van de afwijking is invariant over meerdere perturbaties:

Temporeel: Repliceert over kalenderhelften ( $\hat{\beta} = 0,811$ ) en een out-of-sample maand (juni 2026, $\hat{\beta} = 0,904$ ).
Ratingbanden: Afwijkingen zijn rang-stabiel over Lage (<1500), Medium (1500–1800) en Hoge ( $\ge$ 1800) ratingbanden.
Tijdcontroles: Repliceert afzonderlijk in Blitz en Rapid (hoewel Classical data te schaars is voor een zelfstandige schatting).
Populariteit: De helling stijgt monotoon (0,69 naar 0,94) naarmate het panel wordt beperkt tot populairdere stellingen, wat aangeeft dat het effect geen "winner's curse" van ruismining is, maar een echt signaal dat duidelijker wordt met meer data.

3. Gedragsmatige Tegenhanger (Kloktijd)

Op engine-gelijke stellingen besteedt de zijde die aan zet is en die door de stelling wordt "benadeeld", significant meer tijd aan nadenken.

Resultaat: Een 0,10 verschuiving in afwijking komt overeen met ongeveer 23% meer denktijd voor de benadeelde zijde.
Specificiteit: Dit is een eenzijdige effect; de bevoordeelde zijde beweegt sneller dan neutrale controles, terwijl de benadeelde zijde langzamer beweegt. Dit suggereert dat de onbalans zichtbaar is in de handeling van het spelen, niet alleen in de uiteindelijke score.

4. Aard van Hoog-Afwijkende Stellingen

De 71 stellingen met gerepliceerde hoge afwijkingen ( $|\delta| \ge 0,05$ ) omvatten zowel scherpe tactische lijnen (bijv. Englund Gambit) als rustige positionele structuren (bijv. Giuoco Pianissimo).

Scherpte: Hoog-afwijkende stellingen hebben vaak een lagere kandidaat-zet entropie en minder stabiele engine-evaluaties over zoekdieptes, wat suggereert dat ze tactisch scherper of volatieler zijn dan het gemiddelde van het panel.
Niet Alleen Vallen: De afwijking bestaat zelfs in kalme, niet-tactische structuren, wat aangeeft dat het niet uitsluitend het resultaat is van bekende openingstraps.

Betekenis en Claims

Wat het Paper Vaststelt

Engine-scores zijn Geen Voldoende Statistieken: Een machine-evaluatie van "nul" impliceert geen gebalanceerd menselijk beslissingsprobleem. Het gat tussen engine-evaluatie en menselijke uitkomst is geen willekeurige ruis; het is een reproduceerbare, directionele eigenschap van specifieke stellingen.
Stelling-Specifieke Moeilijkheid: De afwijking is een eigenschap van de "natuurlijk bereikte stelling" (de bordtoestand plus de spelers die deze kiezen). Het overleeft controles binnen openingfamilies, wat betekent dat het niet louter het resultaat is van één zijde van een openingfamilie die over het algemeen sterker is.
Gedragsbewijs: De afwijking manifesteert zich fysiek in het spel via klokgebruik, wat bevestigt dat de onbalans door spelers in real-time wordt gevoeld.

Beperkingen en Causale Claims

Het paper stelt expliciet dat het resultaat observationeel en niet-causaal is.

Selectiebias: De auteurs kunnen niet uitsluiten dat de afwijking wordt veroorzaakt door wie de stelling selecteert (repertoireselectie). Bijvoorbeeld: spelers die een specifieke lijn kiezen, kunnen systematisch beter zijn in die lijn dan hun rating doet vermoeden, of ze kunnen beter voorbereid zijn.
Scope: De claim gaat over de "natuurlijk bereikte stelling", niet over de stelling in isolatie.
Toekomstig Werk: Het vaststellen of de stelling zelf de moeilijkheid veroorzaakt (intrinsieke moeilijkheid) versus de voorbereiding van de spelers, vereist een gerandomiseerde gecontroleerde studie (het toewijzen van spelers aan lijnen), wat het onderwerp is van een apart, vooraf geregistreerd begeleidend onderzoek.

Conclusie

Het paper levert een grootschalige, reproduceerbare demonstratie dat "engine-gelijke" stellingen vaak "mens-ongelijke" zijn. Deze afwijking is een stabiel, meetbaar fenomeen dat standhoudt over disjuncte spelergroepen, tijd en ratingniveaus, en wordt vergezeld door meetbare cognitieve kosten (toegenomen denktijd) voor de benadeelde zijde. De bevindingen suggereren dat algoritmische grondwaarheid in domeinen van besluitvorming de complexiteit van menselijke prestaties niet volledig kan vatten, zelfs niet in hooggestructureerde omgevingen zoals schaken.