Stel je voor dat je de scheidsrechter bent van een gigantisch, onzichtbaar spel dat gespeeld wordt in de wereld van zaken en scholen. In dit spel nemen spelers (zoals bedrijven die groen willen zijn of studenten die naar een universiteit willen) verborgen acties om hun prestaties te verbeteren. Een scheidsrechter (zoals een beoordelingsinstantie of een toetscontroleur) ziet een ruisend signaal over hoe hard een speler heeft geprobeerd, maar het echte publiek (investeerders of universiteiten) ziet alleen de uiteindelijke score van de scheidsrechter. Het lastige deel is dat de spelers slim zijn; ze kennen de regels van de scheidsrechter en kunnen proberen "het systeem te bespelen" door hun inspanning te veinzen of zich alleen te concentreren op wat een hoge score oplevert, in plaats van op het werkelijk goede werk te doen. Dit is de wereld van informatieontwerp en moreel gevaar. "Moreel gevaar" is gewoon een chique manier om te zeggen dat mensen kunnen gaan luieren of valsspelen als ze denken dat ze niet betrapt zullen worden, terwijl "informatieontwerp" de kunst is van het beslissen hoeveel waarheid je precies onthult om iedereen eerlijk te laten spelen. De grote vraag is: moet de scheidsrechter elk detail van de prestaties van de speler laten zien, of moet hij sommige delen verbergen om de spelers gemotiveerd te houden?

Dit artikel, getiteld "Optimal Rating Design under Moral Hazard," duikt diep in die vraag. De auteurs, Maryam Saeedi en Ali Shourideh, treden op als meesterlijke spelontwerpers die proberen de perfecte regelboeken voor beoordelingssystemen te bepalen. Ze ontdekken dat er geen "one-size-fits-all" antwoord is. Soms is alles laten zien het beste. Maar vaak is de slimste zet om de informatie te censureren — wat betekent dat je de lijnen tussen bepaalde uitkomsten doelbewust vervaagt. Ze vinden dat de beste manier van censureren volledig afhangt van hoe de inspanning van de speler de kansen op succes verandert. Als harder werken een "home run" waarschijnlijker maakt maar ook een "strikeout" waarschijnlijker maakt, moet het beste beoordelingssysteem de slechte uitkomsten verbergen (lagere censuur) om risicovol gedrag aan te moedigen. Daarentegen, als harder werken de resultaten simpelweg consistenter en minder riskant maakt, moet het beste systeem de geweldige uitkomsten verbergen (hogere censuur) om inactiviteit te ontmoedigen. Ze laten zelfs zien dat in complexe situaties waarin spelers hun weg naar een goede score kunnen faken zonder het werk daadwerkelijk te doen (wat men "window dressing" noemt), de scheidsrechter soms de middelste scores volledig moet verbergen om de bedriegers te stoppen.

Het spel van verborgen inspanning en ruisende signalen

Om het artikel te begrijpen, zetten we de scène met een eenvoudig verhaal. Stel je een bakker voor die het beste brood van de stad wil verkopen. De bakker kan ervoor kiezen om hard te werken (premium meel gebruiken en urenlang kneden) of een kortere weg te nemen (goedkoop meel en een machine gebruiken). De klanten van de stad (de markt) willen geweldig brood, maar ze kunnen de handen van de bakker niet zien; ze kunnen alleen het brood proeven. Een beoordelingsinstantie (de tussenpersoon) houdt de bakker in de gaten en ziet een "signaal" — misschien de geur van de keuken of de kleur van de korst. Dit signaal is ruisend; een goede geur garandeert geen geweldig brood, en een slechte geur garandeert geen slecht brood.

De beoordelingsinstantie heeft een keuze: vertellen de klanten precies wat het signaal zegt, of een vaag overzicht geven zoals "Goed", "Oké" of "Slecht". De bakker kent de regels van de instantie. Als de instantie te streng is, kan de bakker het opgeven. Als de instantie te makkelijk is, kan de bakker stoppen met hard werken en alleen proberen goed te lijken. De instantie wil een beoordelingssysteem ontwerpen dat de bakker aanzet tot zo hard mogelijk werken, of misschien om de arme bakkers te helpen overleven, of om bakkers te stoppen met het veinzen van een "Goede" beoordeling.

De belangrijkste truc van het artikel is het besef dat het beoordelingssysteem niet alleen een score geeft, maar ook een prijs creëert voor de inspanning van de bakker. Als de beoordeling "Goed" is, krijgt de bakker een hoge prijs voor zijn brood. Als het "Slecht" is, krijgt hij een lage prijs. De bakker beslist hoe hard hij werkt op basis van hoeveel extra geld hij verwacht te verdienen als hij harder probeert. De auteurs introduceren een slim concept genaamd interim prijzen. Denk hierbij aan het "tweedehands" geloof van de bakker. Voordat de definitieve beoordeling bekend wordt gemaakt, denkt de bakker: "Als ik een goede geur ruik, wat zullen de klanten uiteindelijk van mij vinden?" Het artikel bewijst dat als een beoordelingssysteem eerlijk is (wat betekent dat hogere geuren altijd leiden tot hogere verwachte prijzen), de verzameling mogelijke beoordelingssystemen beperkt is tot systemen die de extreme pieken en dalen van de ruwe signalen "afvlakken". Je kunt geen beoordelingssysteem maken dat de prijs wilder laat springen dan de ruwe signalen zelf; je kunt ze alleen middelen.

De magie van het verbergen van de waarheid

Het meest opwindende deel van het artikel is hoe het de vraag beantwoordt: "Wanneer moeten we de waarheid verbergen?" De auteurs ontdekken dat het antwoord afhangt van hoe de inspanning van de bakker de vorm van de mogelijke uitkomsten verandert. Ze identificeren drie hoofdscenario's, die ze MLRP, ELRP en CLRP noemen.

1. De standaardgevallen (MLRP): Laat alles zien!
In de klassieke tekstboekwereld, als de bakker harder werkt, wordt het brood simpelweg beter over de hele linie. Een hardwerkende bakker heeft altijd een grotere kans op een geweldig brood en een kleinere kans op een slecht brood, ongeacht waar je kijkt. Het artikel bevestigt dat in deze saaie, voorspelbare wereld, het beste beoordelingssysteem volledige openbaarmaking is. Je moet de klanten alles vertellen. Waarom? Omdat als je het slechte brood verbergt, je per ongeluk de harde inspanning van de bakker kunt verbergen. Als je het goede brood verbergt, neem je de beloning voor zijn inspanning weg. Dus in dit standaardgeval is transparantie de norm.

2. De risicovolle innovator (ELRP): Verberg de rampen!
Stel je nu voor dat de bakker een innovator is. Hij probeert een gek nieuw recept. Als hij hard werkt, kan hij een legendarisch, wereldberoemd brood creëren (een enorme overwinning), maar hij kan ook de hele partij verbranden (een enorme ramp). Als hij niet probeert, krijgt hij gewoon een middelmatig brood. Hierdoor wordt de inspanning de staarten van de verdeling uitbreiden: het maakt zowel de beste als de slechtste uitkomsten waarschijnlijker. Dit is de Expanding Likelihood Ratio Property (ELRP).

Het artikel suggereert dat in dit geval het beste beoordelingssysteem lagere censuur is. Dit betekent dat de instantie de echt slechte uitkomsten moet verbergen. Als de bakker het brood verbrandt, moet de instantie alleen zeggen: "Nou, het is niet geweldig," maar de specifiek ramp niet onthullen. Waarom? Omdat als de bakker weet dat een totale mislukking publiekelijk wordt afgeschreven, hij misschien te bang is om het risicovolle nieuwe recept te proberen. Door de slechte uitkomsten samen te voegen en ze een "veilig" gemiddeld oordeel te geven, biedt de instantie de bakker een verzekering tegen de nadelen. Dit moedigt de bakker aan om het risico te nemen en hard te werken, in de hoop op het legendarische brood. Het is als een ouder die tegen een kind zegt: "Als je probeert een raket te bouwen en hij ontploft, zullen we gewoon zeggen dat het een leerervaring was," zodat het kind niet te bang is om de lont aan te steken.

3. De zorgvuldige onderhouder (CLRP): Verberg de wonderen!
Aan de andere kant stel je je een bakker voor die er simpelweg voor wil zorgen dat het brood consistent is. Als hij harder werkt, maakt hij minder fouten. Hij krijgt niet meer legendarische broden, maar hij stopt met het maken van verbrande broden. Hard werken comprimeert de verdeling naar het midden toe. Dit is de Compressing Likelihood Ratio Property (CLRP).

Hier pleit het artikel voor hogere censuur. De instantie moet de echt goede uitkomsten verbergen. Als de bakker per ongeluk een perfect brood maakt, moet de instantie alleen zeggen: "Het is goed," zonder te onthullen dat het een wonder was. Waarom? Omdat als de bakker weet dat een perfect brood royaal beloond zal worden, hij geneigd kan zijn om sluiproutes te nemen en op geluk te hopen. Maar als de instantie de topbeloningen verbergt, beseft de bakker dat de enige manier om een "Goede" beoordeling te krijgen, het consistent zijn en het vermijden van de "Slechte" beoordelingen is. Door de hoge scores te verbergen, ontmoedigt de instantie de bakker om passief of inconsistent te zijn, omdat als hij passief is, hij per ongeluk een slecht brood kan produceren, en dat slechte brood zal worden onthuld en gestraft. Het is als een leraar die de "A+" scores verbergt maar de "F" scores wel laat zien, waardoor studenten zich focussen op het niet falen in plaats van te hopen op een gelukstreffer.

De Window Dressing-val

Het artikel behandelt ook een sluipend probleem: window dressing. Dit gebeurt wanneer een speler iets kan doen dat er goed uitziet op de beoordeling, maar de markt niet echt helpt. Bijvoorbeeld, een bedrijf kan geld uitgeven aan een flitsende advertentiecampagne (window dressing) om hun ESG-score er geweldig uit te laten zien, terwijl ze de werkelijke milieuschade negeren. Of een student kan testantwoorden uit het hoofd leren zonder de stof echt te begrijpen.

De auteurs ontdekken dat zelfs als het beoordelingssysteem perfect is in het meten van inspanning, het nog steeds fout kan gaan als de speler het signaal kan "faken". Ze introduceren een regel genaamd Monotone Relative Informativeness (MRIP). Dit is een chique manier om te zeggen: "Komt een hoge score voort uit het echte werk, of uit het nep werk?"

Als hoge scores altijd waarschijnlijker zijn door het nepwerk, is het beste beoordelingssysteem hogere censuur (verberg de hoge scores). Dit voorkomt dat de bedrieger een enorme beloning krijgt voor zijn trucje. Als hoge scores altijd waarschijnlijker zijn door het echte werk, is het beste systeem lagere censuur (verberg de lage scores) om de echte werker aan te moedigen. Het kerninzicht hier is dat je niet het hele systeem hoeft te veranderen; je hoeft alleen het specifieke deel van de score te censureren waar de bedriegers goed in zijn. Het is als een leraar die beseft dat een student goed is in het raden van meerkeuzevragen maar slecht is in essays. De leraar kan besluiten de meerkeuze scores te verbergen en alleen de essay scores te tonen om een echt beeld van de kennis van de student te krijgen.

Het Middenveld: Herverdelende Toetsen

Ten slotte kijkt het artikel naar een ander doel: herverdeling. Stel je een schoolsysteem voor dat benadeelde studenten wil helpen. De school weet dat sommige studenten het moeilijker hebben (misschien hebben ze geen rustige plek om te studeren), dus moeten ze twee keer zo hard werken voor dezelfde score. De school wil een test ontwerpen die iedereen aanmoedigt om te proberen, maar ook een steuntje in de rug geeft aan de strijdende studenten.

De auteurs vinden dat de optimale test in dit geval middel-censuur kan gebruiken. Dit is een vreemd middenpad waarbij de test de middelste scores verbergt maar de zeer hoge en zeer lage scores onthult. Waarom? O omdat als je het midden verbergt, je voorkomt dat de strijdende studenten ontmoedigd raken door een "middelmatige" score die hun harde werk niet weerspiegelt. Tegelijkertijd houd je de hoge scores zichtbaar om de top presterende studenten te belonen en de lage scores zichtbaar om iedereen gemotiveerd te houden. Het is een evenwichtsoefening: je voegt de "oké" resultaten samen om vriendelijk te zijn, maar je houdt de extremen scherp om de motivatie te behouden om je best te doen.

Het Grote Plaatje

Het artikel concludeert dat er geen enkel "beste" beoordelingssysteem is. Het perfecte ontwerp hangt volledig af van de aard van het werk dat wordt beoordeeld.

• Als het werk routinematig en voorspelbaar is, laat dan alles zien.
• Als het werk risicovol en innovatief is, verberg dan de mislukkingen om durf aan te moedigen.
• Als het gaat om consistentie en veiligheid, verberg dan de wonderen om inactiviteit te ontmoedigen.
• Als het gepaard gaat met faken, verberg dan de scores die de bedriegers kunnen manipuleren.
• Als het doel eerlijkheid is, verberg dan het middenveld om de kwetsbaren te beschermen.

De auteurs bewijzen deze resultaten wiskundig, waarbij ze laten zien dat deze "censuur"-strategieën niet slechts gissingen zijn, maar de optimale oplossingen die voortkomen uit complexe vergelijkingen. Ze laten zien dat de beste beoordelingssystemen vaak eenvoudige, deterministische regels zijn: "Als de score onder X ligt, zeg 'Slecht'; als het tussen X en Y ligt, zeg 'Gemiddeld'; als het boven Y ligt, zeg 'Goed'." Maar de magie zit in waar je die lijnen trekt. Door te begrijpen hoe inspanning de kansen op succes verandert, kunnen we beoordelingssystemen ontwerpen die niet alleen prestaties meten, maar ook daadwerkelijk betere prestaties creëren.

In een wereld vol beoordelingen — van Amazon-reviews tot universiteitsopnames tot ESG-scores — biedt dit artikel een gereedschapskist voor toezichthouders en ontwerpers. Het suggereert dat wanneer we een beoordelingssysteem zien dat de waarheid lijkt te verbergen, dat misschien geen fout of een complot is. Het kan de slimste mogelijke strategie zijn.