Stellen Sie sich vor, Sie sind der Schiedsrichter eines riesigen, unsichtbaren Spiels, das in der Welt der Wirtschaft und der Schulen stattfindet. In diesem Spiel führen Spieler (wie Unternehmen, die grün werden wollen, oder Schüler, die an ein College gelangen möchten) versteckte Handlungen aus, um ihre Leistung zu verbessern. Ein Schiedsrichter (wie eine Ratingagentur oder ein Tester) sieht einen verrauschten Hinweis darauf, wie hart der Spieler sich angestrengt hat, aber das eigentliche Publikum (Investoren oder Universitäten) sieht nur die endgültliche Bewertung des Schiedsrichters. Der knifflige Teil ist, dass die Spieler klug sind; sie kennen die Regeln des Schiedsrichters und versuchen vielleicht, „das System zu manipulieren“, indem sie entweder vorgetäuschte Anstrengung zeigen oder sich nur auf das konzentrieren, was eine hohe Punktzahl ermöglicht, anstatt die eigentlich gute Arbeit zu leisten. Dies ist die Welt des Information Design und des Moral Hazard. „Moral Hazard“ ist nur eine schicke Art zu sagen, dass Menschen nachlässig werden oder schummeln könnten, wenn sie glauben, dass sie nicht erwischt werden; und „Information Design“ ist die Kunst zu entscheiden, wie viel Wahrheit man preisgeben muss, um alle zum fairen Spielen zu bewegen. Die große Frage ist: Sollte der Schiedsrichter jedes einzelne Detail der Leistung des Spielers zeigen, oder sollte er Teile davon verbergen, um die Spieler zu motivieren?

Dieses Papier mit dem Titel „Optimal Rating Design under Moral Hazard“ taucht tief in diese Frage ein. Die Autoren, Maryam Saeedi und Ali Shourideh, agieren wie meisterhafte Spieldesigner, die versuchen, das perfekte Regelwerk für Bewertungssysteme zu finden. Sie entdecken, dass es keine Einheitslösung gibt. Manchmal ist es am besten, alles zu zeigen. Aber oft ist der klügste Schachzug, die Informationen zu zensieren – das heißt, die Linien zwischen bestimmten Ergebnissen bewusst zu verwischen. Sie finden heraus, dass die beste Art der Zensierung vollständig davon abhängt, wie die Anstrengung des Spielers die Gewinnchancen verändert. Wenn sich durch mehr Anstrengung ein „Home Run“ wahrscheinlicher macht, aber gleichzeitig auch ein „Strikeout“ wahrscheinlicher wird, sollte das beste Bewertungssystem die schlechten Ergebnisse verbergen (geringe Zensierung), um Risikobereitschaft zu fördern. Im Gegenzug: Wenn das verstärkte Bemühen die Ergebnisse lediglich konsistenter und weniger riskant macht, sollte das System die großartigen Ergebnisse verbergen (obere Zensierung), um Untätigkeit zu verhindern. Sie zeigen sogar, dass in komplexen Situationen, in denen Spieler sich durch Vortäuschen einer guten Leistung einen hohen Wert verschaffen können (genannt „Window Dressing“), der Schiedsrichter manchmal die mittleren Werte komplett verbergen sollte, um die Betrüger zu stoppen.

Das Spiel mit der versteckten Anstrengung und den verrauschten Hinweisen

Um das Papier zu verstehen, setzen wir die Bühne mit einer einfachen Geschichte. Stellen Sie sich einen Bäcker vor, der das beste Brot der Stadt verkaufen möchte. Der Bäcker kann sich entscheiden, hart zu arbeiten (hochwertiges Mehl verwenden und stundenlang kneten) oder eine Abkürzung zu nehmen (billiges Mehl und eine Maschine verwenden). Die Kunden der Stadt (der Markt) wollen tolles Brot, aber sie können die Hände des Bäckers nicht sehen; sie können nur das fertige Brot schmecken. Eine Ratingagentur (der Vermittler) beobachtet den Bäcker und sieht einen „Hinweis“ – vielleicht den Geruch der Küche oder die Farbe der Kruste. Dieser Hinweis ist verrauscht; ein guter Geruch garantiert noch kein großartiges Brot, und ein schlechter Geruch garantiert noch kein schlechtes Brot.

Die Ratingagentur hat eine Wahl: Den Kunden genau zu sagen, was der Hinweis besagt, oder ihnen eine vage Zusammenfassung wie „Gut“, „Okay“ oder „Schlecht“ zu geben. Der Bäcker kennt die Regeln der Agentur. Wenn die Agentur zu streng ist, gibt der Bäcker vielleicht auf. Wenn die Agentur zu nachgiebig ist, hört der Bäcker vielleicht auf, sich anzustrengen, und versucht stattdessen nur, gut auszusehen. Die Agentur möchte ein Bewertungssystem entwerfen, das den Bäcker dazu bringt, so hart wie möglich zu arbeiten, oder vielleicht, um den armen Bäckern beim Überleben zu helfen, oder um zu verhindern, dass Bäcker sich durch Täuschung zu einer „Guten“ Bewertung hochschummeln.

Der Haupttrick des Papers besteht darin, zu erkennen, dass ein Bewertungssystem nicht nur eine Punktzahl vergibt, sondern auch einen Preis für die Anstrengung des Bäckers schafft. Wenn die Bewertung „Gut“ ist, erhält der Bäcker einen hohen Preis für sein Brot. Wenn sie „Schlecht“ ist, erhält er einen niedrigen Preis. Der Bäcker entscheidet, wie hart er arbeitet, basierend darauf, wie viel zusätzliches Geld er erwartet, wenn er sich mehr anstrengt. Die Autoren führen ein kluges Konzept namens Interimspreise ein. Betrachten Sie dies als die „Zweitmeinung“ des Bäckers. Bevor die endgültige Bewertung feststeht, denkt der Bäcker: „Wenn ich einen guten Geruch wahrnehme, was werden die Kunden schließlich denken?“ Das Papier beweist, dass, wenn ein Bewertungssystem fair ist (das heißt, höhere Gerüche immer zu höheren erwarteten Preisen führen), die Menge der möglichen Bewertungssysteme auf jene beschränkt ist, die die extremen Schwankungen der Rohdaten „glätten“. Man kann kein Bewertungssystem erschaffen, das die Preise wilder springen lässt als die Rohdaten selbst; man kann sie nur mitteln.

Die Magie des Verbergens der Wahrheit

Der spannendste Teil des Papers ist die Beantwortung der Frage: „Wann sollten wir die Wahrheit verbergen?“ Die Autoren finden heraus, dass die Antwort davon abhängt, wie die Anstrengung des Bäckers die Form der möglichen Ergebnisse verändert. Sie identifizieren drei Hauptszenarien, die sie MLRP, ELRP und CLRP nennen.

1. Der Standardfall (MLRP): Zeigt alles!
In der klassischen Lehrbuchwelt gilt: Wenn der Bäcker härter arbeitet, wird das Brot einfach über das gesamte Spektrum hinweg besser. Ein hart arbeitender Bäcker wird immer wahrscheinlicher ein großartiges Brot produzieren und weniger wahrscheinlich ein schlechtes Brot haben, egal wo man hinsieht. Das Papier bestätigt, dass in dieser langweiligen, vorhersehbaren Welt die beste Bewertung die vollständige Offenlegung ist. Man sollte den Kunden alles sagen. Warum? Weil man, wenn man das schlechte Brot verbirgt, versehentlich auch den Beweis dafür verbergen könnte, dass der Bäcker tatsächlich hart arbeitet. Wenn man das gute Brot verbirgt, nimmt man die Belohnung für seine Anstrengung weg. Also, in diesem Standardfall ist Transparenz der König.

2. Der risikofreudige Innovator (ELRP): Verbirg die Katastrophen!
Stellen Sie sich nun vor, der Bäcker ist ein Innovator. Er probiert ein verrücktes neues Rezept aus. Wenn er hart arbeitet, kann er ein legendäres, weltberühmtes Brot erschaffen (ein riesiger Gewinn), aber er könnte auch die ganze Charge anbrennen lassen (eine riesige Katastrophe). Wenn er sich nicht anstrengt, bekommt er einfach ein mittelmäßiges Brot. Hierbei erweitert die harte Arbeit die „Enden“ der Verteilung: Sie macht sowohl die besten als auch die schlechtesten Ergebnisse wahrscheinlicher. Dies ist die Expanding Likelihood Ratio Property (ELRP).

Das Papier legt nahe, dass in diesem Fall die beste Bewertung eine niedrigere Zensur ist. Das bedeutet, die Agentur sollte die wirklich schlechten Ergebnisse verbergen. Wenn der Bäcker das Brot anbrennt, sollte die Agentur nur sagen: „Nun, es ist nicht besonders gut“, aber das spezifische Desaster nicht offenlegen. Warum? Weil der Bäcker, wenn er weiß, dass ein totaler Fehlschlag öffentlich gebrandmarkt wird, vielleicht zu viel Angst hat, um das riskante neue Rezept auszuprobieren. Indem die Agentur die schlechten Ergebnisse zusammenfasst und eine „sichere“ Durchschnittsbewertung gibt, bietet sie dem Bäcker eine Versicherung gegen die Kehrseite der Medaille. Dies ermutigt den Bäcker, das Risiko einzugehen und hart zu arbeiten, in der Hoffnung auf das legendäre Brot. Es ist wie ein Elternteil, der einem Kind sagt: „Wenn du versuchst, diese Rakete zu bauen und sie explodiert, werden wir einfach sagen, dass es eine Lernerfahrung war“, damit das Kind nicht zu viel Angst hat, die Zündung zu zünden.

3. Der vorsichtige Bewahrer (CLRP): Verbirg die Wunder!
Auf der anderen Seite stellen Sie sich einen Bäcker vor, der einfach nur sicherstellen möchte, dass das Brot konsistent ist. Wenn er hart arbeitet, macht er weniger Fehler. Er produziert nicht mehr legendäre Brote, aber er hört auf, verbrannte Brote zu produzieren. Die harte Arbeit komprimiert die Verteilung zur Mitte hin. Dies ist die Compressing Likelihood Ratio Property (CLRP).

Hier argumentiert das Papier für eine obere Zensur. Die Agentur sollte die wirklich guten Ergebnisse verbergen. Wenn der Bäcker zufällig ein perfektes Brot backt, sollte die Agentie nur sagen: „Es ist gut“, ohne zu enthüllen, dass es ein Wunder war. Warum? Weil der Bäker, wenn er weiß, dass ein perfektes Brot hoch belohnt wird, versucht sein Glück durch Abkürzungen zu erzwingen. Aber wenn die Agentur die Spitzenpreise verbirgt, erkennt der Bäcker, dass der einzige Weg zu einer „Guten“ Bewertung darin besteht, konsistent zu sein und die „Schlechten“ Bewertungen zu vermeiden. Durch das Verbergen der hohen Punktzahlen hält die Agentur den Bäcker davon ab, untätig oder inkonsistent zu sein, denn wenn er untätig ist, produziert er vielleicht versehentlich ein schlechtes Brot, und dieses schlechte Brot wird aufgedeckt und bestraft werden. Es ist wie ein Lehrer, der die „A+“-Noten verbirgt, aber die „F“-Noten zeigt, um Schüler dazu zu bringen, sich darauf zu konzentrieren, nicht zu versagen, anstatt auf ein Glücksspiel zu hoffen.

Die Falle des „Window Dressings“

Das Papier befasst sich auch mit dem hinterlistigen Problem des Window Dressings. Dies geschieht, wenn ein Spieler etwas tun kann, das auf der Bewertung gut aussieht, aber dem Markt eigentlich nicht hilft. Zum Beispiel könnte ein Unternehmen viel Geld in eine glanzvolle Werbekampagne investieren (Window Dressing), um seinen ESG-Score gut aussehen zu lassen, während es die tatsächlichen Umweltschäden ignoriert. Oder ein Schüler könnte Testfragen auswendig lernen, ohne den Stoff wirklich zu verstehen.

Die Autoren finden heraus, dass selbst wenn das Bewertungssystem perfekt darin ist, die Anstrengung zu messen, es dennoch schiefgehen kann, wenn der Spieler das Signal „fälschen“ kann. Sie führen eine Regel namens Monotone Relative Informativeness (MRIP) ein. Das ist eine schicke Art zu sagen: „Bedeutet eine hohe Punktzahl, dass der Spieler die echte Arbeit geleistet hat, oder nur die gefälschte Arbeit?“

Wenn hohe Punktzahlen immer eher aus der gefälschten Arbeit resultieren, ist das beste Bewertungssystem die obere Zensur (verberge die hohen Punktzahlen). Dies verhindert, dass der Falscher eine enorme Belohnung für seinen Trick erhält. Wenn hohe Punktzahlen immer eher aus der echten Arbeit kommen, ist das beste System die untere Zensur (verberge die niedrigen Punktzahlen), um den echten Arbeiter zu fördern. Die entscheidende Erkenntung hier ist, dass man nicht das ganze System ändern muss; man muss nur den spezifischen Teil der Punktzahl zensieren, in dem die Falscher gut sind. Es ist wie ein Lehrer, der erkennt, dass ein Schüler gut im Raten von Multiple-Choice-Fragen ist, aber schlecht in Aufsätzen. Der Lehrer könnte entscheiden, die Multiple-Choice-Ergebnisse zu verbergen und nur die Aufsatz-Ergebnisse zu zeigen, um ein wahres Bild des Wissens des Schülers zu erhalten.

Der Mittelweg: Umverteilungstests

Schließlich betrachtet das Papier ein anderes Ziel: die Umverteilung. Stellen Sie sich ein Schulsystem vor, das benachteiligten Schülern helfen möchte. Die Schule weiß, dass es für manche Schüler schwieriger ist (vielleicht haben sie keinen ruhigen Ort zum Lernen), sodass sie doppelt so hart arbeiten müssen, um die gleiche Punktzahl zu erreichen. Die Schule möchte einen Test entwerfen, der alle zum Versuch motiviert, aber auch den kämpfenden Schülern einen Schub gibt.

Die Autoren finden heraus, dass in diesem Fall der optimale Test eine Mittel-Zensur nutzen könnte. Dies ist ein seltsamer Mittelweg, bei dem der Test die mittleren Punktzahlen verbirgt, aber die sehr hohen und sehr niedrigen offenlegt. Warum? Weil man, wenn man die Mitte verbirgt, verhindert, dass die kämpfenden Schüler durch eine „mittelmäßige“ Punktzahl entmutigt werden, die ihre harte Arbeit nicht widerspiegelt. Gleichzeitig hält man die hohen Punktzahlen sichtbar, um die Top-Performer zu belohnen, und die niedrigen Punktzahlen sichtbar, um die Motivation aufrechtzuerhalten. Es ist ein Balanceakt: Man fasst die „okayen“ Ergebnisse zusammen, um freundlich zu sein, aber man hält die Extreme scharf, um den Anreiz zu wahren, sein Bestes zu geben.

Das große Ganze

Das Papier kommt zu dem Schluss, dass es nicht das eine „beste“ Bewertungssystem gibt. Das perfekte Design hängt völlig von der Art der bewerteten Arbeit ab.

• Wenn die Arbeit routiniert und vorhersehbar ist, zeige alles.
• Wenn die Arbeit riskant und innovativ ist, verberge die Misserfolge, um Kühnheit zu fördern.
• Wenn es um Konsistenz und Sicherheit geht, verberge die Wunder, um Untätigkeit zu verhindern.
• Wenn es um Täuschung geht, verberge die Punktzahlen, die die Falscher manipulieren können.
• Wenn das Ziel Fairness ist, verberge die Mitte, um die Verletzlichen zu schützen.

Die Autoren beweisen diese Ergebnisse mathematisch und zeigen, dass diese „Zensierungsstrategien“ nicht bloße Vermutungen sind, sondern die optimalen Lösungen, die aus komplexen Gleichungen abgeleitet wurden. Sie zeigen, dass die besten Bewertungssysteme oft einfache, deterministische Regeln sind: „Wenn die Punktzahl unter X liegt, sage ‚Schlecht‘; wenn sie zwischen X und Y liegt, sage ‚Durchschnittlich‘; wenn sie über Y liegt, sage ‚Gut‘.“ Aber die Magie liegt darin, wo man diese Linien zieht. Durch das Verständnis, wie Anstrengung die Erfolgsaussichten verändert, können wir Bewertungssysteme entwerfen, die nicht nur die Leistung messen, sondern tatsächlich bessere Leistungen erzeugen.

In einer Welt voller Bewertungen – von Amazon-Rezensionen über College-Zulassungen bis hin zu ESG-Scores – bietet dieses Papier ein Werkzeug für Regulierungsbehörden und Designer. Es legt nahe, dass, wenn wir ein Bewertungssystem sehen, das die Wahrheit zu verbergen scheint, dies vielleicht kein Fehler oder eine Verschwörung ist. Es könnte die klügste mögliche Strategie sein.