📈 economics

Testing Decision Makers without Counterfactuals

Diese Arbeit untersucht, ob ein externer Beobachter den besser informierten Akteur zwischen einem Entscheidungsträger und einem Berater allein auf der Grundlage beobachteter Entscheidungen und Empfehlungen identifizieren kann, wobei sie zeigt, dass ein Scoring-Test zwar in simultanen Entscheidungsszenarien den besser informierten Akteur erfolgreich unterscheiden kann, ein solcher Test jedoch für sequentielle Entscheidungen nicht existiert und jeder Test, der darauf ausgelegt ist, den besser informierten Akteur zu identifizieren, zwangsläufig einen erheblichen Teil des potenziellen Wohlfahrtsaufkommens opfert.

Ursprüngliche Autoren: Yakov Babichenko

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yakov Babichenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine hochkarätige Spielshow vor, in der zwei Teilnehmer, Der Kapitän (der Entscheidungsträger) und Der Berater (der Ratgeber), versuchen zu beweisen, wer am meisten über eine mysteriöse, neblige Insel weiß.

Jeden Tag müssen sie entscheiden, welchen Pfad sie nehmen.

Der Kapitän wählt einen Pfad und geht ihn. Das Publikum sieht genau, was passiert (hat er Gold gefunden oder ist er in eine Grube gefallen?).
Der Berater flüstert dem Kapitän einen anderen Pfad zu. Wenn der Kapitän den Rat ignoriert und einen anderen Weg geht, sieht das Publikum niemals, was auf dem Pfad des Beraters passiert wäre. Er bleibt ein „Was-wäre-wenn“-Szenario, ein Geist eines nicht beschrittenen Weges.

Das Publikum möchte wissen: Wer ist tatsächlich klüger? Wer hat die bessere Karte?

Die Arbeit stellt die Frage: Können wir eine Bestenliste (einen „Test“) entwerfen, die nur auf die tatsächlichen Entscheidungen des Kapitäns und die Vorschläge des Beraters schaut und korrekt den Gewinner ermittelt, obwohl wir die „Geisterpfade“ des Beraters nicht sehen können?

Hier ist die Aufschlüsselung der Ergebnisse der Arbeit, unter Verwendung einfacher Analogien:

1. Das „Simultane“ Spiel: Wenn beide gleichzeitig sprechen

Stellen Sie sich ein Spiel vor, bei dem der Kapitän und der Berater ihre Entscheidungen zur exakt gleichen Zeit laut rufen, noch bevor sich jemand bewegt.

Das Ergebnis: Ja, wir können den Klügeren finden.
Der Trick: Die Arbeit schlägt eine spezifische Bestenliste vor. Wenn sie denselben Pfad wählen, erhält der Kapitän Punkte basierend darauf, wie gut das Ergebnis war. Wenn sie unterschiedliche Pfade wählen, erhält der Kapitän Minuspunkte (eine Strafe) basierend auf dem Ergebnis.
Warum es funktioniert: Die klügere Person (die die Insel besser kennt) kann die Entscheidung der anderen Person vorhersagen und das Spiel manipulieren, um die Punkte zu gewinnen. Die weniger kluge Person wird verwirrt und verliert.
Der Haken: Um dieses Bestenlisten-Spiel zu gewinnen, könnte der Kapitän aufhören, die besten Entscheidungen für das Wohlergehen der Insel zu treffen. Er könnte anfangen, „Spiele“ zu spielen, nur um den Test zu gewinnen, selbst wenn das bedeutet, gelegentlich in eine Grube zu laufen.

2. Das „Sequenzielle“ Spiel: Wenn einer auf den anderen reagiert

Nun stellen wir uns eine andere Regel vor: Der Kapitän wählt zuerst einen Pfad, dann sieht der Berater diesen und schlägt eine Alternative vor.

Das Ergebnis: Nein, wir können den Klügeren nicht finden.
Der Grund: Der Berater kann immer „vortäuschen“. Da der Berater zuerst sieht, was der Kapitän getan hat, kann er immer einen Pfad vorschlagen, der so aussieht, als wäre er besser gewesen, selbst wenn er in Wirklichkeit ahnungslos ist. Da das Publikum den Pfad des Beraters nie sieht (da der Kapitän ihn nicht genommen hat), kann der Berater niemals widerlegt werden. Der „Geisterpfad“ ist zu mächtig; er erlaubt es der weniger informierten Person, sich hinter den Entscheidungen des Kapitäns zu verstecken.
Die Ausnahme: Es gibt ein winziges, spezifisches Szenario (ein „Sicherer Pfad“ vs. ein „Riskanter Pfad“), in dem es möglich ist, sie zu unterscheiden, aber nur, wenn der Berater zuerst spricht. Wenn der Kapitän in diesem speziellen Szenario zuerst spricht, kann sich der Berater immer noch verstecken.

3. Der große Kompromiss: Richtig zu sein vs. Gut zu sein

Dies ist die wichtigste Warnung der Arbeit.

Das Dilemma: Die Öffentlichkeit hat zwei Ziele:
1. Den klügsten Anführer zu identifizieren (damit wir ihn später einstellen können).
2. Heute die besten Ergebnisse zu erzielen (damit die Insel sicher und wohlhabend ist).
Die schlechte Nachricht: Man kann nicht beides haben.
Die Analogie: Stellen Sie sich vor, Sie beurteilen einen Koch. Sie wollen wissen, wer der beste Koch ist (die „informiertere“ Person). Aber wenn Sie einen Test aufbauen, bei dem die Köche gezwungen sind, ein Spiel zu spielen, um zu beweisen, dass sie die Besten sind, könnten sie aufhören, köstliche Mahlzeiten zu kochen, und stattdessen anfangen, „seltsame“ Mahlzeiten zu kochen, nur um den Test zu gewinnen.
Die Mathematik: Die Arbeit beweist, dass in einer einfachen Welt mit zwei Auswahlmöglichkeiten, wenn man einen Test entwirft, der den klügeren Menschen erfolgreich identifiziert, das Beste, was man hoffen kann, ist, dass der Kapitän Entscheidungen trifft, die nicht besser als ein Münzwurf sind.
- Wenn man versucht, den Kapitän dazu zu bringen, gute Entscheidungen zu treffen, versagt der Test bei der Identifizierung des Klügeren.
- Wenn man den Test dazu zwingt, den Klügeren zu identifizieren, wird der Kapitän schlechte Entscheidungen treffen, um den Test zu gewinnen.

Zusammenfassung des „Was-wäre-wenn“-Problems

Die Arbeit hebt einen grundlegenden Fehler bei der Beurteilung von Entscheidungen hervor, wenn man die Alternativen nicht sehen kann.

Judea Pearls Zitat: Die Arbeit beginnt mit einem Zitat von Pearl, der sagt, dass „Was-wäre-wenn“-Schlussfolgerungen unwissenschaftlich sind, weil man das Alternative nicht beobachten kann.
Das Fazol der Arbeit: Da wir die „Was-wäre-wenn“-Szenarien (die ungewählten Pfade des Beraters) nicht sehen können, können strategische Akteure (der Kapitän und der Berater) die Bestenliste manipulieren.
- Wenn sie sich gleichzeitig bewegen, können wir den Lügner entlarven, aber der Kapitän wird schlecht agieren, um den Test zu gewinnen.
- Wenn sie nacheinander agieren, kann sich der Lügner so gut verstecken, dass wir ihn überhaupt nicht entlarven können.

Kurz gesagt: Man kann einen Test bauen, um die klügste Person zu finden, aber das wird wahrscheinlich dazu führen, dass diese Person in der realen Welt töricht handelt. Oder wenn sie in einer bestimmten Reihenfolge agieren, kann man die klügere Person vielleicht gar nicht erst finden.

Technisches Resümee: Testen von Entscheidungsträgern ohne Kontrafaktika

1. Problemstellung

Das Paper adressiert die grundlegende Herausforderung, die Qualität der Entscheidungsfindung in Umgebungen zu bewerten, in denen Kontrafaktika nicht beobachtet werden können. In vielen kritischen Bereichen, wie etwa der geopolitischen Strategie oder dem Unternehmensmanagement, handelt ein Entscheidungsträger (Decision-Maker, DM) unter Unsicherheit, und es wird lediglich das Ergebnis seiner gewählten Aktion beobachtet. Ein konkurrierender Akteur, der Berater (Adviser, AD), gibt Empfehlungen ab, aber die Ergebnisse dieser nicht gewählten Empfehlungen bleiben unobservierte Kontrafaktika.

Die zentrale Frage lautet: Kann ein externer Beobachter, der sich ausschließlich auf die Sequenz der beobachteten Entscheidungen, Empfehlungen und realisierten Ergebnisse stützt, identifizieren, welcher Akteur besser informiert ist?

Das Paper formalisiert „besser informiert“ mittels der Blackwell-Ordnung: Ein Akteur besitzt die Information des anderen plus zusätzliche private Informationen. Die Akteure werden als strategisch modelliert, mit dem alleinigen Ziel, als „Gewinner“ durch einen öffentlichen Test ausgewählt zu werden. Dies induziert ein Nullsummenspiel zwischen den Akteuren. Das Paper untersucht, ob ein Scoring-Test – eine Regel, die jeder Beobachtung einen numerischen Score zuweist und den Akteur mit dem höheren Durchschnittsscore auswählt – in der Lage ist, den besser informierten Akteur im Gleichgewicht zu identifizieren.

2. Methodik und Rahmenbedingungen

Modellstruktur

Die Autoren modellieren die Interaktion als ein wiederholtes Bandit-Environment mit $n$ Armen (Aktionen).

Akteure: Ein Entscheidungsträger (DM) und ein Berater (AD). Einer hält die Information $r$ (besser informiert), der andere hält $q$ (weniger informiert), wobei $r$ eine Verfeinerung von $q$ darstellt.
Beobachtungen: In jeder Periode wählt der DM einen Arm $a_{DM}$ , und der AD schlägt einen Arm $a_{AD}$ vor. Nur die Realisierung von $a_{DM}$ wird beobachtet.
Anreize: Beide Akteure sind rein strategisch und zielen darauf ab, die Wahrscheinlichkeit zu maximieren, durch den Test ausgewählt zu werden. Sie kümmern sich nicht um die soziale Wohlfahrt, es sei denn, diese beeinflusst das Testergebnis.
Testdefinition: Ein Scoring-Test $s: O \to \mathbb{R}$ weist jedem Ergebnistripel $(a_{DM}, a_{AD}, u_{DM})$ einen Score zu. Der Gewinner wird durch den Grenzwert des Durchschnitts dieser Scores bestimmt.

Analytischer Ansatz

Der kernmethodische Beitrag ist die Reduktion der komplexen wiederholten Interaktion mit unvollständiger Information auf eine einmalige Interaktion mit vollständiger Information.

Separation vs. Identifikation: Die Autoren definen eine Scoring-Funktion als separierend, wenn sie in einem einstufigen Nullsummenspiel zwischen dem besser und dem weniger informierten Akteur unterscheiden kann.
Äquivalenz-Lemmata:
- Lemma 1: Wenn eine Scoring-Funktion separierend ist, identifiziert der entsprechende Scoring-Test den besser informierten Akteur in jeder sich ändernden Umgebung.
- Lemma 2: Wenn keine separierende Scoring-Funktion existiert, kann kein Scoring-Test den besser informierten Akteur identifizieren, selbst in einer festen Umgebung.
Reduktion auf vollständige Information: Um zu bestimmen, ob eine Funktion separierend ist, analysieren die Autoren das Spiel $G(s, p)$ $G (s, p)$ , in dem beide Akteure eine gemeinsame Prior-Verteilung $p$ $p$ teilen und keine privaten Signale besitzen.
- Lemma 3: Eine notwendige Bedingung für Separation ist, dass der Wert des Spiels $G(s, p)$ für alle Priors $p$ null sein muss.
- Lemma 4: Unter spezifischen Annahmen erfordert Separation, dass die optimale Strategie des tie-breaking Akteurs in $G(s, p)$ für jeden Prior den wohlfahrtsmaximierenden Arm eindeutig identifiziert.

3. Kernergebnisse

Das Paper etabliert eine Dichotomie zwischen simultanen und sequentiellen Entscheidungsszenarien sowie einen fundamentalen Trade-off zwischen Identifikation und Wohlfahrt.

A. Simultane Entscheidungen

Theorem 1 (Positives Ergebnis): In einem Setting mit simultanen Entscheidungen und einer sich ändernden Umgebung existiert ein Scoring-Test, der den besser informierten Akteur identifiziert.

Mechanismus: Der vorgeschlagene Test weist einen Score zu, der dem realisierten Wohlfahrtswert entspricht, wenn die Akteure übereinstimmen ( $a_{DM} = a_{AD}$ ), und einem negativen Score proportional zur Wohlfahrt, wenn sie nicht übereinstimmen.
Logik: Der besser informierte Akteur kann einen positiven erwarteten Score garantieren, indem er die Aktion des weniger informierten Akteurs nachahmt, wenn diese optimal ist, während der weniger informierte Akteur dieses Verhalten nicht konsistent über alle Informationsstrukturen hinweg imitieren kann.

Theorem 2 (Negatives Ergebnis – Wohlfahrtstrade-off): In einer Umgebung mit binären Armen und simultanen Entscheidungen kann kein Scoring-Test gleichzeitig den besser informierten Akteur identifizieren und mehr als die Hälfte der optimalen Wohlfahrt erreichen.

Implikation: Der Test, der den besseren Akteur erfolgreich identifiziert, zwingt den DM in ein Nullsummenspiel, in dem er seine Aktionen randomisieren muss, um Ausbeutung zu verhindern. Diese Randomisierung führt zu einer schwerwiegenden Suboptimalität der Wohlfahrt (nahe an der Performance einer Zufallswahl) in Worst-Case-Szenarien.

B. Sequentielle Entscheidungen

Theorem 3 (Unmöglichkeitsresultat): In einem Setting mit sequentiellen Entscheidungen und einer festen Umgebung existiert kein Scoring-Test, der den besser informierten Akteur identifiziert.

Begründung: In einem sequentiellen Setting kann der Follower immer auf die Wahl des Leaders reagieren. Die Autoren zeigen, dass der Follower für jeden Scoring-Test einen nicht-negativen Score garantieren kann, ohne über private Informationen zu verfügen, was den Test unfähig macht, Informationsniveaus zu unterscheiden.

Nuancen in Spezialfällen (Sichere vs. riskante Arme):

Proposition 1: Wenn die Umgebung aus einem sicheren und einem riskanten Arm besteht und der Berater zuerst handelt, ist Identifikation möglich. Der besser informierte Akteur kann den Mangel an Information des DM bezüglich der Realisierung des riskanten Arms ausnutzen.
Proposition 2: Wenn der Entscheidungsträger zuerst handelt im selben Safe/Risky-Setting, ist Identifikation unmöglich. Die Wahl des sicheren Arms durch den DM verbirgt das kontrafaktische Ergebnis des riskanten Arms, was den AD daran hindert, überlegene Information zu beweisen.

4. Bedeutung und Thesen

Das Paper behauptet, die Spannung zwischen der Bewertung der Entscheidungsqualität und der Incentivierung optimalen Verhaltens in Abwesenheit von Kontrafaktika gelöst zu haben.

Machbarkeit der Identifikation: Die Autoren zeigen, dass es entgegen der Intuition, dass unobservierte Kontrafaktika eine Evaluierung unmöglich machen, möglich ist, den besser informierten Akteur in simultanen Settings mittels einfacher Scoring-Regeln zu identifizieren.
Die Kosten der Identifikation: Das Paper hebt eine schwerwiegende Einschränkung hervor: Der Mechanismus, der es einem Beobachter ermöglicht, den besseren Akteur zu identifizieren (ein Nullsummen-Scoring-Spiel), zerstört die Anreize für den Akteur, die Wohlfahrt zu maximieren. Das Paper behauptet, dass das Erreichen von Identifikation zwangsläufig zu einem „suboptimalen“ Gleichgewicht führt, in dem die Aktionen des DM eher durch den Test als durch die tatsächliche Wohlfahrt getrieben werden.
Strategische Natur von Daten: Die Arbeit betont, dass in strategischen Umgebungen die vom Publikum beobachteten Daten durch die Versuche der Akteure geformt werden, den Test zu bestehen. Dies unterscheidet das Problem von der nicht-strategischen kausalen Inferenz, bei der Kontrafaktika zwar unobserviert, aber nicht manipuliert sind.
Grenzen von Scoring-Tests: Die Ergebnisse legen nahe, dass Scoring-Tests zwar für die Identifikation in simultanen Settings ausreichend sind, in sequentiellen Settings jedoch fundamental unzureichend sind (es sei denn, es liegen spezifische strukturelle Bedingungen wie „Safe vs. Risky“ und die Reihenfolge der Züge vor).

Das Paper kommt zu dem Schluss, dass es zwar möglich ist, einen Test zu entwerfen, um einen „Gewinner“ basierend auf Informationsniveaus zu wählen, dies jedoch auf Kosten der Performance des Entscheidungsträgers geht und somit einen inhärenten Konflikt zwischen dem Wunsch des Publikums, eine fähige Führungspersönlichkeit auszuwählen, und der Notwendigkeit, gute Entscheidungen in der Gegenwart zu treffen, erzeugt.