💻 computer science

Evaluating Prediction-based Interventions with Human Decision Makers In Mind

Dieses Paper formalisiert verschiedene Modelle menschlicher Entscheidungsfindung unter Zuhilfenahme prädiktiver Systeme, um zu demonstrieren, wie kognitive Verzerrungen und intersubjektive Abhängigkeiten Standardannahmen experimenteller Verfahren verletzen und dadurch die Genauigkeit von Schätzungen kausaler Effekte in der Evaluierung automatisierter Entscheidungssysteme beeinträchtigen.

Ursprüngliche Autoren: Inioluwa Deborah Raji, Lydia Liu

Veröffentlicht 2026-02-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Inioluwa Deborah Raji, Lydia Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein neuer „intelligenter Assistent“ (wie ein GPS oder eine Rechtschreibprüfung) einem Menschen tatsächlich dabei hilft, bessere Entscheidungen zu treffen. Sie wollen einen Test durchführen, um zu sehen, ob der Assistent das Ergebnis verändert.

Dieses Paper argumentiert, dass die meisten aktuellen Tests fehlerhaft sind, weil sie den menschlichen Entscheidungsträger wie einen Roboter behandeln, der jedes Mal auf die gleiche Weise reagiert. In der Realität sind Menschen jedoch chaotisch, emotional und werden davon beeinflusst, wie der Test aufgebaut ist.

Hier ist die Aufschlüsselung der Hauptargumente des Papers unter Verwendung von Alltagsanalogien:

1. Das Problem: Die „Roboter“-Annahme

Die Behauptung des Papers: Die meisten Experimente gehen davon aus, dass die Reaktion eines Menschen auf eine Vorhersage (wie einen Risikowert) ein festes Persönlichkeitsmerkmal ist. Sie denken: „Richter A ignoriert Computer immer, und Richter B hört immer auf ihn.“
Die Analogie: Stellen Sie sich vor, Sie testen eine neue Art von Kaffee. Sie gehen davon aus, dass, wenn Sie Person A eine Tasse geben, sie diese immer trinken wird, egal was passiert. Aber in der Realität trinkt Person A den Kaffee vielleicht, wenn sie müde ist, ignoriert ihn aber, wenn sie bereits satt ist. Ihre Reaktion hängt vom Kontext ab, nicht nur von ihrer Persönlichkeit.

Die Autoren sagen, dass wir bei der Erprobung dieser „intelligenten Assistenten“ in Bereichen wie der Strafjustiz oder dem Gesundheitswesen oft vergessen, dass sich die Reaktion des Menschen baseraus dem Experimentdesign ändert.

2. Die drei Wege, wie Menschen vom Test „getäuscht“ werden

Das Paper schlägt vor, dass die Bereitschaft eines Menschen, einem Algorithmus zuzuhören, von drei spezifischen Dingen abhängt, die die Experimentatoren kontrollieren. Betrachten Sie dies als drei verschiedene „Stimmungen“, in die der Mensch gerät:

Stimmung 1: Der „Vertrautheits“-Effekt (Behandlungsexposition)
- Was es ist: Wenn ein Mensch den Rat des Algorithmus die ganze Zeit sieht, beginnt er, ihm zu vertrauen und ihm zu folgen. Wenn er ihn nur gelegentlich sieht, ignoriert er ihn vielleicht oder ist verwirrt.
- Die Analogie: Stellen Sie sich eine neue Ampel vor. Wenn Sie sie jeden Tag sehen, halten Sie irgendwann automatisch an. Wenn sie nur einmal im Monat angeht, achten Sie vielleicht nicht darauf oder denken, sie sei kaputt. Die Häufigkeit der Ampel verändert Ihr Fahrverhalten, nicht nur die Ampel selbst.
- Der Punkt des Papers: Wenn ein Experiment das Werkzeug nur zufällig bei 50 % der Fälle zeigt, kommt der Mensch vielleicht nicht daran gewöhnt, was zu einem schwachen Ergebnis führt. Wenn er es 100 % der Zeit gesehen hätte, würde er sich möglicherweise stärker darauf verlassen, was ein stärkeres Ergebnis zeigt.
Stimmung 2: Der „Überforderungs“-Effekt (Kapazitätsbeschränkung)
- Was es ist: Wenn der Algorithmus ständig „GEFAHR!“ schreit (ein hohes Risiko vorhersagt), wird der Mensch der Warnungen überdrüssig und beginnt, sie zu ignorieren, selbst wenn sie echt sind.
- Die Analogie: Denken Sie an einen Rauchmelder, der jedes Mal losgeht, wenn Sie Toast rösten. Nach einer Weile hören Sie gar nicht mehr darauf, selbst wenn es ein echtes Feuer gibt. Wenn der Algorithmus zu häufig „hohes Risiko“ vorhersagt, hört der Richter auf, zuzuhören.
- Der Punkt des Papers: Wenn das Experiment den Algorithmus sehr „vorsichtig“ einstellt (häufig Risiko vorhersagt), könnte der Mensch abschalten, was das Werkzeug nutzlos erscheinen lässt.
Stimmung 3: Der „Wolf-geschrien“-Effekt (Geringes Vertrauen)
- Was es ist: Wenn der Mensch sieht, dass der Algorithmus Fehler macht, hört er auf, ihm zu vertrauen.
- Die Analogie: Wenn Ihr GPS Ihnen sagt, Sie sollen links abbiegen, Sie aber wissen, dass dort eine Wand steht, werden Sie dem GPS nicht mehr vertrauen. Wenn der Algorithmus oft falsch liegt, hört der Mensch auf, seinem Rat zu folgen.
- Der Punkt des Papers: Wenn ein Experiment ein Modell verwendet, das nicht sehr genau ist, wird der Mensch es ignorieren, was die Intervention unwirksam erscheinen lässt.

3. Der große Fehler: Das „Spillover“-Problem

Die Behauptung des Papers: In der Standardwissenschaft gehen wir davon aus, dass das, was Person A passiert, Person B nicht beeinflusst. Dies wird als „Stable Unit Treatment Value Assumption“ (SUTVA) bezeichnet.
Die Analogie: Stellen Sie sich vor, man testet eine neue Diätpille. Sie gehen davon aus, dass die Einnahme der Pille durch Person A die Reaktion von Person B auf die Pille nicht verändert.
Die Realität: In diesem Paper ist die „Pille“ der Algorithmus. Da der Mensch (der Richter) dieselbe Person ist, die Entscheidungen für viele verschiedene Fälle trifft, verändert das, was bei Fall #1 passiert ist, wie er Fall #2 behandelt.

Wenn er den Algorithmus 10 Mal hintereinander richtig hat sehen hat, vertraut er ihm bei Fall #11.
Wenn er ihn 10 Mal falsch hat sehen, ignoriert er ihn bei Fall #11.

Dies bedeutet, dass die Entscheidungen miteinander verknüpft sind. Das Paper beweist, dass die Standardmathematik, die verwendet wird, um zu berechnen „Hat das Werkzeug geholfen?“, fehlerhaft ist. Sie unterschätzt oder überschätzt oft, wie hilfreich das Werkzeug tatsächlich ist.

4. Die Lösung: Ändern Sie, wie Sie den Test durchführen

Die Autoren führten Simulationen mit realen Daten aus einer Gerichtsstudie durch (in der Richter Risikobewertungen nutzten). Sie zeigten, dass sich die Ergebnisse drastisch ändern, wenn man die Zuweisung der Fälle ändert:

Szenario A: Man gibt den Algorithmus zu 50 % der Fälle für Richter 1 und zu 50 % für Richter 2.
Szenario B: Man gibt den Algorithmus zu 100 % der Fälle für Richter 1 und zu 0 % für Richter 2.

Obwohl die Gesamtzahl der Fälle gleich bleibt, ändern sich die Ergebnisse drastisch.

Im „Vertrautheits“-Modell machte Szenario B (ständige Anzeige) das Werkzeug viel effektiver erscheinend.
Im „Überforderungs“-Modell machte Szenario B das Werkzeug weniger effektiv erscheinend, weil der Richter der Warnungen überdrüssig wurde.

Zusammenfassung

Das Paper ist eine Warnung an Wissenschaftler und politische Entscheidungsträger: Man kann ein Mensch-KI-Team nicht auf die gleiche Weise testen wie eine Maschine.

Wenn Sie wissen wollen, ob ein KI-Tool einem Richter, Arzt oder Lehrer tatsächlich hilft, müssen Sie Ihr Experiment sorgfältig planen. Sie müssen berücksichtigen, dass Menschen sich an Werkzeuge gewöhnen, der Warnungen überdrüssig werden und das Vertrauen verlieren, wenn das Werkzeug Fehler macht. Wenn Sie diese menschlichen Eigenheiten ignorieren, werden Ihre Testergebnisse falsch sein, und Sie werden vielleicht glauben, ein hilfreiches Werkzeug sei nutzlos (oder umgekehrt).

Technische Zusammenfassung: Evaluierung prädiktionsbasierter Interventionen unter Berücksichtigung menschlicher Entscheidungsträger

Problemstellung

Automatisierte Entscheidungssysteme (ADS) werden zunehmst eingesetzt, um die menschliche Entscheidungsfindung in folgenreichen Kontexten wie der Strafjustiz, dem Gesundheitswesen und der Bildung zu unterstützen. Während sich die Forschung im Bereich des maschinellen Lernens oft auf die Bewertung der Vorhersagegenauigkeit von Modellen gegenüber Benchmark-Datensätzen konzentriert, versäumen diese Bewertungen die komplexe Interaktion zwischen Menschen und Algorithmen zu erfassen. Insbesondere beruhen bestehende experimentelle Designs zur Evaluierung prädiktionsbasierter Interventionen auf vereinfachenden Annahmen über die menschliche Entscheidungsfindung, um kausale Schätzungen abzuleiten.

Das identifizierte Kernproblem besteht darin, dass spezifische Entscheidungen im experimentellen Design kognitive Verzerrungen bei menschlichen Entscheidungsträgern induzieren können, was die beobachteten Effektstärken signifikant verändert. Bestehende Paradigmen gehen oft von einem „fallunabhängigen“ Modell aus, bei dem der Behandlungsstatus eines Entscheidungssubjekts die Entscheidung eines anderen nicht beeinflusst (unter Einhaltung der Annahme der stabilen Einheit unter Behandlungsvarianz, oder SUTVA). Dieses Paper argumentiert jedoch, dass menschliche Entscheidungsträger (z. B. Richter) über interne Zustände verfügen, die sich durch die Exposition gegenüber algorithmischen Empfehlungen entwickeln, was Abhängigkeiten zwischen Entscheidungssubjekten schafft, die SUTVA verletzen und zu einer verzerrten Schätzung des Behandlungseffekts führen.

Methodik

Theoretischer Rahmen

Die Autoren schlagen ein neuartiges kausales Modell der algorithmengestützten menschlichen Entscheidungsfindung vor, das den internen Zustand des Entscheidungsträgers explizit berücksichtigt. Im Gegensatz zum Standardmodell der Fallunabhängigkeit indiziert dieses Framework Entscheidungen sowohl nach dem Entscheidungssubjekt ( $i$ ) als auch nach dem Entscheidungsträger ( $k$ ).

Das Modell führt zwei latente Variablen ein:

$J_{i,k}$ : Die Reaktionsfähigkeit von Richter $k$ für das Behandlungseinheit $i$ , welche die Wahrscheinlichkeit darstellt, mit der der Richter der algorithmischen Empfehlung folgt.
$\epsilon_{i,k}$ : Eine Zufallsvariable, die aus einer Bernoulli-Verteilung mit dem Parameter $J_{i,k}$ gezogen wird und angibt, ob der Richter der Empfehlung folgt.

Die Entscheidungsfunktion $D_{i,k}$ ist definiert als eine Funktion der Standardentscheidung des Richters $\lambda_k(X_i)$ und der algorithmischen Empfehlung $\bar{D}(\hat{Y}_i)$ , moduliert durch die Reaktionsfähigkeit $J_{i,k}$ .

Modelle kognitiver Verzerrung

Das Paper formalisiert drei spezifische Modelle kognitiver Verzerrung, die die Reaktionsfähigkeit des Richters ( $J_{i,k}$ ) dynamisch machen und von den Entscheidungen im experimentellen Design abhängig sind:

Behandlungsexpositionsmodell (Treatment Exposure Model): Die Reaktionsfähigkeit steigt, wenn die durchschnittliche Exposition gegenüber der prädiktiven Hilfe zunimmt. Richter verlassen sich möglicherweise auf konsistente Informationen, anstatt die Protokolle für jeden Fall individuell anzupassen, was zu einer höheren Compliance nach häufiger Exposition führt.
Kapazitätsbeschränkungsmodell (Capacity Constraint Model): Die Reaktionsfähigkeit sinkt, wenn die Rate positiver (Hochrisiko-) Vorhersagen steigt. In Hochrisikoumgebungen können Entscheidungsträger einen Schwellenwert erreichen, an dem sie weniger reaktionsfähig auf weitere „Hochrisiko“-Warnungen reagieren.
Niedriges Vertrauensmodell (Low Trust Model): Die Reaktivitätsfähigkeit sinkt, wenn die beobachtete Fehlerrate des Algorithmus steigt. Wenn Richter die realisierten Ergebnisse beobachten und Vorhersagefehler (z. B. Falsch-Positive) feststellen, sinken ihr Vertrauen und die anschließende Compliance.

Experimentelle Analyse

Die Autoren beweisen mathematisch, dass unter diesen Modellen die Entscheidung $D_{i,k}$ nicht bedingt unabhängig von vorangegangenen Behandlungszuweisungen $(Z_{1,k}, \dots, Z_{i-1,k})$ gegeben ist unter der aktuellen Behandlung $Z_{i,k}$ . Dies stellt eine Verletzung von SUTVA dar.

Um die praktische Auswirkung zu demonstrieren, vergleicht das Paper zwei Randomisierungsschemata:

Gleichmäßige Randomisierung (Uniform Randomization): Fälle werden auf individueller Ebene randomisiert (Single-Level), was zu einer gemischten Behandlungsexposition für jeden Richter führt.
Zweistufige Randomisierung (Two-Level Randomization): Richter werden auf Cluster von Behandlungen randomisiert (z. B. sieht ein Richter 100 % behandelte Fälle, ein anderer 0 %), wodurch unterschiedliche Expositionsprofile entstehen.

Semi-synthetische Experimente

Die Autoren validieren ihre theoretischen Ergebnisse anhand von Daten aus einer realen randomisierten kontrollierten Studie (RCT) von Imai et al. [2020] bezüglich der PSA-Risiko-Scores (Public Safety Assessment) in Dane County, Wisconsin. Sie simulieren mehrere Richter und wenden die drei Bias-Modelle an, um alternative Entscheidungsequenzen zu generieren. Sie beobachten, wie die Modifikation von Designentscheidungen (Behandlungszuweisung, Modellschwellenwerte und Genauigkeit) die geschätzte durchschnittliche Behandlungseffektgröße (Average Treatment Effect, ATE) verändert.

Zentrale Beiträge

Formalisierung dynamischer Reaktionsfähigkeit: Das Paper geht über die Annahme hinaus, dass die Reaktionsfähigkeit eines Richters ein statisches, inhärentes Attribut ist. Es formalisiert, wie die Reaktionsfähigkeit eine dynamische Funktion von Designentscheidungen (Behandlung $Z$ , positive Vorhersageraten $P(\hat{Y}=1)$ und Modellkorrektheit $P(\hat{Y}=Y)$ ) ist.
Beweis der SUTVA-Verletzung: Die Autoren liefern mathematische Beweise dafür, dass die vorgeschlagenen Verhaltensmodelle Interferenzen zwischen Entscheidungssubjekten induzieren und somit die SUTVA-Annahme verletzen, die in der kausalen Inferenz üblich ist. Dies entwertet Standard-Schätzer, die Unabhängigkeit voraussetzen.
Demonstration von Schätzverzerrungen: Das Paper zeigt, dass Standard-Randomisierungsschemata (Single-Level) je nach aktivem Bias-Modell zu einer erheblichen Unterschätzung oder Überschätzung des durchschnittlichen Behandlungseffekts (ATE) führen können. Beispielsweise führt die Gleichmäßige Randomisierung unter dem Modell der Behandlungsexposition zu einer Unterschätzung des ATE, während sie unter dem Kapazitätsbeschränkungsmodell zu einer Überschätzung führen kann.
Empirische Simulation: In den semi-synthetischen Experimenten, die auf den Daten von Imai et al. [2020] basieren, zeigen die Autoren, dass die Änderung von Designentscheidungen (z. B. das Verhältnis der Behandlungsfälle pro Richter oder der Schwellenwert des Algorithmus) die geschätzten kausalen Effekte für spezifische demografische Subgruppen um den Faktor 10 verändern kann.

Ergebnisse

SUTVA-Verletzung: Die theoretische Analyse bestätigt, dass, wenn die Reaktionsfähigkeit des Richters von der historischen Exposition abhängt, der Behandlungsstatus eines Falls die Entscheidung über nachfolgende Fälle desselben Richters beeinflusst. In früheren Studien verwendete Permutationstests (wie bei Imai et al., 2020) erkennen diese Interferenz nicht, da sie den durchschnittlichen Behandlungsanteil beibehalten, wodurch die Reihenfolge der Fälle für die Teststatistik irrelevant wird.
Richtung der Verzerrung (Bias Directionality):
- Behandlungsexposition: Gleichmäßige Randomisierung führt im Vergleich zu zweistufiger Randomisierung zu einer Unterschätzung des Behandlungseffekts. Die Lücke vergrößert sich, wenn Richter sensibler auf vergangene Exposition reagieren und die Divergenz zwischen Standardentscheidung und empfohlener Entscheidung zunimmt.
- Kapazitätsbeschränkung: Gleichmäßige Randomisierung führt zu einer Überschätzung des Behandlungseffekts. Die Lücke vergrößert sich mit höheren positiven Vorhersageraten.
- Niedriges Vertrauen: Eine geringere algorithmische Genauigkeit führt zu reduzierter Reaktionsfähigkeit und einer Unterschätzung des Behandlungseffekts, was insbesondere Maße der Entscheidungsrichtigkeit beeinflusst.
Simulationsbefunde: In den semi-synthetischen Experimenten führte die Änderung des Behandlungsexpositionsregimes (z. B. die Zuweisung von 100 % der Fälle an einen Richter gegenüber 50 %) zu erheblichen Abweichungen im gemessenen ATE. Konkret variierte der geschätzte kausale Effekt auf Entscheidungen für nicht-weiße Frauen je nach Expositionsregime um den Faktor 10.

Bedeutung und Ansprüche

Das Paper behauptet, dass die wissenschaftliche Validität von Evaluierungsschemata für ADS-Einsätze derzeit gefährdet ist, da die dynamische Natur der menschlichen Entscheidungsfindung ignoriert wird. Indem Forscher prädiktionsbasierte Interventionen als isolierte Vorhersageprobleme statt als politische Interventionen behandeln, riskieren sie, falsche Schlussfolgerungen über die Wirksamkeit dieser Systeme zu ziehen.

Die Autoren argumentieren, dass zukünftige experimentelle Designs den „Menschen im Kreislauf“ (Human-in-the-loop) als dynamischen Akteur berücksichtigen müssen, dessen Verhalten durch das Experiment selbst geformt wird. Sie schlagen vor, dass:

Standardmäßige Single-Level-Randomisierung unzureichend ist, um die kausalen Auswirkungen prädiktiver Systeme bei einer flächendeckenden Implementierung als politische Maßnahmen zu schätzen.
Zweistufige Randomisierungsdesigns (Randomisierung auf Ebene des Entscheidungsträgers) oder Multi-Faktor-Designs notwendig sind, um den Behandlungseffekt in Gegenwart von Richter-Bias genau zu schätzen.
Die Erkenntnisse über die Strafjustiz hinaus auf andere Bereiche wie das Gesundheitswesen und die Bildung übertragbar sind, in denen ähnliche kognitive Verzerrungen und Interferenzeffekte wahrscheinlich vorhanden sind.

Die Arbeit dient als Aufruf an die Forschungsgemeinschaft, die experimentellen Paradigmen zu verfeinern, um die Realität der Mensch-Algorithmus-Interaktion besser abzubilden und sicherzustellen, dass kausale Schätzungen die wahren Auswirkungen prädiktiver Interventionen auf nachgelagerte Ergebnisse widerspiegeln.