🤖 AI

2-Step Agent: A Framework for the Interaction of a Decision Maker with AI Decision Support

Dieses Paper führt das „2-Step Agent“-Framework ein, um zu modellieren, wie rationale Entscheidungsträger Informationen aus ML-Vorhersagen ableiten, und zeigt auf, dass selbst unter idealen Bedingungen falsch ausgerichtete Vorab-Überzeugungen dazu führen können, dass die ML-basierte Entscheidungsunterstützung die nachgelagerten Ergebnisse verschlechtert.

Ursprüngliche Autoren: Otto Nyberg, Fausto Carcassi, Davide Tugnoli, Giovanni CinÃ

Veröffentlicht 2026-06-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Otto Nyberg, Fausto Carcassi, Davide Tugnoli, Giovanni CinÃ

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Zweifel-Spiel“

Stellen Sie sich vor, Sie sind ein Arzt (der Entscheidungsträger), der versucht, eine Behandlung für einen Patienten festzulegen. Sie haben Ihre eigene medizinische Erfahrung und Intuition (Vorab-Überzeugungen/Prior Beliefs). Dann gibt Ihnen ein KI-System (die ML-DS) eine Vorhersage darüber, wie es dem Patienten gehen wird.

Normalerweise denken wir, dass die KI uns einfach nur eine Zahl liefert, und wir folgen ihr entweder oder ignorieren sie. Diese Arbeit argumenttiert, dass es komplizierter ist als das. Wenn Sie die Vorhersage der KI sehen, nehmen Sie nicht einfach nur die Zahl; Sie beginnen, das Gehirn der KI zu rückwärts zu entwickeln (Reverse Engineering). Sie fragen sich: „Warum hat die KI das gesagt? Was sagt mir diese Vorhersage über die Daten, mit denen sie trainiert wurde? Bedeutet das, dass meine eigene medizinische Intuition falsch liegt?“

Die Autoren nennen dies den 2-Schritt-Agenten:

Schritt 1 (Der Detektiv): Sie aktualisieren Ihre Überzeugungen über die Welt basierend auf der Vorhersage der KI.
Schritt 2 (Die Entscheidung): Sie nutzen diese neuen Überzeugungen, um Ihre endgültige Behandlungsentscheidung zu treffen.

Die Hauptentdeckung der Autoren ist, dass selbst wenn die KI perfekt ist und Sie ein sehr kluger, rationaler Arzt sind, eine einzige falsche Annahme, die Sie über die Vergangenheit hegen, dazu führen kann, dass die KI Sie zu einer schlechteren Entscheidung führt, als wenn Sie die KI völlig ignoriert hätten.

Der Aufbau: Die „Black Box“ der Trainingsdaten

Um das Problem zu verstehen, stellen Sie sich vor, die KI wurde mit einer riesigen Bibliothek medizinischer Aufzeichnungen aus der Vergangenheit trainiert.

Der Arzt (Sie): Sie kennen die allgemeinen Regeln der Medizin, aber Sie besitzen nicht die exakte Bibliothek, die die KI verwendet hat. Sie haben ein „mentales Modell“ davon, wie diese Bibliothek aufgebaut wurde.
Die KI: Sie betrachtet einen neuen Patienten und sagt: „Dieser Patient wird 2 Monate überleben.“

Das Problem: Die Vorhersage der KI ist eine komprimierte Zusammenfassung ihrer Trainingsdaten. Wenn Sie „2 Monate“ hören, müssen Sie erraten, warum sie das gesagt hat.

Hypothese A: „Vielleicht wurde die KI mit Patienten trainiert, die eine sehr schwere Behandlung erhielten, und 2 Monate ist das Beste, was sie erreichen konnten.“
Hypothese B: „Vielleicht wurde die KI mit Patienten trainiert, die keine Behandlung erhielten, und 2 Monate ist eigentlich ein Wunder im Vergleich zu Null.“

Wenn Sie falsch über die Trainingsdaten raten (Ihr Prior), werden Sie den Rat der KI falsch interpretieren.

Das Experiment: Die „Gewicht und Chemo“-Analogie

Die Autoren simulierten ein Szenario, um dies zu testen.

Der Patient: Eine Person mit einem spezifischen Körpergewicht.
Die Behandlung: Eine Dosis Chemotherapie (Niedrige Dosis vs. Hohe Dosis).
Das Ziel: Maximierung der Überlebenszeit.

Sie erschufen eine „perfekte“ KI, die die wahre Beziehung zwischen Gewicht, Dosis und Überleben kannte. Dann führten sie einen Arzt ein, der eine leicht falsche Vorstellung davon hatte, wie die KI trainiert wurde.

Szenario 1: Der Arzt liegt „richtig“

Wenn die Überzeugungen des Arzars über die vergangenen Daten mit der Realität übereinstimmen, hilft die KI. Der Arzt sieht die Vorhersage, erkennt, dass seine Intuition leicht daneben lag, aktualisiert sein Gehirn und wählt die perfekte Dosis. Ergebnis: Die KI hilft.

Szenario 2: Der Arzt hat eine „fehlgeleitete“ Überzeugung

Das ist der knifflige Teil. Stellen Sie sich vor, der Arzt glaubt, die KI sei mit Patienten trainiert worden, die hohe Dosen erhielten.

Die KI sagt voraus: „Dieser Patient wird nur 2 Monate leben.“
Der Arzt denkt: „Wow, wenn die KI (trainiert auf hohen Dosen) 2 Monate sagt, dann müssen hohe Dosen für diesen Patienten nutzlos oder sogar schädlich sein. Ich sollte eine niedrige Dosis geben, um Nebenwirkungen zu vermeiden.“
Die Realität: Die KI wurde tatsächlich mit Patienten trainiert, die niedrige Dosen erhielten. Die Vorhersage von „2 Monaten“ bedeutete eigentlich, dass der Patient eine hohe Dosis bräuchte, um länger zu überleben.
Das Ergebnis: Weil die Überzeugung des Arzers über die Vergangenheit falsch war, führte die Vorhersage der KI dazu, dass der Arzt die falsche Behandlung wählte, was zu einem schlechteren Ergebnis führte, als wenn er die KI ignoriert und bei seiner ursprünglichen (besseren) Intuition geblieben wäre.

Die drei Kernpunkte

Lernen ist ein Zweischritt-Tanz: Wenn eine KI eine Vorhersage liefert, akzeptiert ein rationaler Mensch sie nicht einfach. Er nutzt sie, um sein Verständnis der Welt zu aktualisieren (Schritt 1), was dann seine Handlung verändert (Schritt 2).
Der „Sufficient Statistics“-Trick: Die Mathematik in der Arbeit ist sehr schwer, da sie beinhaltet, tausende gefälschte Patienten zu simulieren, um zu sehen, wie die KI trainiert wurde. Die Autoren fanden eine mathematische Abkürzung (wie das Zusammenfassen eines ganzen Buches in einem einzigen Satz), die diese Berechnung möglich macht, ohne einen Supercomputer zu benötigen.
Ein falscher Abbiegepunkt kann alles ruinieren: Die überraschendste Erkenntnis ist, dass selbst ein perfekt rationaler Akteur durch eine KI geschädigt werden kann, wenn er auch nur eine einzige falsche Überzeugung darüber hat, mit welchen Daten die KI trainiert wurde.
- Wenn Sie glauben, die KI wurde mit „kranken“ Patienten trainiert, sie aber mit „gesunden“ trainiert wurde, kann der Rat der KI Sie dazu bringen, genau das Gegenteil von dem zu tun, was hilfreich wäre.
- Wichtiger Punkt: Die KI muss nicht voreingenommen oder fehlerhaft sein. Der Schaden entsteht durch die Diskrepanz zwischen dem mentalen Modell des Menschen über die Vergangenheit und der tatsächlichen Vergangenheit der KI.

Das „Was bedeutet das?“ (Laut der Arbeit)

Die Arbeit kommt zu dem Schluss, dass wir nicht einfach davon ausgehen können, dass KI uns helfen wird. Wenn wir nicht genau verstehen, mit welchen Daten die KI trainiert wurde (die „Dokumentation der Trainingsdaten“), kann die KI wie eine Falle wirken. Sie kann einen klugen, rationalen Menschen dazu verführen, eine schlechte Entscheidung zu treffen, was zu schlechteren Ergebnissen führt, als wenn er die Entscheidung allein getroffen hätte.

Kurz gesagt: KI ist ein mächtiges Werkzeug, aber wenn Sie die Geschichte des Werkzeugs nicht kennen, könnte sie Sie in den Abgrund steuern.

Technisches Resümee: Wie ein Bayes’scher Entscheidungsträger von KI-Entscheidungsunterstützung lernt

Problemstellung

Systeme zur maschinellen Lern-Entscheidungsunterstützung (ML-DS) werden zunehmend in hochsensiblen Bereichen wie dem Gesundheitswesen und der Justiz eingesetzt, um menschliche Akteure zu unterstützen. Während diese Systeme Vorhersagen basierend auf historischen Daten liefern, bleibt der Mechanismus, durch den rationale menschliche Akteure diese Vorhersagen in ihre Entscheidungsprozesse integrieren, unzureichend verstanden. Speziell mangelt es an quantitativen Rahmenbedingungen, die beschreiben, wie ein Agent seine Überzeugungen über eine Population und die zugrunde liegenden kausalen Mechanismen (z. B. Behandlungseffekte) nach der Beobachtung einer ML-Vorhersage aktualisiert.

Es besteht eine kritische Lücke im Verständnis darüber, wie die Prior-Überzeugungen (Vorab-Überzeugungen) eines Agenten bezüglich des datengenerierenden Prozesses und der Trainingsdaten des ML-Modells die Nützlichkeit von ML-DS beeinflussen. Wie die motivierenden Beispiele der Arbeit illustrieren, können identische ML-Vorhersagen zu diametral entgegengesetzten Handlungen führen, je nachdem, ob der Agent glaubt, dass die Trainingsdaten aus behandelten oder unbehandelten Patienten bestanden. Darüber hinaus ist unklar, ob eine fehlgeleitete Prior-Überzeugung dazu führen kann, dass ein rationaler Agent suboptimal entscheidet, selbst wenn das ML-Modell korrekt spezifiziert ist.

Methodik: Das 2-Schritte-Agenten-Framework

Die Autoren schlagen ein allgemeines computergestütztes Framework vor, den 2-Schritt-Agenten, um die Interaktion zwischen einem Bayes’schen Agenten und einem ML-DS-System zu modellieren. Das Framework besteht aus zwei distinkten Phasen:

1. Bayes’sche Aktualisierung der Überzeugungen (Schritt 1)

Der Agent beobachtet nicht die Rohdaten der Trainingsdaten, sondern erhält eine Vorhersage ( $Pred_o$ ) für eine neue Beobachtung ( $X_o$ ) von einem Modell, das auf historischen Daten ( $D_{Hist}$ ) trainiert wurde.

Weltmodell des Agenten ( $A_{Hist}$ ): Der Agent unterhält ein probabilistisches Modell der Welt, das Überzeugungen über die populationsweiten Verteilungen (Kovariaten, Behandlungsrauschen, Ergebnisrauschen) und den kausalen Mechanismus (Behandlungseffekt) umfasst. Entscheidend ist, dass dieses Modell auch Überzeugungen über den Trainingsprozess des ML-Modells kodiert, einschließlich der Größe des Trainingsdatensatzes und der Modellklasse.
Inferenz: Nach der Beobachtung von $X_o$ und $Pred_o$ führt der Agent eine Bayes’sche Aktualisierung durch. Die Vorhersage wird als komprimierte Information über die latenten Variablen der Trainingsdaten behandelt. Der Agent inferiert die Posterior-Verteilung über die populationsweiten Parameter (speziell das Rauschen des Behandlungseffekts $N_E$ und die historischen Richtlinienparameter) durch Schlussfolgerungen über die „Platte“ austauschbarer Trainingsvariablen.
Lösbarkeit der Komplexität: Die Autoren adressieren die rechnerische Intraktabilität der Inferenz durch eine große Platte austauschbarer Variablen. Für einen linearen Gauß-Fall beweisen sie (Theorem 2.8), dass sich die Likelihood der ML-Modellparameter auf eine Funktion der populationsweiten Variablen und eines kleinen Satzes von hinreichenden Statistiken (speziell $O(k^2)$ Statistiken für $k$ Confounder) reduzieren lässt. Diese Reduktion ermöglicht eine effiziente Stichprobenziehung aus der Posterior-Verteilung, ohne den vollständigen historischen Datensatz simulieren zu müssen.

2. Kausale Inferenz und Entscheidung (Schritt 2)

Unter Verwendung der aktualisierten Posterior-Überzeugungen aus Schritt 1 schätzt der Agent den bedingten durchschnittlichen Behandlungseffekt (CATE) für den neuen Patienten.

Inferenzmodell ( $A_{Inf}$ ): Der Agent zieht Stichproben aus der Posterior-Verteilung der Parameter des strukturellen kausalen Modells (SCM).
Entscheidungsregel: Der Agent berechnet den erwarteten CATE über die Verteilung der möglichen SCMs. Wenn der erwartete Nutzen einer spezifischen Behandlung einen Schwellenwert $\tau$ überschreitet, wählt der Agent diese Behandlung; andernfalls wählt er die Alternative.

Das Framework quantifiziert den Einfluss von ML-DS durch den Vergleich der nachgelagerten Ergebnisse ( $Y$ ) von Agenten mit und ohne Entscheidungsunterstütung, definiert als $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$ .

Experimenteller Aufbau

Die Autoren implementierten das Framework unter Verwendung von PyMC, um einen klinischen Anwendungsfall zu simulieren:

Szenario: Ein univariater Regressionskontext, in dem das Körpergewicht eines Patienten ( $X$ ) die Chemotherapie-Dosierung ( $A$ ) und die Überlebensmonate ( $Y$ ) beeinflusst.
Agenten: Simulierte Agenten mit „korrekten“ Priors (passend zum wahren datengenerierenden Prozess) und Agenten mit fehlgeleiteten Priors (systematische Abweichungen in den Überzeugungen bezüglich des Behandlungseffekts, der historischen Behandlungsstrategie oder der Kovariatenverteilung).
Vergleich: Die Studie vergleicht die Ergebnisse für Agenten, die ML-DS nutzen (orange Serie), gegenüber Agenten, die sich ausschließlich auf ihre Priors verlassen (blaue Serie), über variierende Grade der Prior-Fehlleitung hinweg.

Zentrale Ergebnisse

Lernen von ML-DS: Wenn die Prior-Überzeugung eines Agenten bezüglich des Behandlungseffekts ( $N_E$ ) fehlgeleitet ist, aber alle anderen Überzeugungen korrekt sind, kann der Agent erfolgreich aus der ML-Vorhersage lernen. Die Bayes’sche Aktualisierung korrigiert die Überzeugung, was zu verbesserten CATE-Schätzungen und besseren nachgelagerten Ergebnissen führt im Vergleich zur Nichtnutzung von ML-DS.
Die Gefahr fehlgeleiteter Priors: Die Arbeit zeigt, dass ein einzelner fehlgeleiteter Prior ausreicht, um die Leistung von ML-DS zu verschlechtern.
- Wenn der Agent eine falsche Überzeugung bezüglich der historischen Behandlungsstrategie ( $\alpha_{A\mu}$ ) hegt, kann die Interaktion mit ML-DS zu fehlerhaften CATE-Schätzungen führen. Der Agent versucht, die ML-Vorhersage mit seinem falschen Prior in Einklang zu bringen, was zu suboptimalen Behandlungsentscheidungen und schlechteren Ergebnissen führt, als wenn er die ML-Unterstütung ignoriert hätte.
- Ähnliche negative Effekte wurden beobachtet, wenn Agenten fehlgeleitete Priors bezüglich der Kovariatenverteilung ( $\alpha_{X\mu}$ ) oder der Ergebnisverteilung ( $\alpha_{Y\mu}$ ) hatten.
Posterior-Korrelation: Der Lernprozess manifestiert sich als Korrelation in den Posterior-Überzeugungen des Agenten. Wenn eine Vorhersage den Erwartungen widerspricht, zieht der Agent mehrere Hypothesen in Betracht (z. B. die Behandlung ist weniger effektiv als gedacht, ODER die historischen Dosierungen waren höher als angenommen), was eine Abhängigkeit zwischen dem inferierten Behandlungseffekt und der inferierten historischen Strategie erzeugt.

Bedeutung und Ansprüche

Die Arbeit beansprucht, das erste explizite Framework zu liefern, das die Interaktion zwischen einem Bayes’schen Agenten und ML-DS dekonstruiert, indem es spezifisch modelliert, wie ein Agent aus einer ML-Vorhersage über den datengenerierenden Prozess lernt.

** Theoretischer Beitrag:** Die Herleitung einer handhabbaren Lösung für die Bayes’sche Inferenz durch austauschbare Trainingsvariablen (Theorem 2.8) ermöglicht die Simulation von Lernmechanismen, die zuvor rechnerisch prohibitiv waren.
** Empirischer Beitrag:** Die Studie liefert quantitative Beweise dafür, dass ML-DS mehr Schaden als Nutzen anrichten kann, selbst unter idealen Bedingungen (wo das Modell korrekt spezifiziert und der Agent perfekt rational ist). Der primäre Determinant des Erfolgs ist die Übereinstimmung der Prior-Überzeugungen des Agenten mit der Realität der Trainingsdaten.
** Praktische Implikation:** Die Ergebnisse unterstreichen die kritische Bedeutung einer umfassenden Dokumentation der Trainingsdaten und Protokolle für ML-DS-Anwender. Ohne eine solche Abstimmung der Priors (z. B. durch Training oder Dokumentation) kann die Einführung von KI-Unterstützung zu schädlichen nachgelagerten Ergebnissen führen.

Die Autoren merken an, dass ihre Ergebnisse auf jedes Feld generalisierbar sind, das Vorhersagemodelle zur Entscheidungsunterstützung einsetzt, wenngleich die aktuelle Implementierung auf lineare, behandlungs-naive Modelle und einstufige Interaktionen beschränkt ist. Zukünftige Arbeiten werden als notwendig identifiziert, um kausale ML-Modelle, heterogene Behandlungseffekte und wiederholte Interaktionen zu untersuchen.