🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

Dieses Paper schlägt ein neuartiges Framework für die robuste kontrafaktische Richtlinienoptimierung in sequenziellen Entscheidungsprozessen vor, indem es probabilistische nichtdeterministische kausale Modelle formalisiert, die zwischen latenter Konfundierung und inhärenter Stochastizität unterscheiden, validiert durch eine Sepsis-Behandlungs-Simulation mit verborgenen Konfundern.

Ursprüngliche Autoren: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Veröffentlicht 2026-08-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter das Autofahren beizubringen, aber Sie haben nur ein Video von jemand anderem, der fährt. Sie möchten fragen: „Was wäre passiert, wenn der Roboter eine andere Abbiegung genommen hätte?“ Dies ist der Kern des kontrafaktischen Schließens: in die Vergangenheit zu blicken und ein anderes Ergebnis basierend auf einer anderen Entscheidung zu imaginieren. In der Welt der Künstlichen Intelligenz ist dies entscheidend für die Sicherheit, insbesondere in Bereichen wie dem Gesundheitswesen, in denen wir nicht einfach gefährliche Experimente an echten Patienten durchführen können, um zu sehen, was passiert.

Um dies zu erreichen, nutzen Wissenschaftler Markov-Entscheidungsprozesse (MDPs), die wie Regelbücher dafür sind, wie sich ein System (wie der Gesundheitszustand eines Patienten) basierend auf Handlungen (wie der Gabe von Medikamenten) verändert. Traditionell nahmen Forscher an, dass diese Regelbücher perfekt vorhersagbar wären, wenn man alle verborgenen Geheimnisse (genannt latente Variablen) kennen würde. Sie dachten: „Wenn wir den verborgenen genetischen Code des Patienten kennen würden, könnten wir die Zukunft exakt vorhersagen.“ Das echte Leben ist jedoch chaotisch. Manchmal passieren Dinge einfach zufällig – wie ein Münzwurf oder ein technischer Defekt in einer Maschine – die man selbst mit jeglichem verborgenen Wissen nicht vorhersagen kann. Diese Arbeit befasst sich mit dem kniffligen Mittelweg, in dem sowohl verborgene Geheimnisse als auch reine Zufälligkeit die Zukunft prägen, und stellt die Frage: „Wie können wir die besten Entscheidungen treffen, wenn wir die verborgenen Geheimnisse nicht kennen und wissen, dass die Welt ein Stück weit chaotisch ist?“

Das Dilemma des Detektivs: Die Lösung des Rätsels der fehlenden Variable

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mithilfe einer „Was wäre wenn“-Maschine zu lösen. Sie haben ein Video eines Patienten, der krank wird, und Sie möchten wissen: „Wenn wir ihm eine andere Behandlung gegeben hätten, hätte er überlebt?“

In der Vergangenheit nahmen Detektive an, dass die „Was wäre wenn“-Maschine wie ein perfektes Uhrwerk funktionierte. Sie glaubten, wenn sie jedes verborgene Zahnrad kennen würden (wie etwa einen undiagnostizierten Diabetes eines Patienten), könnten sie die Zeit zurückdrehen und genau sehen, was passiert wäre. Aber die Autoren dieser Arbeit, Jessica Lally und ihr Team, erkannten, dass das echte Leben kein Uhrwerk ist. Manchmal klemmen die Zahnräder einfach zufällig, oder ein Windstoß wirft einen Domino um. Dies ist inhärente Zufälligkeit.

Die Arbeit argumentt, dass wir nicht so tun können, als wäre die Welt ein perfekt vorhersagbares Uhrwerk, nur weil uns einige Informationen fehlen. Stattdessen benötigen wir eine neue Art der Detektivarbeit, die zugibt: „Wir kennen die verborgenen Zahnräder nicht, und selbst wenn wir es täten, könnte die Zukunft trotzdem noch ein wenig eine Überraschung sein.“

Das neue Werkzeug: Ein Sicherheitsnetz für den „Worst Case“

Das Team stellt eine neue Methode namens Robust Counterfactual Policy Optimisation vor. Betrachten Sie dies als ein Sicherheitsnetz für die Entscheidungsfindung.

Normalerweise, wenn wir versuchen zu erraten, was passiert wäre, könnten wir falsch liegen, weil wir den „verborgenen Confounder“ (wie den Diabetes-Status eines Patienten) nicht kennen. Die Autoren schlagen ein Framework vor, das nicht nur ein Ergebnis errät, sondern sich auf das schlechtestmögliche Ergebnis vorbereitet, das mit den Daten konsistent ist.

Sie verwenden ein Konzept namens Sensitivitätsanalyse. Stellen Sie sich vor, Sie raten das Wetter. Wenn Sie sich zu 100 % sicher sind, sagen Sie: „Es wird regnen.“ Wenn Sie unsicher sind, sagen Sie: „Es könnte regnen, oder es könnte auch nicht regnen.“ Die Autoren fügen einen „Regler“ hinzu (genannt $\Delta$ ), der steuert, wie sehr die verborgenen Geheimnisse unsere Vorhersagen beeinflussen könnten.

Wenn Sie den Regler auf 1 stellen, gehen Sie davon aus, dass keine verborgenen Geheimnisse die Dinge durcheinanderbringen.
Wenn Sie den Regler hochdrehen, nehmen Sie an, dass die verborgenen Geheimnisse zu fast allem führen könnten.

Das Ziel ist es, eine Policy (einen Satz von Regeln für das Handeln) zu finden, die auch dann gut funktioniert, wenn die verborgenen Geheimnisse so schwierig wie möglich sind. Sie nennen das Finden einer robusten Policy. Es ist wie das Packen eines Rucksacks für eine Wanderung: Man packt nicht nur für sonniges Wetter ein, sondern auch für Regen, Matsch und einen plötzlichen Sturm, nur für den Fall.

Das Experiment: Der Sepsis-Simulator

Um ihre Idee zu testen, nutzte das Team eine Computersimulation einer Sepsis-Behandlung. In diesem Spiel hat ein Patient vier Vitalparameter (Herzfrequenz, Blutdruck, Sauerstoffgehalt und Glukose), die niedrig, normal oder hoch sein können. Ein Arzt (oder eine KI) muss entscheiden, ob er drei verschiedene Behandlungen ein- oder ausschaltet.

Hier ist der Haken: Die Simulation enthält eine verborgene Variable. Einige Patienten sind diabetisch, andere nicht. Dieser Diabetes-Status ist der „verborgene Confounder“. Er beeinflusst, wie der Patient auf die Behandlung reagiert, aber die KI sieht nur die Vitalparameter, nicht den Diabetes-Status. In dieser Simulation sind 20 % der Patienten diabetisch.

Die Forscher wendeten ihre neue „Sicherheitsnetz“-Methode auf diese Simulation an. Sie fragten: „Können wir einen Behandlungsplan finden, der besser ist als der, den wir in den Daten gesehen haben, selbst wenn wir nicht wissen, wer diabetisch ist?“

Was sie herausfanden

Die Ergebnisse waren vielversprechend, aber mit ein paar Einschränkungen.

Es funktioniert besser als bloßes Raten: Als sie ihre neuen Policies an der vollständigen, perfekten Version der Simulation testeten (in der sie doch wussten, wer diabetisch war), waren die gefundenen Policies oft viel besser als die ursprünglichen, suboptimalen. Für diabetische Patienten verbesserte die neue Policy das Ergebnis um durchschnittlich 7,4 Punkte (auf einer Skala, bei der Tod -10 und Entlassung 10 bedeutet).
Der „Proxy“ ist etwas vorsichtig: Das Team musste das Ausmaß der verborgenen Probleme (den $\Delta$ -Regler) allein anhand der sichtbaren Vitalparameter schätzen. Für diabetische Patienten war diese Schätzung punktgenau. Aber für nicht-diabetische Patienten war die Methode etwas zu vorsichtig. Sie nahm an, dass die verborgenen Probleme stärker waren, als sie tatsächlich waren. Dies ist wie ein Wetterprognostiker, der sagt: „Es könnte regnen“, obwohl es eigentlich sonnig ist. Dies führt zwar zu einem etwas niedrigeren Wert in der Simulation, stellt aber sicher, dass die Entscheidung sicher ist.
Der „Oracle“-Test: Die Autoren verglichen ihre Methode mit einem „Oracle“ – einer perfekten Version ihrer Methode, die das wahre Ausmaß der verborgenen Probleme kannte. Sie fanden heraus, dass ihre Methode selbst ohne Kenntnis der Wahrheit Policies fand, die den besten Entscheidungen des Oracle sehr nahe kamen.

Das Fazit

Diese Arbeit behauptet nicht, das Rätsel der verborgenen Variablen für immer gelöst zu haben. Stattdessen bietet sie einen neuen, sichereren Weg, um in einer Welt, die sowohl geheimnisvoll als auch zufällig ist, ein „Was wäre wenn?“ zu fragen.

Indem sie die „verborgenen Geheimnisse“ (wie Diabetes) von der „reinen Zufälligkeit“ (wie einem zufälligen Fehler) trennen und sich auf das Worst-Case-Szenario vorbereiten, zeigen die Autoren, dass wir dennoch kluge, robuste Entscheidungen treffen können. Ihre Methode legt nahe, dass wir selbst dann Behandlungspläne finden können, die deutlich besser sind als das bloße Befolgen der alten, unvollkommenen Daten, selbst wenn wir in Bezug auf verborgene Faktoren blind fliegen. Es ist ein Schritt hin zu einer KI, die demütig genug ist, zuzugeben, was sie nicht weiß, und klug genug, um für das Unerwartete zu planen.

Technisches Resümee: Robuste kontrafaktische Richtlinienoptimierung mittels nichtdeterministischer kausaler Modelle

1. Problemstellung

Die kontrafaktische Inferenz in der sequentiellen Entscheidungsfindung zielt darauf ab zu bestimmen, welche Ergebnisse eingetreten wären, wenn eine andere Richtlinie (Policy) ausgeführt worden wäre, gegeben eine beobachtete Trajektorie von Zuständen, Aktionen und Ergebnissen. Dies ist in sicherheitskritischen Bereichen wie dem Gesundheitswesen entscheidend, in denen das erneute Durchführen von Experimenten oft unethisch oder nicht praktikabel ist.

Bestehende Ansätze zur kontrafaktischen Inferenz in Markov-Entscheidungsprozessen (MDPs) modellieren die Umgebung typischerweise als ein deterministisches strukturelles Kausalamodell (SCM). In diesem Rahmen wird jegliche Zufälligkeit auf unbeobachtete latente Variablen ( $U$ ) zurückgeführt. Die Realität in MDPs ist jedoch inhärent stochastisch; Zufälligkeit entsteht oft aus zwei unterschiedlichen Quellen:

Latente Konfundierung (Confounding): Unbeobachtete Faktoren (z. B. Genetik oder Demografie eines Patienten), die Übergänge beeinflussen.
Irreduzible Stochastizität: Fundamentale Zufälligkeit im System (z. B. Zufallszahlengeneratoren oder aggregiertes Rauschen), die nicht auf latente Variablen reduziert werden kann.

Der vorliegende Text adressiert die Lücke, in der beide Quellen koexistieren. Standard-SCMs versagen dabei, diese zu unterscheiden, und führen irreduzibles Rauschen potenziell fälschlicherweise entweder auf latente Konfundierung oder umgekehrt zurück. Die Autoren schlagen vor, die kontrafaktische Richtlinienoptimierung unter probabilistischen nichtdeterministischen kausalen Modellen (PNSCMs) zu formalisieren, die inhärente Stochastizität zulassen und gleichzeitig den Einfluss latenter Konfounder mittels Sensitivitätsanalyse begrenzen.

2. Methodik

2.1 Probabilistische nichtdeterministische kausale Modelle (PNSCMs)

Die Autoren modellieren die Umgebung als ein PNSCM, welches die deterministischen strukturellen Gleichungen durch bedingte Wahrscheinlichkeitsverteilungen ersetzt. Ein wesentliches Merkmal von PNSCMs ist die aktualisierte Verfeinerung (actualised refinement): Gegeben eine beobachtete Einstellung $(u, v)$ , wird die bedingte Verteilung $P_X$ so verfeinert, dass sie deterministisch das beobachtete Ergebnis $x$ zurückgibt, wenn die beobachteten Elternknoten gegeben sind, während sie für andere Eingaben ihren probabilistischen Charakter beibehält. Dies erfasst die Semantik, dass wir nur den kausalen Mechanismus aus der tatsächlichen Einstellung lernen, nicht aus kontrafaktischen Möglichkeiten.

2.2 Sensitivitätsanalyse-Rahmenwerk

Um mit unbeobachteten globalen Konfoundern ( $U$ ) umzugehen, die über eine Trajektorie hinweg konstant bleiben, verwenden die Autoren einen Ansatz der Sensitivitätsanalyse, ähnlich wie Kausik et al. [2024].

Sensitivitätsparameter ( $\Delta$ ): Der Einfluss der latenten Variable $U$ $U$ wird durch einen Parameter $\Delta \ge 1$ $Δ \geq 1$ begrenzt. Dieser beschränkt das Odds-Verhältnis zwischen der bedingten Übergangswahrscheinlichkeit $P(S' | S, A, U)$ $P (S^{'} ∣ S, A, U)$ und der marginalen Übergangswahrscheinlichkeit $P(S' | S, A)$ $P (S^{'} ∣ S, A)$ :
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ : Keine Konfundierung (vollständig spezifiziertes PNSCM).
- $\Delta \to \infty$ : Maximale Konfundierung.

2.3 Kalibrierung der Sensitivität ( $\Delta$ )

Eine große Herausforderung besteht darin, $\Delta$ ohne Domänenwissen auszuwählen. Das Paper schlägt eine fundierte Methode vor, um eine obere Schranke für $\Delta(s, a)$ aus beobachteten Zustandsvariablen abzuleiten:

Verbergen von Variablen: Für jede beobachtete Zustandsvariable $i$ berechnen die Autoren die Übergangsverteilung $P(s' | s_{-i}, a)$ durch Marginalisierung über $i$ .
Berechnung des Odds-Verhältnisses: Sie berechnen das maximale Odds-Verhältnis zwischen dem vollständigen Übergang und dem marginalisierten Übergang für jede Variable.
Proxy-Auswahl: Die Sensitivität $\Delta(s, a)$ wird als das Maximum dieser Verhältnisse über alle Variablen gesetzt. Ein Skalierungsfaktor $\Gamma$ kann angewendet werden, um die Strenge der Schranke anzupassen.

2.4 Optimierungsverfahren

Das Ziel ist es, eine Richtlinie $\pi$ zu finden, die den Worst-Case-kontrafaktischen Wert $V^{CF}$ unter der Unsicherheit von $U$ maximiert.

Aktualisierte Verfeinerung in Kontrafaktualien: Für einen beobachteten Übergang $(s_t, a_t, s_{t+1})$ ist die kontrafaktische Übergangswahrscheinlichkeit $P^{CF}_t$ eine Mischung: Mit der Wahrscheinlichkeit $P(U=u|\tau)$ ist der Übergang deterministisch (verbleibt bei $s_{t+1}$ ); andernfalls folgt er der optimierten Übergangswahrscheinlichkeit $\tilde{P}$ .
Entkoppelte Optimierung: Um das Problem handhabbar zu machen, entkoppeln die Autoren die Optimierung über Zeitschritte und Zustands-Aktions-Paare, indem sie jedes $(t, s, a)$ -Tripel unabhängig behandeln. Dies liefert eine konservative untere Schranke für den wahren pessimistischen Wert.
Adversarielles Format: Die Optimierung beinhaltet einen Adversary (Gegenspieler), der gemeinsam die Posterior-Verteilung $P(U|\tau)$ und die Übergangswrscheinlichkeiten $\tilde{P}$ auswählt, um den Wert zu minimieren, unter Einhaltung der Sensitivitätsbeschränkungen. Dieses nicht-konvexe Problem wird mit Gurobi gelöst.
Zeithomogenität: Die Autoren merken an, dass die Einbeziehung von Zeithomogenität (die konsistente Übergänge über die Zeit erfordert) eine trilineare Kopplung erzeugt, die mittels Gradientenabstieg lösbar ist, dies jedoch nur lokale Minima garantiert.

3. Experimentelle Evaluierung

Der Ansatz wurde an einem Sepsis-Behandlungs-Simulator (Oberst und Sontag, 2019) validiert.

Setup: Der Zustandsraum umfasst Vitalparameter (Herzfrequenz, Blutdruck usw.). Der Aktionsraum beinhaltet das Umschalten von Behandlungen.
Konfounder: Der Diabetes-Status ( $U \in \{0, 1\}$ ) fungt als globaler latenter Konfounder, der 20 % der Population betrifft. Die wahre Übergangsmatrix $P(S' | S, A, U)$ ist für die Evaluierung bekannt, aber während der Ableitung der Richtlinie verborgen.
Daten: Die Methode verwendet Trajektorien, die von einer suboptimalen Richtlinie (optimal mit Wahrscheinlichkeit 0,5, andernfalls zufällig) auf der marginalisierten Übergangsmatrix generiert wurden.

Kernergebnisse

Robuste Verbesserung: Die abgeleiteten kontrafaktischen Richtlinien ( $\pi^*_\Delta$ ) übertrafen die beobachtete suboptimale Richtlinie konsistent bei der Evaluierung auf dem vollständig beobachteten MDP (wo Diabetes bekannt ist).
Proxy-Genauigkeit:
- Für diabetische Trajektorien entsprach der unskalierte Proxy ( $\Gamma=1$ ) eng der "Oracle"-Performance (dem besten möglichen Ergebnis, wenn die wahre Diabetes-Sensitivität $\Delta^*$ bekannt wäre).
- Für nicht-diabetische Trajektorien war der Proxy konservativ (überschätzte die Konfundierung), was zu niedrigeren Wertschätzungen führte. Die resultierenden Richtlinien lagen jedoch nahe an der Oracle-Performance, was zeigt, dass die Methode robuste Richtlinien selbst dann zurückgewinnt, wenn die Wertschätzungen konservativ sind.
Sensitivität gegenüber $\Gamma$ : Durch Anpassung des Skalierungsfaktors $\Gamma$ konnten die Autoren den Trade-off zwischen Genauigkeit der Wertschätzung und Robustheit der Richtlinie steuern.

4. Zentrale Beiträge

Formalisierung: Das Paper formalisiert die kontrafaktische Richtlinienoptimierung für MDPs unter PNSCMs und trennt explizit latente Konfundierung von irreduzibler Stochastizität.
Sensitivitäts-Rahmenwerk: Es schlägt ein praktisches Optimierungsproblem vor, um robuste kontrafaktische Richtlinien unter Verwendung eines Sensitivitätsanalyse-Rahmenwerks zu identifizieren, der den Einfluss latenter Variablen begrenzt.
Kalibrierungsmethode: Es führt eine datengestützte Methode ein, um den Sensitivitätsparameter $\Delta$ unter Verwendung beobachteter Zustandsvariablen zu kalibrieren, wodurch die Abhängigkeit von Expertenwissen reduziert wird.
Empirische Validierung: Es demonstriert, dass robuste kontrafaktische Richtlinien auf einem realistischen Gesundheits-Simulator mit verborgenen globalen Konfoundern abgeleitet und validiert werden können.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit das erste praktische Optimierungsproblem zur Identifizierung robuster kontrafaktischer Richtlinien unter einem Sensitivitätsanalyse-Rahmenwerk innerhalb von PNSCMs darstellt. Die Bedeutung liegt in der Adressierung der Limitation bestehender deterministischer SCM-Ansätze, die eine Umgebung mit inhärenter Stochastizität nicht korrekt modellieren können.

Das Paper kommt zu dem Schluss, dass die abgeleiteten Richtlinien robust sind, wenn sie auf der wahren, vollständig spezifizierten Umgebung evaluiert werden, selbst wenn der Sensitivitätsparameter aus beobachteten Daten geschätzt wurde. Die Autoren merken bescheiden an, dass die entkoppelte Optimierung zwar eine gültige untere Schranke liefert, zukünftige Arbeiten jedoch notwendig sind, um zeithomogene Beschränkungen und unterschiedliche Arten von latenten Variablen (z. B. gedächtnislose Konfounder) zu untersuchen, um genauere Wertschätzungen zu erhalten.