📊 statistics

PERRY: Policy Evaluation with Confidence Intervals using Auxiliary Data

Dieses Paper schlägt zwei neuartige Methoden zur Konstruktion valider Konfidenzintervalle in der Off-Policy-Evaluation vor, indem es potenziell verzerrte Hilfsdaten nutzt, wobei Conformal Prediction für zustandsbedingte Werte und die Doubly-Robust-Schätzung für die durchschnittliche Performance der Policy eingesetzt werden, wodurch eine zuverlässige Unsicherheitsquantifizierung für den sicheren Einsatz von Reinforcement Learning in hochsensiblen Bereichen wie dem Gesundheitswesen ermöglicht wird.

Ursprüngliche Autoren: Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, einen neuen Behandlungsplan für Patienten zu entscheiden. Sie besitzen ein riesiges Notizbuch mit vergangenen Patientenakten (Verhaltensdaten), die zeigen, was geschah, wenn Ärzte die alte Behandlung anwandten. Nun wollen Sie wissen: „Wenn wir zu dieser neuen Behandlung wechseln, wie gut wird sie funktionieren?“

Dies nennt man Off-Policy Evaluation (OPE). Es ist, als würde man versuchen, die Zukunft basierend auf einer Vergangenheit vorherzusagen, die anders aussieht als die Zukunft, die man erschaffen möchte.

Das Problem ist, dass in Ihrem Notizbuch möglicherweise einige Szenarien fehlen. Vielleicht haben die alten Ärzte einen bestimmten seltenen Symptomtyp selten behandelt, sodass Sie nicht genügend Daten haben, um vorherzusagen, wie die neue Behandlung bei diesen Patienten wirken würde.

Um dies zu beheben, haben Forscher begonnen, KI-„Generatoren“ einzusetzen, um künstliche (synthetische) Patientenakten zu erstellen, um die Lücken zu füllen. Es ist, als würde man einen Simulator nutzen, um tausende zusätzliche Testfälle durchzuführen. Aber hier ist der Haken: Synthetische Daten können verzerrt sein. Wenn der Simulator Fehler macht, könnte Ihre Vorhersage gefährlich falsch sein. In hochsensiblen Bereichen wie dem Gesundheitswesen können Sie nicht einfach raten; Sie müssen wissen, wie sicher Sie sich bei Ihrer Antwort sind.

Dieses Paper, PERRY, führt zwei neue Wege ein, wie Sie diese künstlichen Daten nutzen können, während Sie gleichzeitig ein verlässliches „Sicherheitsnetz“ in Form eines Konfidenzintervalls erhalten. Denken Sie bei einem Konfidenzintervall nicht an eine einzelne Zahl, sondern an einen Bereich (z. B. „Die neue Behandlung wird wahrscheinlich zwischen 80 % und 90 % der Patienten retten“). Wenn der Bereich zu breit ist, ist er nutzlos. Wenn er zu schmal, aber dennoch falsch ist, ist er gefährlich. PERRY zielt darauf ab, Ihnen einen Bereich zu geben, der sowohl eng als auch vertrauenswürdig ist.

Hier sind die zwei Methoden, die sie erfunden haben, erklärt mit Analogien:

1. CP-Gen: Der Detektiv für den „spezifischen Patienten“

Das Ziel: Manchmal ist es Ihnen nicht wichtig, den Durchschnittspatienten zu kennen; Sie interessieren sich für einen spezifischen Typ von Patient (z. B. „Wie wird dieses neue Medikament bei einem 65-Jährigen mit Bluthochdruck wirken?“).

Das Problem: Es gibt möglicherweise sehr wenige echte Datensätze für genau diesen speziellen Typ Mensch. Der KI-Generator kann zwar tausende ähnliche künstliche Datensätze erstellen, aber diese könnten leicht „verzogen“ sein.

Die Lösung (CP-Gen):
Stellen Sie sich vor, Sie haben einen echten Patienten Datensatz (Reale Trajektorie) und einen künstlichen Datensatz (Synthetische Trajektorie), der von der KI generiert wurde und mit exakt denselben Symptomen beginnt.

Der Trick: Anstatt dem Endergebnis des künstlichen Datensatzes zu vertrauen, betrachtet CP-Gen den Unterschied zwischen dem echten Datensatz und dem künstlichen Datensatz.
Die Analogie: Denken Sie an eine Kalibrierungswaage. Sie legen ein bekanntes Gewicht (die echten Daten) auf die eine Seite und ein „simuliertes“ Gewicht (die künstlichen Daten) auf die andere. Sie messen die Lücke zwischen ihnen.
Die Magie: Das Paper nutzt eine Technik namens Conformal Prediction. Es ist wie ein intelligentes Lineal, das sagt: „Basierend darauf, wie stark die künstlichen Daten in der Vergangenheit von den echten Daten abgewichen sind, sind wir uns zu 95 % sicher, dass die wahre Antwort innerhalb dieser spezifischen Lücke liegt.“
Das Ergebnis: Es liefert Ihnen ein Konfidenzintervall für diesen spezifischen Patiententyp, selbst wenn der Zustandsraum (die Anzahl der möglichen Patientenzustände) riesig und kontinuierlich ist.

2. DR-PPI: Der Auditor für die „Population“

Das Ziel: Manchmal möchten Sie einfach nur die durchschnittliche Leistung der neuen Policy über alle hinweg wissen (z. B. „Wie gut wirkt dieses neue Medikament für die gesamte Krankenhauspopulation?“).

Das Problem: Wenn Sie einfach die künstlichen Daten mitteln, könnten Sie ein verzerrtes Ergebnis erhalten, weil der KI-Generator nicht perfekt ist.

Die Lösung (DR-PPI): Diese Methode kombiniert zwei leistungsstarke Ideen: Doubly Robust Estimation und Prediction-Powered Inference.

Die Analogie: Stellen Sie sich ein Team von Auditoren vor.
1. Auditor A (Das Modell): Nutzt den KI-Generator, um das Ergebnis für die gesamte Population vorherzusagen. Dies ist schnell und deckt alle ab, könnte aber leicht falsch sein.
2. Auditor B (Die Korrektur): Nimmt eine kleine Stichprobe echter Daten und prüft den Unterschied zwischen dem, was Auditor A vorhergesagt hat, und dem, was tatsächlich passiert ist.
Die Magie: DR-PPI nimmt die große Vorhersage von Auditor A und fügt Auditor Bs „Korrekturfaktor“ hinzu.
- Wenn das KI-Modell perfekt ist, ist die Korrektur Null, und Sie erhalten eine großartige Schätzung.
- Wenn das KI-Modell schlecht ist, korrigiert die Korrektur durch die echten Daten dies.
- Entscheidend ist, dass diese Methode „Doubly Robust“ ist, was bedeutet, dass sie auch dann gut funktioniert, wenn einer der beiden Auditoren einen Fehler macht, solange der andere richtig liegt.
Das Ergebnis: Es erzeugt ein Konfidenzintervall für die gesamte Population, das auch bei Verwendung synthetischer Daten gültig ist.

Was haben sie herausgefunden?

Die Autoren haben ihre Methoden in vier verschiedenen „Welten“ getestet:

Bestandssteuerung (Inventory Control): Verwaltung von Lagerbeständen in einem Lagerhaus.
Sepsis-Behandlung: Eine Simulation der Behandlung von Blutvergiftung.
Robotik: Einen virtuellen Geparden dazu zu bringen, schnell zu laufen.
Echte Gesundheitsdaten (MIMIC-IV): Tatsächliche elektronische Patientenakten von Patienten, die Kalium erhielten.

Das Urteil:

Alte Methoden, die versuchten, künstliche Daten zu nutzen, erzeugten oft Konfidenzintervalle, die entweder zu breit (nutzlos) oder deckten die Wahrheit nicht ab (gefährlich) waren.
PERRYs Methoden konnten die künstlichen Daten erfolgreich nutzen, um die Intervalle enger (präziser) zu machen und gleichzeitig die wahre Antwort abzudecken (sicher).
Sie haben mathematisch bewiesen, dass diese Methoden funktionieren, selbst wenn die Daten unordentlich sind und die „künstlichen“ Daten nicht perfekt sind.

Zusammenfassend

PERRY ist ein Werkzeugkasten, der es Forschern ermöglicht, KI-generierte künstliche Daten sicher zu nutzen, um vorherzusagen, wie neue Policies funktionieren werden. Es bietet eine garantierte Sicherheitsmarge (Konfidenzintervall), damit wir in entscheidenden Situationen sagen können: „Wir sind zuversichtlich, dass die neue Policy innerhalb dieses Bereichs performen wird“, ohne jahrelang auf reale Versuche und Irrtümer warten zu müssen.

Technisches Resümee: PERRY – Politikevaluierung mit Konfidenzintervallen unter Verwendung von Hilfsdaten

Problemstellung

Die Off-Policy-Evaluierung (OPE) ist entscheidend für die Schätzung des Wertes einer neuen Reinforcement-Learning-Policy (RL-Policy) vor deren Einsatz, insbesondere in hochsensiblen Bereichen wie der Medizin, in denen direkte Experimente riskant sind. Standardmäßige OPE-Methoden haben oft Schwierigkeiten, wenn die Zielpolicy signifikant von der Behavior-Policy abweicht, was auf eine begrenzte Datenabdeckung zurückzuführen ist. Jüngste Fortschritte legen nahe, dass die Nutzung von Hilfsdatensätzen, wie etwa synthetischen Trajektorien, die durch generative Modelle erzeugt wurden, die Genauigkeit der OPE verbessern kann. Diese Hilfsdatensätze können jedoch Bias einführen, und bestehende Methoden zur Nutzung von Datenaugmentation in der OPE lassen eine fundierte Unsicherheitsquantifizierung vermissen. In Hochrisiko-Szenarien sind zuverlässige Konfidenzintervalle (CIs) essenziell für eine sichere Policy-Selektion. Derzeit bieten keine existierenden Methoden formale Garantien für CIs in OPE-Settings, die Offline-Daten (echte Daten) mit synthetischen Trajektorien kombinieren.

Methodik

Das Paper schlägt zwei Methoden vor, CP-Gen und DR-PPI, um validierte Konfidenzintervalle für die OPE in Markov-Entscheidungsprozessen (MDPs) unter Verwendung von sowohl realen als auch synthetischen Daten zu konstruieren.

1. CP-Gen: Conformal Prediction für zustandsbedingte Werte

CP-Gen adressiert die Aufgabe, den Wert einer Policy unter der Bedingung eines spezifischen Anfangszustands, $V^\pi(s)$ , zu schätzen. Dies ist entscheidend in Szenarien, in denen Stakeholder Policies für Individuen auswählen müssen, die im selben Zustand starten (z. B. Patienten mit identischen Krankheitsstadien).

Kernkonzept: Die Methode zerlegt den Policy-Wert in eine Simulator-Schätzung (unter Verwendung synthetischer Trajektorien) und einen „Modell-Bias“-Term (die Diskrepanz zwischen realen und synthetischen Returns).
Mechanismus: Sie verwendet ein neuartiges Conformal-Prediction-Framework, das speziell für MDPs mit kontinuierlichen Zustandsräumen entwickelt wurde.
- Es konstruiert ein Vorhersageintervall für die Return-Differenz zwischen einer realen Trajektorie und einer entsprechenden synthetischen Trajektorie, die vom selben Zustand aus startet.
- Um den Verteilungsdrift zwischen der Behavior-Policy ( $\pi_b$ ) und der Zielpolicy ( $\pi_e$ ) sowie die kontinuierliche Natur des Zustandsraums zu handhaben, führen die Autoren eine $\epsilon$ -Approximationstechnik ein. Diese approximiert die Importance-Weights durch Konditionierung auf lokale Nachbarschaften (Kugeln mit dem Radius $\epsilon_s$ um den Zustand und $\epsilon_r$ um die Return-Differenz) anstatt auf exakte Punkte, wodurch die Gewichtsschätzung handhabbar wird.
- Das endgültige Konfidenzintervall für $V^\pi(s)$ wird gebildet, indem das Conformal-Band der Return-Diskrepanz zum synthetischen Schätzwert addiert wird.

2. DR-PPI: Doubly Robust Estimation für unbedingte Werte

DR-PPI zielt auf die gängigere Aufgabe der Schätzung der durchschnittlichen Performance einer Policy über die Verteilung der Anfangszustände ab, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$ .

Kernkonzept: Diese Methode ist inspiriert von Doubly Robust (DR) Schätzern und Prediction-Powered Inference (PPI).
Mechanismus:
- Der Behavior-Datensatz wird in zwei Teile ( $D_1, D_2$ ) für Cross-Fitting aufgeteilt.
- Ein generatives Modell wird auf einem der Splits trainiert, um synthetische Trajektorien (Rollouts) unter der Zielpolicy zu erzeugen.
- Der Schätzer kombiniert einen modellbasierten Term (Mittelung der Returns aus synthetischen Trajektorien) mit einem Korrekturterm, der aus den realen Daten abgeleitet wird. Der Korrekturterm nutzt Importance Sampling (IS) auf realen Trajektorien, um den durch das generative Modell eingeführten Bias zu korrigieren.
- Speziell wird für jede reale Trajektorie der erwartete synthetische Return durch die Generierung mehrerer synthetischer Trajektorien vom selben Anfangszustand aus geschätzt, welcher dann vom re-gewichteten realen Return subtrahiert wird.
- Die endgültige Schätzung ist der Mittelwert zweier Cross-Fitting-Schätzer, wobei die Varianz berechnet wird, um ein asymptotisch gültiges Konfidenzintervall zu konstruieren.

Zentrale Beiträge

Formalisierung: Die Autoren formalisieren das Problem der Unsicherheitsquantifizierung für OPE in MDPs, die synthetisch generierte Trajektorien nutzen.
Neuartige Algorithmen: Sie führen CP-Gen und DR-PPI ein, zwei Methoden, die für zustandsbedingte bzw. unbedingte Schätzung des Policy-Werts konzipiert sind.
Theoretische Garantien:
- CP-Gen: Es wurde bewiesen, dass CP-Gen valide Conformal-Prediction-Intervalle mit Coverage-Garantien liefert, die asymptotisch oder innerhalb einer kleinen Fehlermarge für endliche Stichproben gelten, selbst in kontinuierlichen Zustandsräumen. Die Fehlermarge ist explizit als Funktion der Approximationsradien ( $\epsilon_s, \epsilon_r$ ) begrenzt.
- DR-PPI: Es wurde bewiesen, dass es asymptotisch valide Konfidenzintervalle liefert, selbst wenn das generative Modell misspezifiziert ist, vorausgesetzt, der Importance-Sampling-Korrekturterm ist konsistent.
Empirische Validierung: Umfangreiche Experimente in vier Domänen (Inventory Control, Sepsis-Behandlung, Robotik-Steuerung und MIMIC-IV EHR-Daten) zeigen, dass diese Methoden Hilfsdaten effektiv nutzen können, um CIs zu erzeugen, die den Ground-Truth-Werten folgen und oft engere Intervalle als Baselines aufweisen, die nur auf realen Daten basieren.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden gegen mehrere Baselines, darunter Importance Sampling (IS), Direct Method (DM), Doubly Robust (DR) und deren augmentierte Varianten (AugIS, AugDR) sowie Conformal-Baselines aus vorangegangener Arbeit (Foffano et al., 2023).

Coverage (Abdeckung): Sowohl CP-Gen als auch DR-PPI produzierten konsistent Konfidenzintervalle, die die Ground-Truth-Policy-Werte über alle getesteten Domänen hinweg abdeckten.
Intervallbreite: In vielen Settings, insbesondere bei kontinuierlichen Zustandsräumen (Inventory, D4RL HalfCheetah, MIMIC-IV), produzierten die vorgeschlagenen Methoden signifikant engere Intervalle als die Baselines. Beispielsweise produzierte CP-Gen im Inventory-Domain ein Intervall der Länge 5531.60 im Vergleich zu 8550.00 für die Foffano et al. Baseline, während sie dennoch den Ground Truth abdeckte.
Robustheit: Die Methoden erwiesen sich als robust gegenüber moderater Misspezifikation der Behavior-Policy und Variationen in der Qualität (Rauschen) der synthetischen Trajektorien.
Versagen der Baselines: Baselines, die Daten naiv augmentierten, ohne eine prinzipielle Korrektur der Unsicherheit vorzunehmen (z. B. AugIS, AugDR), produzierten oft verzerrte Intervalle, die den Ground Truth nicht abdeckten oder aufgrund von Varianzproblemen beim Q-Learning exponentiell große Intervalle aufwiesen.

Bedeutung und Ansprüche

Das Paper beansprucht, einen bedeutenden Schritt hin zu einer unsicherheitsbewussten OPE in Regimes zu machen, in denen sowohl reale als auch synthetische Trajektorien verwendet werden. Die Autoren betonen, dass ihre Arbeit grundlegend für Hochrisiko-Domänen ist, in denen die sichere Bereitstellung von RL-Policies eine rigorose Unsicherheitsabschätzung erfordert.

Überbrückung der Lücke: Die Arbeit adressiert eine kritische Lücke, in der bestehende OPE-Methoden mit Datenaugmentation keine formalen Zusicherungen über die Qualität der Schätzung bieten.
Skalierbarkeit: Durch die Einführung der $\epsilon$ -Approximation erweitert CP-Gen die Conformal Prediction auf MDPs mit kontinuierlichen und höherdimensionalen Zustandsräumen – ein Setting, in dem frühere Conformal-OPE-Methoden Schwierigkeiten hatten.
Praktischer Nutzen: Die empirischen Ergebnisse legen nahe, dass die Nutzung synthetischer Daten, gepaart mit diesen spezifischen Techniken zur Unsicherheitsquantifizierung, die Präzision der OPE-Schätzungen erhöhen kann, ohne die Validität zu opfern.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass die Wahl der Hyperparameter ( $\epsilon_s, \epsilon_r$ ) in höherdimensionalen Settings zunehmend entscheidend wird und dass zukünftige Arbeit notwendig ist, um prinzipiertere Verfahren für deren Auswahl zu entwickeln und alternative generative Modelle wie Diffusionsmodelle zu explorieren. Sie räumen zudem ein, dass die theoretischen Garantien für CP-Gen eine kleine Fehlermarge beinhalten, die von diesen Parametern abhängt.