📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Dieses Paper führt LURE ein, die erste Methode für Offline-Reinforcement Learning mit verborgenen Aktionen, welche Folgezustandsvariablen als Proxys nutzt, um eine multipli multipliziert robuste und statistisch valide Schätzung des Richtlinienwerts in unendlich ausgerichteten Markov-Entscheidungsprozessen zu ermöglichen.

Ursprüngliche Autoren: Zeyu Bian, Ying Zhou, Yifan Cui

Veröffentlicht 2026-07-29

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeyu Bian, Ying Zhou, Yifan Cui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein komplexes Spiel zu spielen, wie etwa das Navigieren durch eine Stadt oder das Verwalten der Gesundheit eines Patienten. Sie lassen den Roboter das Spiel nicht in Echtzeit durchspielen; stattdessen geben Sie ihm ein riesiges Logbuch vergangener Versuche eines menschlichen Spielers. Dies ist die Welt des Reinforcement Learning (RL), eines Zweigs der künstlichen Intelligenz, bei dem Computer durch Versuch und Irrtum lernen, um im Laufe der Zeit die besten Entscheidungen zu treffen. Das Ziel ist meist herauszufinden: „Wenn wir in der Zukunft einem bestimmten Satz von Regeln (einer Policy) folgen würden, wie gut würden wir basierend auf diesem alten Logbuch abschneiden?“

Es gibt jedoch einen Haken. In der realen Welt sind Logbücher selten perfekt. Manchmal hat die Person, die die Notizen geschrieben hat, einen Fehler gemacht, oder das System, das die Daten aufgezeichnet hat, war fehlerhaft. In der Sprache dieser Arbeit könnte die „Aktion“, die der Mensch tatsächlich ausgeführt hat (wie etwa die Gabe einer bestimmten Medizin), verborgen sein, und alles, was wir sehen, ist ein „Proxy“ oder eine verrauschte Vermutung dessen, was passiert ist (wie eine ärztliche Notiz, die besagt „Medikament gegeben“, obwohl dies eigentlich nicht der Fall war, oder umgekehrt). Wenn Sie versuchen, Ihren Roboter mit einem Logbuch voller solcher Fehler zu trainieren, wird er die falschen Lektionen lernen, was später zu schlechten Entscheidungen führt. Diese Arbeit befasst sich mit dem kniffligen Problem, wie man effektiv lernt, wenn der wichtigste Teil der Geschichte – die wahre Aktion – fehlt oder getarnt ist.

Das Rätsel der fehlenden Bewegung

In dem Papier mit dem Titel „Learning from the Unseen“ stehen die Autoren Zeyu Bian, Ying Zhou und Yifan Cui vor einer Detektivgeschichte, bei der der wichtigste Hinweis fehlt. Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen anhand eines Überwachungsvideos aufzuklären. Aber hier ist die Wendung: Das Video zeigt den Schatten des Verdächtigen, nicht den Verdächtigen selbst. Sie können den Schatten sich bewegen sehen, aber Sie wissen nicht genau, was die Hände des Verdächtigen gerade taten. In der Welt der Datenwissenschaft nennt man das „verborgene Aktionen“ (hidden actions).

Normalerweise, wenn Wissenschaftler versuchen, eine Strategie anhand vergangener Daten zu bewerten (ein Prozess namens Off-Policy Evaluation), gehen sie davon aus, dass das Logbuch perfekt ist. Sie nehmen an, dass wenn im Log steht „Aktion A wurde ausgeführt“, dann auch Aktion A definitiv ausgeführt wurde. Aber in der unordentlichen realen Welt – wie etwa in Krankenhausakten, in denen ein Arzt eine Behandlung Stunden später notiert, oder in einem System, das versehentlich einen Tastendruck falsch beschriftet – ist diese Annahme eine Falle. Wenn Sie die Fehler ignorieren, wird Ihre Bewertung der Strategie verzerrt sein, so als würde man die Kochkünste eines Küchenchefs basierend auf einem Menü beurteilen, in dem die falschen Zutaten aufgelistet sind.

Die Magie des nächsten Schritts

Der große Durchbruch der Autoren besteht in der Erkenntnis, dass man die „Aktion“ oft in ihrem Schatten im nächsten Moment sehen kann, selbst wenn man sie nicht direkt sehen kann.

Denken Sie an Folgendes: Wenn ein Magier einen Zauberstab schwingt (die verborgene Aktion), sehen Sie den Stab vielleicht wegen eines Flecks auf der Kamera nicht klar. Aber Sie können sehen, wie das Kaninchen im Hut erscheint (der nächste Zustand). Das Kaninchen ist nicht einfach aus dem Nichts aufgetaucht; es ist erschienen, weil der Zauberstab geschwenkt wurde. Durch das Studium der Beziehung zwischen dem „nächsten Zustand“ (dem Kaninchen) und der „verrauschten Notiz“ (dem verschmierten Video) fanden die Autoren heraus, wie man mathematisch rekonstruieren kann, was der Magier tatsächlich getan hat.

Sie nennen ihre neue Methode LURE (Learning from the Unseen: Robust Estimator). Es ist wie ein superintelligenter Detektiv, der nicht nur das verschwommene Foto des Verdächtigen betrachtet, sondern auch die Fußabdrücke und den Wetterbericht heranzieht, um präzise zu deduzieren, was genau passiert ist.

Wie LURE funktioniert: Das „Doppelcheck“-System und das Werkzeug des Detektivs

Das Papier stellt eine clevere Art vor, den Wert einer Strategie zu schätzen, ohne von Fehlern getäuscht zu werden. Sie verwenden ein Konzept namens Multiple Robustness (Mehrfache Robustheit).

Stellen Sie sich vor, Sie versuchen, die Außentemperatur zu erraten, aber Ihr Thermometer ist kaputt. Sie haben drei andere Hinweise: einen nassen Hund, einen schwankenden Baum und eine Wolkenbildung.

Wenn Ihr Thermometer kaputt ist, können Sie immer noch richtig raten, wenn Ihr Hinweis „nasser Hund“ korrekt ist.
Wenn der Hund trocken ist, aber der Baum schwankt, können Sie immer noch richtig raten.
Das System ist „robust“, weil es nicht braucht, dass jeder Hinweis perfekt ist; es braucht nur eine Kombination von ihnen, die richtig ist.

LURE funktioniert auf die gleiche Weise. Es baut ein mathematisches Modell auf, das mehrere Teile der Daten überprüft. Selbst wenn das Modell für die „verrauschte Aktion“ leicht falsch ist oder das Modell für den „nächsten Zustand“ etwas ungenau ist, kann der Schätzer den wahren Wert der Strategie finden, solange mindestens einer der anderen Teile korrekt ist. Dies macht das Endergebnis viel zuverlässiger als bisherige Methoden, die bereits bei einem einzigen fehlerhaften Datenteil zusammenbrechen würden.

Doch hinter der Lösung dieses Rätsels durch LURE verbirgt sich eine Komplexität. Da die wahren Aktionen niemals gesehen werden, muss der Computer die Wahrscheinlichkeiten dessen schätzen, was tatsächlich passiert ist. Um dies zu tun, entwickelten die Autoren einen speziellen iterativen Algorithmus (basierend auf einer Methode namens Expectation-Maximization oder EM). Betrachten Sie dies als einen Detektiv, der seine Theorie ständig verfeinert:

Die Vermutung (E-Step): Der Computer beginnt mit einer Vermutung darüber, was die verborgenen Aktionen waren.
Das Update (M-Step): Unter Verwendung dieser Vermutung aktualisiert er seine Modelle darüber, wie Aktionen zu Belohnungen und nächsten Zuständen führen.
Die Verfeinerung: Er nutzt diese aktualisierten Modelle dann, um eine bessere Vermutung über die verborgenen Aktionen zu treffen, und wiederholt den Zyklus, bis die Geschichte perfekt Sinn ergibt.

Es gibt jedoch noch eine letzte Wendung. Da der Computer nur vermutet, könnte er versehentlich die Labels vertauschen. Er könnte entscheiden, dass „Aktion 0“ eigentlich die „Medikamentengabe“ ist und „Aktion 1“ „Keine Medikamentengabe“, obwohl es in Wirklichkeit genau umgekehrt ist. Die Mathematik funktioniert in beiden Fällen, aber die Bedeutung ist invertiert. Um dies zu beheben, enthalten die Autoren einen entscheidenden Schritt zur Label-Ausrichtung (label alignment). Bevor das Endergebnis ausgegeben wird, prüft das System, welche „Vermutung“ am meisten Sinn im Kontext der verrauschten Daten ergibt (zum Beispiel, welche verborgene Aktion wahrscheinlicher zu der beobachteten Notiz „Medikament gegeben“ führt). Es kehrt die Labels dann bei Bedarf um, um sicherzustellen, dass der endgültige Bericht der Realität entspricht.

Die Theorie testen

Die Autoren haben ihre Theorie nicht nur aufgeschrieben; sie haben sie auf drei verschiedene Arten getestet:

Einfache Simulationen: Sie erschufen eine winzige, künstliche Welt (eine „Tabular MDP“) mit nur drei Zuständen und zwei Aktionen. Sie verfälschten die Daten absichtlich, indem sie die Aktionen zu 5 % bis 30 % falsch beschrifteten. Während andere Methoden verwirrt wurden und falsche Antworten gaben, blieb LURE auf Kurs und errat die Werte der Strategie korrekt.
Komplexe Simulationen: Sie wechselten zu einer komplexeren, kontinuierlichen Welt (wie ein Roboter, der sich in einem glatten Raum bewegt) und fanden dasselbe Ergebnis: LURE bewältigte die Fehler mühelos, während andere scheiterten.
Reale Daten: Die Autoren testeten LURE an einer massiven Datenbank echter Patientendaten aus einem Krankenhaus (MIMIC-III), speziell im Hinblick darauf, wie man Sepsis (eine lebensbedrohliche Reaktion auf eine Infektion) behandelt. In diesem realen Szenario verglichen sie LURE mit Standardmethoden. Die Ergebnisse waren frappierend: Die Standardmethoden deuteten darauf hin, dass eine Behandlung besser sei als die andere, aber LURE, das die verborgenen Fehler in den medizinischen Aufzeichnungen berücksichtigte, schlug eine andere, zuverlässigere Rangfolge vor. Tatsächlich überschnitten sich die Konfidenzintervalle (der Bereich der wahrscheinlichen Antworten) der Standardmethoden so stark, dass sie keinen Unterschied feststellen konnten, während LURE eine klare, distinkte Antwort lieferte.

Das Fazit

Das Papier kommt zu dem Schluss, dass es ein gefährliches Wagnis ist, verborgene Aktionen zu ignorieren. Indem wir den „nächsten Zustand“ als natürlichen Hinweis nutzen, um die Wahrheit zu enthüllen, und indem wir ein System bauen, das robust gegenüber Fehlern in verschiedenen Teilen des Modells ist, können wir Strategien endlich präzise bewerten, selbst wenn unsere Daten unvollkommen sind.

Dies ist nicht nur ein theoretischer Sieg; es ist ein praktisches Werkzeug für die Zukunft. Ob es darum geht, medizinische Behandlungen zu entscheiden, Ampelschaltungen zu steuern oder KI-Agenten zu trainieren – LURE bietet einen Weg, aus der Vergangenheit zu lernen, ohne von Rauschen in die Irre geführt zu werden. Die Autoren zeigen, dass wir mit der richtigen mathematischen Detektivarbeit die Ungesehenen sehen und bessere Entscheidungen für das Morgen treffen können.

Technisches Resümee: Lernen vom Unbeobachteten: Offline Reinforcement Learning mit verborgenen Aktionen

1. Problemformulierung

Standardalgorithmen für Offline Reinforcement Learning (RL) und Off-Policy Evaluation (OPE) gehen typischerweise davon aus, dass die im Datensatz aufgezeichneten Aktionen ohne Fehler beobachtet werden. In vielen realen Anwendungen – insbesondere im Gesundheitswesen unter Verwendung von elektronischen Patientenakten (EHR) – sind die wahren Aktionen ( $A_t$ ) jedoch unobserviert (latent). Stattdessen sind nur verrauschte Proxys oder Surrogate ( $\tilde{A}_t$ ) verfügbar, bedingt durch Annotationsfehler, verzögerte Dokumentation, unvollkommene Managementsysteme oder datenschutzrelevante Vergröberung der Daten.

Das Paper adressiert das Problem der Evaluierung einer Zielpolitik $\pi$ in einem unendlich-horizontierten, diskontierten Markov-Entscheidungsprozess (MDP), bei dem der Aktionsraum teilweise oder vollständig latent ist. Das Ziel ist die Schätzung des Politikwertes $V(\pi)$ unter Verwendung historischer Daten, die durch eine Verhaltensebene (Behavior Policy) $b$ generiert wurden, wobei die beobachteten Daten aus Trajektorien $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ statt $\{(S_t, A_t, R_t, S_{t+1})\}$ bestehen. Eine naive Substitution des beobachteten Surrogats $\tilde{A}_t$ durch die wahre Aktion $A_t$ in bestehenden OPE-Methoden führt zu verzerrten Schätzungen, da die Q-Funktion und die Dichteverhältnisse bezüglich der latenten wahren Aktion definiert sind.

2. Methodik

2.1 Identifikationsstrategie

Die Autoren stellen fest, dass der Politikwert $V(\pi)$ unter spezifischen Annahmen aus der beobachteten Datenverteilung identifizierbar ist. Die zentrale Erkenntlichkeit liegt in der Nutzung des Folgezustands ( $S'$ ) als natürlichem Proxy für die unobservierte Aktion. Da die Übergangsdynamik von der wahren Aktion abhängt, enthält $S'$ Informationen über die verborgene Aktion, die für die Identifikation genutzt werden können.

Die Identifikation stützt sich auf vier Schlüsselannahmen (Annahme ich 3.1):

Coverage (Abdeckung): Der Support der Zielpolitik ist innerhalb des Supports der Verhaltensebene enthalten.
Relevance (Relevanz): Die Belohnung $R$ , das Surrogate $\tilde{A}$ und der Folgezustand $S'$ sind unter der Bedingung des Zustands $S$ nicht bedingt unabhängig von der wahren Aktion $A$ .
Conditional Independence (Bedingte Unabhängigkeit): Gegeben die wahre Aktion $A$ und den Zustand $S$ , sind das Surrogate $\tilde{A}$ , die Belohnung $R$ und der Folgezustand $S'$ untereinander unabhängig.
Surrogate Quality (Qualität des Surrogats): Das Surrogate liefert mehr Informationen als eine bloße Zufallsschätzung (z. B. ist bei binären Aktionen die Wahrscheinlichkeit, $\tilde{A}=0$ zu beobachten, niedriger, wenn $A=1$ ist, als wenn $A=0$ ist).

Unter diesen Bedingungen beweisen die Autoren (Theorem 1), dass $V(\pi)$ eindeutig identifizierbar ist.

2.2 Der LURE-Schätzer

Um den Wert zu schätzen, schlägt das Paper LURE (Learning from the Unseen: Robust Estimator) vor. Der Schätzer wird auf Basis einer beobachteten Einflussfunktion konstruiert, die aus der vollständigen Einflussfunktion (Full-Data Efficient Influence Function) abgeleitet ist.

Die Einflussfunktion $\phi_\pi(O)$ ist definiert als:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
wobei:

$\omega(S, a)$ das marginale Dichteverhältnis zwischen der Ziel- und der Verhaltensebene ist.
$\theta_R(S, a)$ die Belohnungsfunktion darstellt.
$M V^\pi(S, a)$ der erwartete zukünftige Wert ist.
$g_a$ und $g'_a$ konstruierte Funktionen sind, die als „Brücken“-Schätzer fungieren, indem sie die Indikatorfunktion $\mathbb{I}(A=a)$ durch das beobachtete Surrogate $\tilde{A}$ und den Folgezustand-Proxy $S'$ ersetzen. Konkret handelt es sich um Verhältnisse, die die bedingten Erwartungswerte von $\tilde{A}$ und $S'$ gegeben $S$ und $A$ beinhalten.

2.3 Schätzverfahren (EM-Algorithmus)

Da die wahre Aktion $A$ latent ist, kann klassisches überwachtes Lernen nicht direkt angewendet werden, um die Störfunktionen (Nuisance Functions: $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ) zu schätzen. Die Autoren schlagen einen neuartigen EM-ähnlichen (Expectation-Maximization) iterativen Algorithmus vor (Algorithmus 2):

Initialisierung: Initialisierung der Posteriori-Wahrscheinlichkeit $\eta(O; a) = P(A=a | O)$ .
M-Step (Gewichtetes überwachtes Lernen): Behandlung der Posteriori $\eta$ als bekannte Gewichte. Aktualisierung der Störfunktionen (Verhaltenspolitik, Messmodell, Belohnungs-/Übergangsmodelle und Dichteverhältnis) mittels gewichteter Regression oder gewichteter Minimax-Optimierung (für das Dichteverhältnis $\omega$ ).
E-Step (Posteriori-Aktualisierung): Aktualisierung der Posteriori-Wahrscheinlichkeit $\eta(O; a)$ mittels Bayes-Theorem und der aktualisierten Schätzungen der Störfunktionen.
Iteration: Wiederholung bis zur Konvergenz.

Zusätzlich adressiert das Paper die Label-Ausrichtung (Label Alignment), da der EM-Algorithmus die Labels der latenten Klassen beliebig vertauschen kann (z. B. Zuordnung von wahrem $A=0$ zu Komponente 1). Ein Schritt zur Label-Ausrichtung erfolgt nach der Schätzung basierend auf der bedingten Wahrscheinlichkeit des Surrogats, um eine konsistente Interpretation zu gewährleisten.

2.4 Cross-Fitting

Um Overfitting-Bias zu mildern und die empirischen Prozess-Reste zu kontrollieren, verwenden die Autoren ein $K$ -Fold Cross-Fitting-Verfahren. Die Störfunktionen werden auf Trainings-Folds geschätzt und auf gehaltenen Test-Folds evaluiert.

3. Zentrale theoretische Beiträge

Multiple Robustheit: Der LURE-Schätzer ist multi-robust. Wie in Korollar 1 gezeigt, bleibt der Schätzer konsistent ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ), falls mindestens eine Kombination spezifischer Störkomponenten korrekt spezifiziert ist. Beispielsweise gilt Konsistenz, wenn die Brücke der Belohnung $\theta_R$ konsistent ist zusammen mit entweder der latenten-Aktions-Regression $\theta_{\tilde{A}}$ oder der Folgezustands-Regression $\theta_{S'}$ , vorausgesetzt der Fehler des Fortsetzungswertes ist vernachlässigbar.
Asymptotische Normalität: Unter Regularitätsbedingungen und Konvergenzraten der Störschätzer (speziell erforderlich, dass das Produkt der Fehler schneller als $n^{-1/2}$ abfällt) ist der Schätzer asymptotisch normal (Theorem 4). Dies ermöglicht die Konstruktion valider Wald-Typ-Konfidenzintervalle.
Fehlergrenzen: Das Paper liefert endliche Stichproben-Fehlergrenzen (Theorem 3), die den Schätzfehler in den Mittelwert der Einflussfunktion, einen Label-Selektions-Rest und einen zweiten Ordnung-Rest zerlegen, der Produkte der Schätzfehler der Störfunktionen beinhaltet.

4. Experimentelle Ergebnisse

Die Autoren evaluieren LURE durch Simulationen und eine reale Anwendung:

Tabulare und allgemeine MDPs: In synthetischen Umgebungen mit variierenden Fehlklassifikationsraten ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ) zeigen Standard-OPE-Methoden (SIS, FQE, LSTD, MIS, DRL), die die latente Struktur ignorieren, eine signifikante Verzerrung, die mit höheren Fehlklassifikationsraten zunimmt. LURE bleibt hingegen um den wahren Politikwert zentriert.
OpenAI Gym (CartPole): In einer Umgebung mit kontinuierlichem Zustand übertrifft LURE die Baselines und hält genaue Abdeckungsraten für Konfidenzintervalle ein (nahe dem nominalen 9el 95%-Niveau), während Baselines erhebliche Verzerrungen oder instabile Abdeckung zeigen.
MIMIC-III Sepsis-Analyse: Die Methode wird auf einen Sepsis-Management-Datensatz angewendet. Die Studie evaluiert drei Politiken: „Always IV“, „No IV“ und eine „SOFA-maßgeschneiderte“ Regel.
- LURE schätzt die „Always IV“-Politik als diejenige mit dem niedrigsten erwarteten SOFA-Score (62.10), was darauf hindeutet, dass dies die optimale Politik ist.
- Das 95%-Konfidenzintervall für „Always IV“ [60.16, 64.04] überschneidet sich nicht mit den Intervallen der anderen Politiken.
- Im Gegensatz dazu produzieren Standard-DRL-Schätzer überlappende Konfidenzintervalle für alle Politiken und scheitern daran, diese zu unterscheiden. Dies verdeutlicht, dass das Ignorieren verborgener Aktionen zu irreführenden empirischen Schlussfolgerungen in klinischen Settings führen kann.

5. Bedeutung und Ansprüche

Das Paper beansprucht, die erste Arbeit zu sein, die Offline Reinforcement Learning im Setting mit verborgenen Aktionen untersucht. Seine Bedeutung liegt in:

Adressierung einer kritischen Lücke: Es bietet einen fundierten Rahmen für OPE, wenn Aktionsdaten verrauscht oder latent sind – ein häufiges Problem in EHR-basierten Studien, das Standard-RL-Methoden nicht zuverlässig handhaben können.
Theoretische Stringenz: Es etabliert Identifikationsbedingungen und leitet eine Einflussfunktion ab, die die sequentielle Natur von RL berücksichtigt und sich somit von statischen Hidden-Treatment-Frameworks unterscheidet.
Praktischer Nutzen: Durch die Demonstration von Multi-Robustheit und asymptotischer Normalität ermöglicht LURE valide statistische Inferenz (Konfidenzintervalle und Hypothesentests) in Szenarien, in denen bisherige Methoden verzerrte Punktschätzungen liefern würden.
Reale Auswirkungen: Die Anwendung auf die MIMIC-III-Datenbank zeigt, dass die Berücksichtigung verborgener Aktionen die Rangfolge von Politiken und klinische Empfehlungen grundlegend verändern kann, was darauf hindeutet, dass Standard-RL-Evaluierungen in der Gesundheitsvorsorge ohne solche Korrekturen unzuverlässig sein können.

Die Autoren bewahren einen moderaten Tonfall und merken an, dass das Framework zwar auf kategorische Aktionen verallgemeinerbar ist, die aktuelle Arbeit jedoch aus Gründen der Klarheit auf binäre Aktionen fokussiert und die Methode auf der spezifischen Annahme beruht, dass der Folgezustand als valider Proxy für die verborgene Aktion dient.