🤖 machine learning

Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

Dieser Beitrag adressiert das Problem fehlender Beobachtungen in realen Verhaltensdatensätzen, die das Inverse Reinforcement Learning (IRL) irreführen können, indem er einen Algorithmus vorschlägt, um die minimalen Störungen zu quantifizieren, die erforderlich sind, um Expertenhandlungen als optimal erscheinen zu lassen, und trägt so dazu bei, potenzielle Datenlücken in Anwendungen wie dem Gesundheitswesen zu identifizieren.

Ursprüngliche Autoren: Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

Veröffentlicht 2026-05-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, warum ein Meisterkoch zu einem bestimmten Zeitpunkt immer eine spezifische Prise Salz hinzufügt. Sie haben eine Videoaufnahme des Kochs, aber es gibt einen Haken: die Kamera ist defekt. Sie zeichnet die Zutaten auf der Arbeitsplatte und die Handbewegungen des Kochs auf, erfasst jedoch nicht, wie der Koch mit der Nase die Luft schnuppert oder mit den Augen einen Timer überprüft.

In der realen Welt könnte der Koch riechen, dass die Suppe zu salzig wird (ein verborgenes Stück Information) und beschließen, kein weiteres Salz hinzuzufügen. Doch in Ihrem defekten Video sieht es so aus, als ignoriere der Koch den Zustand der Suppe und handle willkürlich. Wenn Sie versuchen, das „Rezept" des Kochs (seine Ziele) allein durch das Ansehen des defekten Videos zu erraten, könnten Sie zu dem Schluss kommen, der Koch sei schlecht im Kochen oder habe ein seltsames, inkonsistentes Rezept.

Diese Arbeit dreht sich darum, diese Detektivarbeit zu reparieren. Sie stellt eine neue Methode namens MP-IRL (Minimum-Perturbation Inverse Reinforcement Learning) vor, um eine einfache Frage zu beantworten: „Wie viel fehlende Information müssen wir annehmen, damit die Handlungen des Experten perfekt logisch wirken?"

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der Effekt der „defekten Kamera"

In vielen Bereichen, wie im Gesundheitswesen, versuchen wir, von Experten (wie Ärzten) zu lernen, indem wir ihre vergangenen Aufzeichnungen betrachten.

Das Szenario: Ein Arzt behandelt einen Patienten mit hohem Blutdruck mit Medikament A und einen Patienten mit niedrigem Blutdruck mit Medikament B.
Die fehlenden Daten: Die Krankenhausdatenbank erfasst nur die Behandlung, nicht jedoch den Blutdruckwert zu diesem exakten Moment.
Der Fehler: Wenn ein Computer versucht, die „Belohnungsfunktion" des Arztes (was er zu erreichen versucht) aus diesen unvollständigen Daten zu lernen, gerät er in Verwirrung. Er sieht, wie der Arzt Medikament B an einige Patienten und Medikament A an andere gibt, ohne erkennbares Muster. Er könnte denken, der Arzt mache Fehler oder die Belohnungsfunktion sei chaotisch.

2. Die Lösung: Die „unsichtbare Variable"

Anstatt nur zu sagen „die Daten sind schlecht", fragt diese Arbeit: „Welche kleinste, einfachste ‚unsichtbare Variable' können wir erfinden, um den Arzt wieder wie ein Genie wirken zu lassen?"

Stellen Sie es sich so vor:

Sie sehen eine Person, die an einer Fußgängerüberweg nach links rennt.
Sie sehen dieselbe Person später auch nach rechts rennen.
Ohne Kontext wirken sie inkonsistent.
Der Ansatz der Arbeit: Sie erfindet ein winziges, unsichtbares „Kontext-Tag" für jede Reise.
- Reise 1: [Kontext: „Rotlicht"] -> Aktion: Nach links rennen.
- Reise 2: [Kontext: „Grünlicht"] -> Aktion: Nach rechts rennen.
Durch das Hinzufügen nur dieser winzigen Tags ergibt sich das Verhalten der Person plötzlich perfekt Sinn. Die Arbeit berechnet, wie groß diese Tags sein müssen. Wenn die Tags riesig sind, bedeutet dies, dass viel Information fehlt. Wenn sie winzig sind, ist die fehlende Information nicht weiter schlimm.

3. Wie der Algorithmus funktioniert (Der Zwei-Schritte-Tanz)

Die Autoren haben einen Zwei-Schritte-Prozess entwickelt, um diese unsichtbaren Tags zu finden:

Schritt 1: Die „beste Schätzung" (Basis-IRL)
Zuerst versucht der Computer, das Verhalten des Experten allein mit den vorhandenen Daten (dem defekten Video) zu erklären. Er baut ein „Basis-Belohnungs"-Modell auf. Es ist, als würde man sagen: „Okay, basierend auf dem, was wir sehen, ist dies das beste Rezept, das wir erraten können."
- Ergebnis: Der Computer erkennt: „Ich liege immer noch falsch. Der Experte tut Dinge, die ich nicht erklären kann."
Schritt 2: Die „minimale Korrektur" (MP-IRL)
Nun friert der Computer dieses Basis-Rezept ein. Er fragt: „Was ist die kleinste Menge an zusätzlicher, unsichtbarer Information, die ich hinzufügen muss, damit die Handlungen des Experten perfekt zu diesem Rezept passen?"
- Er versucht nicht, die exakten fehlenden Daten zu erraten (wie die genaue Blutdruckzahl).
- Er berechnet lediglich die Größe des Fehlens. Es ist, als würde man die „Größe des Lochs" in den Daten messen, ohne das Loch mit dem exakten fehlenden Ziegelstein füllen zu müssen.

4. Was sie fanden (Die Experimente)

Das Team testete dies an drei Arten von „Spielen":

Navigations-Spiele: Sie erstellten ein Labyrinth, in dem ein Roboter links oder rechts wählen musste. Manchmal hing die Wahl von einer versteckten Farbe ab, die der Roboter sehen konnte, die Forscher aber nicht.
- Ergebnis: Als die Forscher die Farbe versteckten, versagte die Standardmethode. MP-IRL identifizierte erfolgreich, dass ein „versteckter Kontext" benötigt wurde, und maß genau, wie viel „Verstecktheit" erforderlich war, um die Logik zu reparieren. Es stellte sogar fest, dass wenn es zwei versteckte Wahlmöglichkeiten gab, die „Größe des Fehlens" größer war.
Krebsbehandlungs-Simulator: Sie simulierten einen Arzt, der einen Tumor behandelt.
- Ergebnis: Als sie wichtige Daten (wie Gewebetypen) versteckten, wuchs die „Größe des Fehlens". Als sie unwichtige Daten versteckten, blieb die Größe klein. Dies beweist, dass die Methode zwischen „kritisch fehlender Information" und „irrelevanter fehlender Information" unterscheiden kann.
Echte ICU-Daten (MIMIC-IV): Sie verwendeten echte Daten aus einer Intensivstation zur Blutdruckregulierung.
- Ergebnis: Selbst mit allen aufgezeichneten Daten stellte die Methode fest, dass wahrscheinlich ein erheblicher Betrag an „unsichtbarem Kontext" (wie die Intuition des Arztes am Krankenbett oder nicht aufgezeichnete Vitalwerte) benötigt wurde, um zu erklären, warum Ärzte bestimmte Entscheidungen trafen. Dies legt nahe, dass wir, wenn wir versuchen, KI auf diesen Daten zu trainieren, ohne fehlende Informationen zu berücksichtigen, die wahren Ziele der Ärzte missverstehen könnten.

Das Fazit

Diese Arbeit gibt Ihnen die fehlenden Daten nicht zurück. Stattdessen gibt sie Ihnen ein Lineal zum Messen des Fehlens.

Sie sagt uns: „Wenn Sie den Entscheidungen vertrauen wollen, die von Experten in Ihrem Datensatz getroffen wurden, müssen Sie wissen, wie viel vom Bild fehlt. Wenn die ‚Größe des Fehlens' riesig ist, können Sie den Daten nicht vertrauen, um einer KI beizubringen, wie sie zu handeln hat, denn die KI lernt aus einem defekten Bild. Wenn die Größe klein ist, können Sie zuversichtlicher sein."

Es ist ein Werkzeug für die Datenqualitätskontrolle, das Forschern hilft zu entscheiden, ob ihr Datensatz gut genug ist, um daraus zu lernen, oder ob sie zurückgehen und mehr Details aufnehmen müssen.

Technische Zusammenfassung: Quantifizierung potenzieller Beobachtungslücken beim Inverse Reinforcement Learning

Problemstellung
Inverse Reinforcement Learning (IRL) leitet Belohnungsfunktionen aus Expertendemonstrationen ab, um Entscheidungsfindungsverhalten zu modellieren. Obwohl Varianten des IRL entwickelt wurden, um subjektive Überzeugungen, unvollkommene Planung und sich verschiebende Ziele zu handhaben, wird ein kritisches Problem in realen Datensätzen (insbesondere im Gesundheitswesen) oft übersehen: Beobachtungslücken (observation missingness). In vielen Szenarien fehlen in den aufgezeichneten Daten Beobachtungen, die dem ursprünglichen Entscheidungsträger zum Zeitpunkt der Handlung zur Verfügung standen.

Wenn solche Informationen fehlen, können Expertenhandlungen für einen Standard-IRL-Algorithmus suboptimal erscheinen, was zu irreführenden Belohnungsschlüssen führt. Beispielsweise könnte ein Standard-IRL, wenn die Entscheidung eines Klinikers von einem nicht aufgezeichneten Biomarker abhängt, schließen, dass der Kliniker suboptimal handelt oder dass die Belohnungsfunktion inkonsistent ist, anstatt anzuerkennen, dass die Entscheidung im gegebenen unbeobachteten Kontext optimal war. Die Arbeit geht davon aus, dass es anstatt zu versuchen, fehlende Daten zu imputieren oder die exakten fehlenden Werte wiederherzustellen, wertvoller ist, das minimale Ausmaß der Lücken zu quantifizieren, das erforderlich ist, um das beobachtete Verhalten als optimal zu erklären.

Methodik: Minimum-Perturbation IRL (MP-IRL)
Die Autoren schlagen MP-IRL vor, ein zweiphasiges Framework, das entwickelt wurde, um die kleinste Störung der aufgezeichneten Beobachtungen zu finden, die notwendig ist, um Expertenhandlungen mit einer optimalen Politik in Einklang zu bringen.

Problemformulierung:
- Das Setting geht von einem Verhaltensdatensatz $D = \{x_{nt}, a_{nt}\}$ aus, wobei $x_{nt}$ aufgezeichnete Zustände und $a_{nt}$ Aktionen sind. Der wahre Zustand enthält nicht aufgezeichnete Komponenten $\tilde{x}_{nt}$ .
- Anstatt die Dynamik fehlender Daten zu modellieren, führt die Methode einen statischen latenten Faktor $z_n$ für jede Trajektorie $n$ ein, der den fehlenden Kontext repräsentiert.
- Das Ziel ist es, die Größe dieser latenten Faktoren $\{z_n\}$ zu minimieren, unter der Nebenbedingung, dass die Expertenhandlungen unter einer Belohnungsfunktion $r_\theta(z_n, x_{nt}, a_{nt})$ nahezu optimal sind.
- Um sicherzustellen, dass die Größe von $z_n$ aussagekräftig ist, parametrisieren die Autoren die Belohnung unter Verwendung von Kernel-Funktionen. Die Belohnung ist eine Summe aus einer gemeinsamen Basisbelohnung $\bar{r}_\theta(x_{nt}, a_{nt})$ und einem trajektorienspezifischen Störungsterm, definiert durch Kernel-Zentren $\mu_k$ und Koeffizienten $z_n$ . Die Größe der Lücken wird durch die $\ell_1$ -Norm der Koeffizienten $\|z_n\|_1$ gemessen.
Algorithmus (Zweiphasige Optimierung):
- Phase 1 (Basis-IRL): Der Algorithmus führt Standard-IRL allein auf den aufgezeichneten Daten durch (unter Setzen aller $z_n = 0$ ). Dies extrahiert die bestmögliche Basisbelohnung $\bar{r}_\theta$ , die das Verhalten ohne jeden fehlenden Kontext erklärt.
- Phase 2 (MP-IRL): Die Parameter der Basisbelohnung werden eingefroren. Der Algorithmus optimiert dann das Kritiker-Netzwerk und die trajektorienspezifischen latenten Koeffizienten $z_n$ (und optional die Kernel-Zentren $\mu$ ).
- Regularisierung: Die Zielfunktion in Phase 2 enthält Sparsity-Strafen ( $\ell_1$ - und $\ell_2$ -Normen auf $z_n$ ), um das „Minimum-Perturbation"-Prinzip durchzusetzen. Dies stellt sicher, dass die latenten Variablen nur die Varianz erklären, die die Basisbelohnung nicht erklären kann, und verhindert, dass das Modell überanpasst oder Verhalten durch willkürliche Änderungen der gemeinsamen Belohnungsstruktur erklärt.

Hauptbeiträge

Konzeptionell: Die Arbeit führt eine neue Perspektive auf IRL-Lücken ein: die Quantifizierung des minimalen unbeobachteten Kontexts, der erforderlich ist, um beobachtete Handlungen als optimal erscheinen zu lassen, anstatt zu versuchen, die fehlenden Daten selbst wiederherzustellen.
Technisch: Die Entwicklung von MP-IRL, einem Algorithmus, der dies als ein Optimierungsproblem mit Nebenbedingungen unter Verwendung kernelbasierter Störungen und eines zweiphasigen Trainingsverfahrens formuliert, um die gemeinsame Belohnungsstruktur vom trajektorienspezifischen fehlenden Kontext zu trennen.
Empirisch: Demonstration, dass die Größe der gelernten Störungen mit der Menge der fehlenden Informationen korreliert und dass die Methode lokalisieren kann, wo fehlender Kontext kritisch ist (z. B. spezifische Entscheidungsregionen).

Experimentelle Ergebnisse
Die Autoren bewerten MP-IRL an drei synthetischen kontinuierlichen Navigationsaufgaben, einem Krebstherapie-Simulator und einem realen Datensatz zur Hypotonie-Management in der Intensivstation (ICU) (MIMIC-IV).

Navigationsaufgaben: In Aufgaben, bei denen versteckte binäre Variablen Aktionen in spezifischen „Entscheidungsregionen" bestimmen, versagt Standard-IRL darin, Expertenhandlungen innerhalb dieser Regionen zu matchen (Genauigkeit ~60 %). MP-IRL stellt die Genauigkeit auf nahezu 98–99 % wieder her. Entscheidend ist, dass die gelernte Störungsgröße ( $\|z_n\|_1$ ) mit der Komplexität der fehlenden Informationen skaliert: Aufgaben, die ein verstecktes Bit erfordern, ergaben kleinere Störungen als Aufgaben, die zwei unabhängige versteckte Bits erforderten.
Krebstherapie-Simulator: Die Methode wurde mit variierenden Graden der Feature-Maskierung getestet (von „alle Features" bis „nur Zeit"). Wenn mehr Features versteckt wurden, verschlechterte sich die Leistung von Standard-IRL (niedrigere Genauigkeit, höhere Negative Log-Likelihood). MP-IRL behielt eine hohe Genauigkeit bei, und die erforderliche Störungsgröße nahm monoton mit der Menge der fehlenden Informationen zu (z. B. von 0,54 auf 1,65, als Features entfernt wurden).
ICU-Hypotonie-Aufgabe: Auf realen klinischen Daten verbesserte MP-IRL die Genauigkeit des Action-Matchings gegenüber Standard-IRL signifikant (z. B. von ~55 % auf ~90 %). Die Störungsgröße blieb stabil, wenn prädiktionsarme Features hinzugefügt wurden, was darauf hindeutet, dass die Metrik entscheidungsrelevante Lücken widerspiegelt und nicht nur das Volumen der beobachteten Daten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass MP-IRL ein Diagnosewerkzeug für Verhaltensdatensätze bietet. Durch die Quantifizierung der minimalen Störung, die erforderlich ist, um Expertenverhalten zu erklären, können Forscher beurteilen, ob scheinbare Suboptimalität in einem Datensatz auf schlechte Entscheidungsfindung oder einfach auf fehlenden klinischen Kontext zurückzuführen ist.

Praktischer Nutzen: Wenn das potenzielle Ausmaß der Lücken beträchtlich ist, deutet dies darauf hin, dass nachgelagerte Aufgaben (wie Policy-Evaluation oder Offline-RL) mit Vorsicht angegangen werden sollten oder dass die Datenerfassungsprozesse verbessert werden müssen.
Interpretierbarkeit: Die Methode lokalisiert Lücken auf spezifische Regionen des Zustandsraums (z. B. bestimmte Zeitschritte in der Krebstherapie oder bestimmte Entscheidungsgrenzen in der Navigation) und bietet Einblicke darin, wo die aufgezeichneten Daten unzureichend sind.
Einschränkungen: Die Autoren erkennen an, dass die kernelbasierte Darstellung in sehr hochdimensionalen Zustandsräumen aufgrund der Datenanforderungen für die Optimierung lokalisierter Kernel Schwierigkeiten haben kann.

Die Arbeit beansprucht nicht, die exakten fehlenden Werte wiederherzustellen, sondern vielmehr eine quantitative Obergrenze für das Ausmaß der Lücken zu liefern, das erforderlich ist, um die Annahme der Expertenoptimalität aufrechtzuerhalten.