📈 economics

A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models

Diese Vorlesungsnote stellt die theoretische Äquivalenz zwischen strukturellen ökonometrischen Dynamic Discrete Choice-Modellen und entropie-regularisiertem Inverse Reinforcement Learning her, indem sie klassische Identifikations- und Berechnungsmethoden systematisch mit modernen Ansätzen des maschinellen Lernens vergleicht, um deren jeweilige Zielsetzungen, Limitationen und Identifikationsgarantien für die Offline-Belohnungsrekonstruktion zu klären.

Ursprüngliche Autoren: Enoch Hyunwook Kang

Veröffentlicht 2026-06-01

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Enoch Hyunwook Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Rätsel des „Warum“

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden will, warum ein Meisterkoch ein bestimmtes Gericht auf eine ganz bestimmte Weise zubereitet.

Forward Reinforcement Learning (Der Standardweg): Ihnen wird das Rezept (die Belohnung) und die Zutaten gegeben. Ihre Aufgabe ist es, zu lernen, wie man das Gericht perfekt kocht.
Inverse Reinforcement Learning (IRL) & Dynamic Discrete Choice (DDC): Ihnen wird nur ein Video gezeigt, in dem der Meisterkoch kocht. Sie haben kein Rezept. Ihre Aufgabe ist es, das Video anzusehen und das verborgene Rezept (die Belohnung) zu entschlüsseln, das erklärt, warum er diese spezifischen Entscheidungen getroffen hat.

Diese Vorlesungsnotiz ist ein Leitfaden für zwei verschiedene Gruppen von Detektiven, die dasselbe Rätsel seit Jahrzehnten lösen, aber unterschiedliche Sprachen sprechen und unterschiedliche Werkzeuge benutzen. Der Autor, Enoch Kang, zeigt, dass sie eigentlich dasselbe Puzzle lösen, und stellt dann ein neues, vereinheitlichtes Werkzeug vor, um es besser zu lösen.

Teil 1: Zwei Sprachen, ein Puzzle

Das Paper beginnt mit dem Beweis, dass zwei scheinbar unterschiedliche Gebiete eigentlich dasselbe betrachten:

Ökonomen (DDC): Sie untersuchen, wie Menschen Entscheidungen treffen (wie etwa die Wahl eines Jobs oder eines Autos). Sie gehen davon aus, dass Menschen einen verborgenen „Nutzen“ (Glückswert) plus etwas zufälligem Rauschen (ein schlechter Tag, ein plötzlicher Heißhunger) haben. Sie nutzen Mathematik, um den verborgenen Nutzen zu ermitteln.
KI-Forscher (IRL): Sie untersuchen Roboter oder Agenten. Sie gehen davon aus, dass der Agent versucht, eine Belohnung zu maximieren, aber auch gerne „zufällig“ agiert (Exploration), um nicht steckenzubleiben. Diese Zufälligkeit sieht mathematisch exakt wie das „Rauschen“ des Ökonomen aus.

Die Analogie: Stellen Sie sich zwei Personen vor, die eine Wolke beschreiben. Die eine sagt: „Es ist eine flauschige weiße Form.“ Die andere sagt: „Es ist eine Wasserdampfformation.“ Sie beschreiben dasselbe Objekt mit unterschiedlichen Worten. Dieses Paper beweist, dass die „flauschige Form“ (Ökonomie) und die „Wasserdampfformation“ (KI) mathematisch identisch sind.

Teil 2: Das „Anker“-Problem (Das fehlende Puzzleteil)

Hier liegt der knifflige Teil: Wenn Sie nur dem Koch zusehen, können Sie nicht sagen, ob er Salz hinzugefügt hat, weil er Salz liebt, oder weil er die Säure ausgleichen wollte, oder weil er einen Fehler verbergen wollte. Es gibt unendlich viele Möglichkeiten, dasselbe Verhalten zu erklären.

Das Problem: Man kann die „wahre“ Belohnung nicht eindeutig identifizieren, indem man nur dem Verhalten zuschaut. Man kann nur die Unterschiede zwischen den Entscheidungen identifizieren (z. B. „Der Koch bevorzugt Pasta gegenüber Reis“), aber nicht den absoluten Wert (z. B. „Wie sehr liebt der Koch Pasta?“).
Die Lösung (Der Anker): Um dies zu lösen, schlägt das Paper vor, bei jedem Schritt eine spezifische Aktion zu wählen und deren Wert als bekannt zu deklarieren.
- Analogie: Stellen Sie sich vor, der Koch gibt immer eine ganz bestimmte Menge Salz in die Suppe, wenn er „Rezept A“ zubereitet. Wenn wir wissen, dass „Rezept A“ immer exakt 1 Gramm Salz enthält, können wir das als Lineal (einen Anker) verwenden, um zu messen, wie viel Salz er in „Rezept B“ gibt.
- In dem Paper wird dies als Anchor-Action Assumption bezeichnet. Es fixiert die Skala, damit die Mathematik funktioniert.

Teil 3: Die alten Werkzeuge (Warum sie schwierig waren)

Das Paper überprüft die alten Wege, mit denen Detektive versuchten, dies zu lösen, und weist auf deren Mängel hin:

Die verschachtelte Schleife (Rusts Methode):
- Wie sie funktionierte: Man rät ein Rezept, simuliert den Koch beim Kochen, um zu sehen, was er tun würde, vergleicht dies mit dem Video und wiederholt den Vorgalng.
- Der Fehler: Es ist, als würde man versuchen, ein Labyrinth zu lösen, indem man erst hindurchgeht, dann zurückgeht und dann wieder hindurchgeht. Es ist unglaublich langsam und rechenintensiv, besonders wenn das Labyrinth riesig (hochdimensional) ist.
Die bedingte Entscheidung (Hotz-Miller):
- Wie sie funktionierte: Anstatt das Rezept zu raten, rät man die Wahrscheinlichkeiten für den nächsten Zug des Kochs und arbeitet sich rückwärts.
- Der Fehler: Um dies zu tun, muss man genau wissen, wie sich die Welt verändert (das Transitionsmodell). Wenn man nicht weiß, wie sich die Küche bewegt (z. B. wie der Herd aufheizt), versagt diese Methode. Sie erfordert die Schätzung einer massiven Karte der Welt, was in komplexen Umgebungen statistisch unmöglich ist.
Das „Tödliche Triad“ (Temporal Difference):
- Wie es funktionierte: Der Versuch, direkt aus den Videoclips zu lernen, ohne die ganze Welt zu simulieren.
- Der Fehler: Wenn man Approximation (Schätzung), Bootstrapping (die eigene Schätzung nutzen, um die eigene Schätzung zu aktualisieren) und Off-Policy-Daten (von einem anderen Koch lernen als dem, den man nachahmen möchte) kombiniert, explodiert die Mathematik oft. Die Zahlen gehen gegen Unendlich und das System stürzt ab.

Teil 4: Moderne KI-Tricks (Adversarial & Matching)

Das Paper betrachtet dann moderne KI-Methoden wie AIRL und GAIL.

Die Idee: Ein „Diskriminator“ (ein Schiedsrichter) spielt ein Spiel. Der Schiedsrichter versucht zu unterscheiden, ob ein Zug vom Experten oder vom Schüler stammt. Der Schüler versucht, den Schiedsrichter zu täuschen.
Die Grenze: Das Paper argumentiert, dass diese Methoden zwar cool sind, aber oft daran scheitern, die wahre Belohnung zu finden. Sie finden vielleicht einen Weg, das Verhalten nachzuahmen, verstehen aber nicht das „Warum“. Sie verlassen sich oft auf Annahmen (wie die Deterministik der Welt), die in der Realität nicht wahr sind. Wenn die Welt zufällig (stochastisch) ist, werden diese Methoden verwirrt darüber, welcher Teil des Verhaltens die Belohnung ist und welcher Teil nur Glück oder Zufall.

Teil 5: Die neue Lösung (GLADIUS)

Schließlich stellt das Paper eine neue Methode namens GLADIUS vor (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples).

Wie es funktioniert (Die Analogie):
Stellen Sie sich vor, Sie versuchen, die perfekte Temperatur für eine Dusche zu finden.

Der Likelihood Loss: Sie schauen sich das Video des Experten an. Sie passen die Temperatur an, bis die Entscheidungen des Experten mit dem Video übereinstimmen. Dies liefert Ihnen die relativen Vorlieben (Heiß vs. Kalt).
Der Anchor Loss: Sie nutzen den „Anker“ (die bekannte Salzmenge), um die absolute Skala festzulegen.
Die Bias-Korrektur (Der magische Trick):
- Das Problem: Wenn man nur einen einzigen Videoclip betrachtet, kann man Glück oder Pech mit dem nächsten Zustand haben (z. B. schwankt der Wasserdruck). Wenn man versucht, den „Fehler“ basierend auf nur einem Clip zu berechnen, erhält man ein verzerrtes (biased) Ergebnis (das „Double Sampling“-Problem).
- Die Lösung: GLADIUS nutzt ein zweites „Hilfs-Netzwerk“ (genannt $\zeta$ ). Dieser Helfer fungiert wie ein Statistiker. Er betrachtet alle Daten und sagt das durchschnittliche Ergebnis des nächsten Schritts voraus, wodurch das Glück oder Pech eines einzelnen Clips effektiv neutralisiert wird.
- Dies geschieht durch ein Spiel: Das Hauptnetzwerk versucht, den Fehler zu minimieren, während der Helfer versucht, den Durchschnitt vorherzusagen. Sie aktualisieren sich gegenseitig im Wechsel.

Warum es besser ist:

Keine Karte nötig: Es benötigt kein Transitionsmodell (wie die Welt sich bewegt). Es lernt direkt aus den Videoclips.
Keine verschachtelten Schleifen: Es muss nicht die ganze Zukunft simulieren. Es löst alles in einem Schritt mithilfe von Gradienten (mathematischen Steigungen).
Stabil: Es vermeidet das „Tödliche Triad“, das andere Methoden zum Absturz bringt.

Zusammenfassung

Das Paper ist eine Brücke. Es verbindet die rigorose Mathematik der Ökonomen mit den leistungsstarken Werkwerken der KI. Es zeigt, dass wir zwar viele Wege haben, eine Belohnungsfunktion aus Verhalten zu erraten, die meisten davon jedoch entweder zu langsam, zu instabil oder mit unmöglichen Annahmen verbunden sind.

Die vorgeschlagene Lösung, GLADIUS, ist ein neuer Weg, dieses Puzzle zu lösen. Es nutzt ein „Lineal“ (die Anchor-Action), um die Skala festzulegen, und einen „statistischen Helfer“ (die Bias-Korrektur), um das Rauschen in den Daten zu ignorieren. Dies ermöglicht es, die wahre „Rezeptur“ (Belohnungsfunktion) direkt aus dem Video zu extrahieren, ohne die Welt simulieren oder die Regeln des Spiels im Voraus kennen zu müssen.

Technisches Resümee: Grundlagen der inversen Reinforcement Learning und dynamischer diskreter Wahlmodelle

1. Problemdefinition

Die Arbeit adressiert das Problem des Inversen Reinforcement Learning (IRL) im Offline-Setting: Gegeben sei ein fester Datensatz von Zustands-Aktions-Zustand-Folgen (state-action-next-state tuples), die von einer Expertenpolitik $\pi^*$ generiert wurden – lässt sich daraus die Belohnungsfunktion $r$ rekonstruieren, die der Experte optimiert hat?

Dieses Problem liegt an der Schnittstelle zweier distinkter Literaturfelder:

Strukturelle Ökonometrie (Dynamische Diskrete Wahl – DDC): Modelle von Agenten, die den Nutzen plus idiosynkratische, Gumbel-verteilte Störungen maximieren.
Maschinelles Lernen (Entropie-regularisiertes IRL): Modelle von Agenten, die den erwarteten Ertrag plus einen Entropie-Bonus maximieren (Maximum Entropy IRL).

Die zentrale Herausforderung ist die Identifizierbarkeit: Ohne zusätzliche Struktur ist die Belohnungsfunktion allein aus dem Verhalten nicht eindeutig rekonstruierbar, bedingt durch potenzialbasierte Shaping-Invarianz (Ng et al., 1999). Darüber hinaus stehen bestehende Methoden vor einem „Trilemma“ der Trade-offs, die Skalierbarkeit, die Notwendigkeit der Schätzung des Übergangskerns und Stabilität (die „deadly triad“) betreffen.

2. Methodische Grundlagen

2.1 Äquivalenz von DDC und MaxEnt-IRL

Die Arbeit stellt zunächst eine rigorose Äquivalenz zwischen den beiden Communities her.

DDC-Formulierung: Agenten wählen Aktionen zur Maximierung von $r(s,a) + \epsilon_{t,a}$ , wobei $\epsilon$ einer Typ-1-Extremwertverteilung (Gumbel) folgt.
MaxEnt-IRL-Formulierung: Agenten maximieren den erwarteten Ertrag plus einen Entropie-Term $\lambda H(\pi)$ .
Ergebnis: Unter einer Mittelwert-Null-Normalisierung der Gumbel-Störungen ( $\delta = -\gamma_E$ ) und der Einstellung des Entropie-Koeffizienten $\lambda=1$ ergeben beide Formulierungen exakt dieselbe Softmax-Policy und die Soft-Bellman-Gleichung:
$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$
$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$
Dies beweist, dass die probabilistischen Modelle aus Offline-Beobachtungen statistisch ununterscheidbar sind.

2.2 Identifizierbarkeitsgrenzen

Die Arbeit analysiert, was allein aus dem Verhalten rekonstruierbar ist:

Nicht-Identifizierbarkeit: Ohne weitere Annahmen ist $r$ nur bis auf eine zustandsabhängige Potenzialfunktion $\Phi(s)$ identifizierbar. Speziell induzieren $r$ und $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ dieselbe optimale Policy.
Die Anker-Aktions-Annahme (Magnac & Thesmar, 2002): Um dies zu lösen, übernimmt die Arbeit die klassische ökonometrische Annahme, dass für jeden Zustand $s$ eine bekannte „Anker“-Aktion $a_s$ mit einer bekannten Belohnung $r(s, a_s) = 0$ (oder einem bekannten Konstantwert) existiert. Diese Annahme fixiert das Potenzial und ermöglicht die eindeutige Identifizierung von $Q^*$ und $r$ auf dem Support des Experten.

3. Übersicht über bestehende Ansätze und deren Limitationen

Die Arbeit untersucht klassische sowie moderne Methoden und hebt deren spezifische Fehlermodi hervor:

3.1 Klassische DDC-Methoden

Rusts Nested Fixed-Point (NFXP): Löst die Bellman-Gleichung in einer inneren Schleife, während die Likelihood in einer äußeren Schleife maximiert wird.
- Limit: Leidet unter dem Fluch der Dimensionalität im Zustandsraum $S$ und erfordert explizites Wissen oder die Schätzung des Übergangskerns $P$ .
Hotz-Miller / Conditional Choice Probabilities (CCP): Invertiert die Softmax-Funktion, um $Q$ $Q$ -Differenzen zu finden, und löst eine lineare Fixed-Point-Gleichung für die Value-Funktion.
- Limit: Erfordert die Schätzung des Übergangskerns $P$ (statistischer Fluch der Dimensionalität) und leidet unter Fehlerfortpflanzung in der Vorwärts-Simulation.
Temporal-Difference (TD)-Ansätze (Adusumilli & Eckardt, 2019):
- Linearer Semi-Gradient TD: Vermeidet den expliziten $P$ , leidet aber unter der deadly triad (Funktionsapproximation + Bootstrapping + Off-Policy-Daten), was zur Divergenz führt.
- Approximate Value Iteration (AVI): Ist stabiler, konvergiert aber gegen einen projizierten Fixed Point, der vom wahren $Q^*$ abweichen kann, falls die wahre Value-Funktion nicht in der Funktionsklasse realisierbar ist.
- Hinweis: „Target Networks“ (üblich in Deep RL) stabilisieren den Pfad, ändern aber nicht das Ziel; sie konvergieren immer noch gegen den projizierten Fixed Point, nicht gegen den wahren Wert.

3.2 Moderne IRL-Methoden

Adversarial IRL (AIRL): Verwendet einen Diskriminator, um Belohnung von Shaping-Potenzialen zu trennen.
- Limit: Identifiziert den „soft advantage“ $A^*(s,a) = \log \pi^*(a|s)$ , nicht direkt die Belohnung. Die Rekonstruktion der Belohnung erfordert restriktive Annahmen (deterministische Dynamik, zustands-nur Belohnungen, dekomponierbare Übergangsgraphen), die in der Praxis oft verletzt werden.
Occupancy Matching (GAIL): Minimiert die Divergenz zwischen der Experten- und der Policy-Occupancy-Measure.
- Limit: Es handelt sich um einen Imitationsalgorithmus, nicht um einen Algorithmus zur Belohnungsrekonstruktion. Er erzwingt keine punktweise Bellman-Konsistenz, was eine Extraktion der Belohnung ohne weitere Annahmen unmöglich macht.
IQ-Learn: Parametrisiert $Q$ $Q$ direkt und definiert eine Belohnung via der Bellman-Gleichung.
- Limit: Das Ziel ist invariant gegenüber Zustands-Verschiebungen; es identifiziert keine eindeutige Belohnung ohne eine externe Normalisierung (wie die Anker-Aktion).
Offline ML-IRL (Zeng et al., 2023): Eine neuronale „Re-Skinning“-Variante von Hotz-Miller mit konservativen Strafen.
- Limit: Erbt die Notwendigkeit der Schätzung des Übergangskerns und verschachtelter Optimierungsschleifen.

4. Vorgeschlagene Methode: Das ERM-Framework (GLADIUS)

Die Arbeit schlägt ein vereinheitlichtes Empirical Risk Minimization (ERM) Framework vor, das die Identifizierbarkeit von DDC mit der Skalierbarkeit moderner ML synthetisiert und die Fallstricke beider Ansätze vermeidet.

4.1 Kerninzicht

Anstatt $r$ zu parametrisieren und ein verschachteltes Vorwärtsproblem zu lösen, parametrisiert die Methode $Q$ direkt. Die Identifizierungsbedingungen werden in zwei Verlustfunktionen übersetzt:

Negative Log-Likelihood (NLL): Erzwingt, dass die Softmax von $Q$ der Expertenpolitik $\pi^*$ entspricht. Dies identifiziert die Differenzen von $Q$ innerhalb eines Zustands.
Anker-Bellman-Loss: Erzwingt die Bellman-Gleichung nur bei der Anker-Aktion $a_s$ , bei der die Belohnung $r(s, a_s)$ bekannt ist. Dies fixiert das zustandsweise Niveau von $Q$ .

4.2 Das Double-Sampling-Bias und die Korrektur

Ein naiver empirischer Bellman-Loss unter Verwendung von quadratischen TD-Fehlern ist aufgrund des Double-Sampling-Problems verzerrt (die Varianz des nächsten Zustands verschwindet nicht mit mehr Daten).

Korrektur: Die Arbeit leitet eine Minimax-Formulierung her, welche den bedingten Varianz-Term subtrahiert.
$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$
Hier fungiert $\zeta(s,a)$ als Hilfsfunktion, die den bedingten Mittelwert $\mathbb{E}[V_Q(s') | s, a]$ lernt. Diese Korrektur macht die explizite Schätzung des Übergangskerns $P$ überflüssig.

4.3 Algorithmus: GLADIUS

Der GLADIUS-Algorithmus (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples) alterniert zwischen:

Regressionsschritt (Ascent/Descent): Aktualisierung von $\zeta$ , um den quadratischen Fehler gegenüber $V_Q(s')$ zu minimieren.
Optimierungsschritt (Descent): Aktualisierung von $Q$ , um die NLL plus den bias-korrigierten Anker-Bellman-Residual zu minimieren.

4.4 Konvergenzgarantien

Die Arbeit etabliert Konvergenz unter Polyak-Lojasiewicz (PL) Geometrie-Annahmen anstatt unter Konvexität.

Annahmen: Realisierbarkeit von $Q^*$ und $\zeta^*$ in den Funktionsklassen sowie die Konditionierung des empirischen Output-Jacobians (ähnlich den Neural Tangent Kernel Bedingungen).
Ergebnis: Der Algorithmus konvergiert gegen das globale Minimum des empirischen Risikos mit einer Rate von $O(1/T)$ für die Optimierung und $O(1/\sqrt{N})$ für den statistischen Fehler.

5. Zentrale Beiträge und Bedeutung

Vereinigung: Beweist die formale Äquivalenz zwischen den DDC- und MaxEnt-IRL-Formulierungen und schlägt so die Brücke zwischen Ökonometrie und maschinellem Lernen.
Klarheit der Identifizierbarkeit: Verdeutlicht, dass moderne adversarielle Methoden (AIRL) das Problem der Belohnungsidentifikation nicht inhärent lösen, ohne starke, oft unrealistische strukturelle Annahmen zu treffen. Sie bestätigt die Anker-Aktions-Annahme als den robusten Weg zur Identifizierung von Zustands-Aktions-Belohnungen.
Übergangskern-freie Schätzung: Führt eine Bias-korrigierte Minimax-Zielfunktion ein, die $Q^*$ und $r$ ohne die Schätzung des Übergangskerns $P$ rekonstruiert und damit den statistischen Fluch der Dimensionalität überwindet, der CCP und NFXP eigen ist.
Stabilität: Vermeidet die Divergenz der „deadly triad“ von Off-Policy TD-Methoden durch die Formulierung des Problems als direkte, bias-korrigierte Empirical Risk Minimization über $Q$ .
Algorithmische Lösung: Präsentiert GLADIUS, einen gradientenbasierten One-Shot-Estimator, der die verschachtelten Optimierungsschleifen klassischer DDC-Methoden vermeidet und gleichzeitig theoretische Konvergenzgarantien unter Standard-Überparametrisierungsannahmen bietet.

Die Arbeit kommt zu dem Schluss, dass dieser ERM-Ansatz einen prinzipiengetreuen, skalierbaren und statistisch konsistenten Weg für Offline-IRL/DDC bietet, der die Identifizierungs-Strenge der strukturellen Ökonometrie mit der Recheneffizienz modernen gradientenbasierten Lernens kombiniert.