🤖 machine learning

Integrating Causal DAGs in Deep RL: Activating Minimal Markovian States with Multi-Order Exposure

Dieser Beitrag widmet sich der Herausforderung, aus longitudinalen kausalen Graphen im Deep Reinforcement Learning nachweislich markovsche Zustände zu konstruieren, indem er MOSE (Multi-Order State Exposure) einführt, eine Methode, die Mehrordnungs-historische Zustandskonstruktionen in die Q-Funktion einspeist, um zu demonstrieren, dass kontrollierte Redundanz – und nicht allein minimale Suffizienz – entscheidend ist, um die Leistungssteigerungen durch kausale Zustandsinformationen zu erschließen.

Ursprüngliche Autoren: Jiamin Xu, Jacqueline Maasch, Kyra Gan

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiamin Xu, Jacqueline Maasch, Kyra Gan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen oder ein Labyrinth zu navigieren. Um gute Entscheidungen zu treffen, muss der Roboter seinen aktuellen „Zustand" kennen. In einer perfekten Welt müsste der Roboter nur auf den exakten Moment jetzt schauen, um zu wissen, was als Nächstes zu tun ist. Dies wird als Markov-Eigenschaft bezeichnet.

In der realen Welt ist jedoch alles chaotisch. Die Sensoren des Roboters (wie Kameras) liefern Rohdaten, aber diese Daten erzählen oft nicht die ganze Geschichte. Wenn ein Roboter beispielsweise einen Ball sieht, weiß er nicht, ob der Ball auf ihn zu oder von ihm weg rollt, es sei denn, er erinnert sich daran, wo der Ball vor einer Sekunde war.

Hier liegt das Problem: Wenn der Roboter die Vergangenheit vergisst, trifft er schlechte Vorhersagen. Wenn er sich alles merkt (jedes einzelne Pixel der letzten 100 Sekunden), wird er überwältigt und lernt zu langsam.

Diese Arbeit mit dem Titel „Integrating Causal DAGs in Deep RL" schlägt eine clevere Lösung für dieses „Goldlöckchen"-Problem vor: die gerade richtige Menge an Geschichte zu finden, die man sich merken muss.

Die Kernidee: Das „Minimale" versus das „Redundante"

Die Autoren gehen dies in zwei Schritten an, indem sie eine Mischung aus Logik (Kausalität) und etwas „kontrolliertem Chaos" (Redundanz) verwenden.

1. Der „Minimale" Zustand (Der perfekt gepackte Koffer)

Zunächst verwenden die Autoren einen Kausalen Graphen (eine Karte, die zeigt, welche Variablen welche anderen verursachen), um die absolut minimale Informationsmenge zu ermitteln, die für eine perfekte Entscheidung benötigt wird.

Die Analogie: Stellen Sie sich vor, Sie packen für eine Reise. Sie wollen die absolut minimale Menge an Kleidung mitbringen, um zu überleben. Sie berechnen genau, was Sie brauchen: ein Hemd, eine Hose und Socken. Alles andere lassen Sie zurück.
Das Ergebnis: Theoretisch ist dieser „minimale Koffer" perfekt. Er enthält keine unnötigen Dinge.
Der Haken: Als die Autoren versuchten, diesen „minimalen Koffer" einer modernen KI (einem tiefen neuronalen Netz) zu geben, scheiterte es. Die KI geriet in Verwirrung. Es stellt sich heraus, dass KI-Netzwerke wie Schüler sind, die besser lernen, wenn sie ein wenig zusätzlichen Kontext haben und nicht nur die nackten Fakten. Der „minimale" Zustand war zu spärlich, was es der KI erschwerte, Muster zu erkennen.

2. Die Lösung: MOSE (Multi-Order State Exposure)

Um dies zu beheben, entwickelten die Autoren MOSE (Multi-Order State Exposure).

Die Analogie: Anstatt dem Schüler nur den „minimalen Koffer" zu geben, bietet MOSE ihm eine Reihe von Koffern unterschiedlicher Größe.
- Koffer A: Nur der aktuelle Moment.
- Koffer B: Der aktuelle Moment + die letzten 1 Sekunde.
- Koffer C: Der aktuelle Moment + die letzten 2 Sekunden.
- ...und so weiter.
Wie es funktioniert: Die KI betrachtet alle diese verschiedenen Koffer gleichzeitig. Sie erhält die „minimale" Version, sieht aber auch Versionen mit zusätzlicher Geschichte.
Warum es hilft: Dies wirkt wie ein Laufrad. Die KI kann mit der einfachen, kurzen Geschichte beginnen und lernt allmählich, die längere Geschichte zu nutzen, wenn sie hilfreich ist. Es ist, als würde man einem Schüler einen Hinweis geben, dann einen größeren Hinweis und dann die vollständige Antwort, alles auf einmal, damit er herausfinden kann, welche Hinweise tatsächlich wichtig sind.

3. Das „Beste aus beiden Welten" (Causal-MOSE)

Die Autoren testeten auch einen hybriden Ansatz namens Causal-MOSE. Dieser kombiniert den „perfekt gepackten minimalen Koffer" (abgeleitet aus der kausalen Karte) mit dem Ansatz der „mehreren Koffer".

Das Ergebnis: Dies war oft der Gewinner. Es gab der KI den „perfekten Kern" an Informationen (durch die Mathematik garantiert), erlaubte ihr aber, zusätzliche „redundante" Informationen hinzuzufügen, wenn dies den Lernprozess unterstützte.

Was die Experimente zeigten

Das Team testete dies an:

Synthetischen Spielen: Ausgedachten Welten, in denen sie die genauen Regeln (den kausalen Graphen) kannten.
Echten Spielen: Insbesondere einem Atari-Spiel namens GOPHER.

Die Erkenntnisse:

Standardmethode (Frame Stacking): Dies ist der derzeitige Industriestandard, bei dem man einfach die letzten 4 Videobilder übereinander stapelt. Es funktioniert einigermaßen, ist aber wie das Tragen eines Koffers voller unnötigem Ballast.
Minimaler Zustand: Die Verwendung der mathematisch perfekten, minimalen Geschichte ließ die KI tatsächlich schlechter abschneiden als die Standardmethode.
MOSE: Die neue Methode schlug konsequent sowohl die Standardmethode als auch die Minimal-Methode.
Die große Lehre: Die Arbeit kommt zu dem Schluss, dass „minimale Suffizienz nicht ausreicht". Nur weil ein Zustand die minimale Informationsmenge für theoretische Korrektheit enthält, bedeutet das nicht, dass er für ein neuronales Netz am besten zum Lernen geeignet ist. Man benötigt kontrollierte Redundanz (ein wenig zusätzliche, chaotische Geschichte), um der KI zu helfen, schneller und besser zu lernen.

Zusammenfassung in einem Satz

Die Arbeit lehrt uns, dass man, um eine intelligente KI zu trainieren, ihr nicht nur die nackten Mindestfakten geben sollte (was sie verwirrt); stattdessen sollte man ihr eine Mischung aus kurzen und langen Geschichten geben, damit sie herausfinden kann, genau was sie sich merken muss, um zu gewinnen.

Technische Zusammenfassung: Integration kausaler DAGs in Deep RL mit MOSE

Problemstellung

Online-Reinforcement-Learning-Algorithmen (RL) basieren grundlegend auf der Markov-Eigenschaft, die davon ausgeht, dass die Zukunft unter der Bedingung des aktuellen Zustands unabhängig von der Vergangenheit ist. In realen Anwendungen mit Rohbeobachtungen (z. B. Sensorströme, Videoframes) bilden die beobachteten Variablen jedoch oft keinen inhärent markovschen Zustand, da die Systemdynamiken von einem unbekannten Maß an historischem Kontext abhängen können.

Während die bestehende Literatur zu kausalem RL kausale gerichtete azyklische Graphen (DAGs) nutzt, um das Lernen zu beschleunigen oder robuste Belohnungen zu entwerfen, gehen diese Methoden typischerweise davon aus, dass eine gültige, vorab festgelegte markovsche Zustandsrepräsentation bereits verfügbar ist. Eine kritische Lücke bleibt bestehen: Gegeben einen longitudinalen kausalen Graphen über beobachtete Variablen, gibt es kein etabliertes Verfahren, um eine Zustandsrepräsentation zu konstruieren, die nachweislich die Markov-Eigenschaft erfüllt. Darüber hinaus führt im Kontext von Deep RL die bloße Konstruktion eines theoretisch „minimalen" markovschen Zustands oft nicht zu einer Verbesserung der empirischen Leistung, da neuronale Netze aufgrund von Überanpassung und dem Fehlen redundanter Merkmale, die die Funktionsapproximation unterstützen, Schwierigkeiten haben, von solch spärlichen Repräsentationen zu generalisieren.

Methodik

Der Artikel schlägt einen zweigleisigen Ansatz vor: ein theoretisches Verfahren zur Konstruktion minimaler Zustände aus bekannten kausalen Graphen und eine heuristische Methode (MOSE) für Deep RL, wenn der Graph unbekannt ist oder um die Lernstabilität zu erhöhen.

1. Konstruktion minimaler markovscher Zustände aus kausalen DAGs

Die Autoren stellen eine formale Verbindung zwischen zeitreihenbasierten kausalen DAGs und Markov-Entscheidungsprozessen (MDPs) her.

Theoretischer Rahmen: Unter Verwendung von Strukturellen Kausalen Modellen (SCMs), die auf Zeitreihen erweitert wurden, definiert der Artikel einen „Full Time Graph" (Vollzeitgraph), in dem Knoten Variablen zu bestimmten Zeitschritten darstellen und Kanten kausale Abhängigkeiten mit Zeitverzögerungen repräsentieren.
Graphisches Kriterium: Satz 4.1 liefert vier notwendige und hinreichende Bedingungen dafür, dass eine Sequenz von Variablenmengen $\{S_t\}$ ${S_{t}}$ einen gültigen Zustandsraum bildet:
1. Einschluss der Eltern der Belohnung: Alle Eltern der Belohnungsvariable $R_t$ müssen in $S_t$ enthalten sein.
2. Einschluss der erweiterten Eltern des nächsten Zustands: Alle Eltern (zu Zeitpunkten $\le t$ ) der „erweiterten Menge des nächsten Zustands" (der Abschluss von $S_{t+1}$ unter Eltern zum gleichen Zeitpunkt) müssen in $S_t$ enthalten sein.
3. Kein Wiedereintritt von Vorfahren: Sobald eine Variable aus der Zustandskonstruktion entfernt wird, dürfen ihre Vorfahren zu einem späteren Zeitpunkt nicht wieder in den Zustand eintreten.
4. Persistenz: Wenn eine Variable zu zwei verschiedenen Zeitpunkten im Zustand erscheint, muss sie in allen dazwischenliegenden Zuständen erscheinen.
Algorithmus F.1: Ein rückwärts gerichteter Konstruktionsalgorithmus wird vorgeschlagen, um eine nachweislich minimale Zustandssequenz zu generieren, die die oben genannten Kriterien erfüllt. Ausgehend vom Ende des Horizonts wählt er iterativ die notwendigen Eltern der Belohnung und des nächsten Zustands aus, stellt sicher, dass keine redundanten Variablen enthalten sind, und bewahrt dabei die Markov-Eigenschaft sowie den optimalen Wert.

2. Multi-Order State Exposure (MOSE)

In Anerkennung dessen, dass minimale Repräsentationen in Deep RL zu schlechter Generalisierung führen können (aufgrund scharfer Minima und fehlenden statistischen Spielraums), schlagen die Autoren MOSE vor.

Mechanismus: Anstatt eine einzelne minimale Zustandsrepräsentation oder ein festes Fenster der Vergangenheit an die Q-Funktion zu übergeben, führt MOSE mehrere Ordnungen historischer Zustandskonstruktionen gleichzeitig ein. Konkret aktualisiert der Algorithmus für eine Fensterlänge $W$ die Wertfunktion iterativ unter Verwendung von Eingaben, die von der aktuellen Beobachtung ( $l=0$ ) bis zum vollständigen Fenster ( $l=W$ ) reichen.
Begründung: Die Eingaben niedrigerer Ordnung, die nicht markovsch sind, wirken als strukturiertes Rauschen, das die Verlustlandschaft neu formt. Dies liefert einen graduellen, informativen Gradienten von suboptimalen zu optimalen Repräsentationen und fungiert als Regularisierer, ähnlich wie Daten-Augmentierung oder Multi-View-Learning.
Causal-MOSE: Eine Erweiterung, bei der der minimale markovsche Zustand (abgeleitet aus dem kausalen DAG) zusammen mit den Multi-Order-Eingaben enthalten ist. Dies kombiniert die theoretische Garantie des minimalen Kerns mit den empirischen Vorteilen der Redundanz.

Hauptbeiträge

Konstruktion minimaler markovscher Zustände: Der Artikel liefert ein graphisches Kriterium und einen konstruktiven rückwärts gerichteten Algorithmus (Algorithmus F.1), um aus einem bekannten longitudinalen kausalen DAG einen nachweislich minimalen Zustandsraum abzuleiten. Dies schließt die Lücke zwischen kausaler Entdeckung und der Definition von MDP-Zuständen.
Multi-Order State Exposure (MOSE): Eine heuristische Methode zur Zustandskonstruktion, die kein Vorwissen über den kausalen DAG erfordert. Sie zeigt, dass die Exposition von Deep-RL-Agenten gegenüber mehreren zeitlichen Fenstern der Vergangenheit die Leistung im Vergleich sowohl zu naiver Frame-Stapelung als auch zu minimalen kausalen Repräsentationen verbessert.
Causal-MOSE: Ein hybrider Ansatz, der zeigt, dass die Kombination des minimalen markovschen Zustands mit Multi-Order-Exposure eine Leistung erzielt, die der von MOSE allein entspricht oder diese übertrifft, was den Nutzen kausaler Strukturen bei Verfügbarkeit validiert.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methoden an drei synthetischen Daten-Generierungsprozessen (DGPs) und dem Atari-Spiel GOPHER.

Synthetische DGPs: Unter Verwendung von linearen additiven Rauschmodellen (ANM) und post-nichtlinearen (PNL) Modellen mit variierenden MDP-Ordnungen ( $W=2, 5, 10$ $W = 2, 5, 10$ ) übertraf MOSE konsistent:
- Window Policy: Standard-Frame-Stapelung (Verkettung fester $W$ Frames).
- Reward Parents: Verwendung nur der Eltern der Belohnung als Zustand.
- DAG-State: Der minimale Zustand, konstruiert durch Algorithmus F.1.
- Kernergebnis: Der minimale Zustand (DAG-State) allein verbesserte die Leistung gegenüber Fenster-Strategien nicht und verschlechterte sie teilweise, was bestätigt, dass theoretische Minimalität in Deep RL nicht gleichbedeutend mit empirischer Optimalität ist.
Leistung von Causal-MOSE: In linearen ANM-Umgebungen übertraf Causal-MOSE (minimaler Zustand + MOSE) MOSE allein konsistent, was darauf hindeutet, dass der minimale Zustand einen zuverlässigen Kern für das Netzwerk bietet, auf dem es aufbauen kann.
Atari (GOPHER): MOSE übertraf den Standard-Rainbow-Algorithmus (der 4-Frame-Stapelung verwendet) über 1 Million Trainings-Schritte hinweg. Dies deutet darauf hin, dass in hochdimensionalen Pixelumgebungen nicht alle gestapelten Frames gleichermaßen zur Steuerung beitragen und dass eine adaptive Zustandsauswahl die Probeneffizienz verbessert.
Ablationsstudien: Experimente bestätigten, dass die Gewinne nicht auf erhöhte Gradientenschritte pro Batch (Optimierungsartefakte) zurückzuführen waren, sondern auf die reichhaltigeren Zustandsrepräsentationen, die durch MOSE bereitgestellt werden.

Bedeutung und Behauptungen

Der Artikel etabliert ein Kernprinzip für kausales Deep RL: Minimale Suffizienz reicht nicht aus, und kontrollierte Redundanz ist notwendig, um den Nutzen kausaler Zustandsinformationen zu erschließen.

Die Autoren argumentieren, dass kausale Graphen zwar eine prinzipielle Möglichkeit bieten, die minimalen Variablen zu identifizieren, die für die Markov-Eigenschaft erforderlich sind, neuronale Netze jedoch von dem „statistischen Spielraum" profitieren, der durch redundante, nicht-markovsche Eingaben bereitgestellt wird. Diese redundanten Eingaben helfen dem Netzwerk, sich vor Überanpassung an spuriosen Korrelationen zu schützen und eine bessere Generalisierung zu ermöglichen.

Die Arbeit leistet einen theoretischen Grundstein für die Konstruktion gültiger MDP-Zustände aus kausalen Graphen und bietet eine praktische Heuristik (MOSE), die diese kausalen Erkenntnisse im modernen Deep RL nutzbar macht. Die Autoren weisen darauf hin, dass ihr Ansatz den Zugriff auf einen longitudinalen kausalen Graphen der Grundwahrheit voraussetzt; das Erlernen solcher Graphen aus hochdimensionalen, nicht-stationären Daten bleibt eine offene Herausforderung für zukünftige Arbeiten.