🤖 machine learning

A Unified Causal-Origin Taxonomy of Distributional Shifts in Reinforcement Learning

Dieses Paper schlägt eine einheitliche Taxonomie der kausalen Ursprünge für Verteilungsverschiebungen im Reinforcement Learning vor, indem es das Problem innerhalb eines POMDP-Frameworks neu formuliert, um zwischen agentengesteuerten und umweltgesteuerten Quellen zu unterscheiden, wodurch die In-Distribution/Out-of-Distribution-Generalisierung mit nicht-stationären Settings vereinigt und ein neues Evaluierungsframework zur Messung der Auswirkungen von Verschiebungen und der Adaptation eingeführt wird.

Ursprüngliche Autoren: Ardianto Wibowo, Paulo E Santos, Amer Baghdadi, Matthew Stephenson, Karl Sammut, Jean-Philippe Diguet

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ardianto Wibowo, Paulo E Santos, Amer Baghdadi, Matthew Stephenson, Karl Sammut, Jean-Philippe Diguet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum Roboter verwirrt werden

Stellen Sie sich vor, Sie bringen einem Roboterhund bei, wie er ein Ball im Wohnzimmer holt. Sie trainieren ihn wochenlang. Er lernt perfekt: Wenn ich den roten Ball sehe, renne ich in die Ecke, hebe ihn auf und bringe ihn zurück.

Stellen Sie sich nun vor, Sie nehmen denselben Roboterhund mit in einen Park. Plötzlich ist das Gras höher, der Wind weht den Ball anders und der „Ball“ ist eigentlich eine blaue Frisbee. Der Roboter erstarrt. Er weiß nicht, was er tun soll.

In der Welt der Künstlichen Intelligenz (KI) nennt man das Distributional Shift (Verteilungsverschiebung). Es ist der Zustand, wenn die Welt, in der die KI trainiert wurde, nicht mit der Welt übereinstimmt, in der sie operieren muss.

Lange Zeit haben Forscher versucht, dies zu beheben, indem sie „Stoßdämpfer“ bauten (Algorithmen, die die KI robuster machen). Aber dieses Paper argumentiert, dass wir bisher nur die Symptome bekämpft haben, ohne die Krankheit zu verstehen. Wir brauchen eine bessere Landkarte, um genau zu bestimmen, was sich geändert hat.

Die Kernidee: Eine neue „Taxonomie“ (Ein Ablagesystem)

Die Autoren, angeführt von Ardianto Wibowo und Kollegen, schlagen eine neue Unified Causal-Origin Taxonomy (Vereinte kausale Ursachen-Taxonomie) vor. Denken Sie an dies als ein neues Ablagesystem für KI-Probleme. Anstatt nur zu sagen „Die KI ist gescheitert“, fragt dieses System: „Welcher spezifische Teil der Interaktion ist kaputtgegangen?“

Sie unterteilen das Problem in zwei Hauptfragen:

1. Wer ist der Übeltäter? (Intern vs. Extern)

Das Paper teilt die Ursachen des Scheiterns in zwei Lager auf:

Externe Verschiebungen (Die Welt hat sich geändert): Die Umgebung hat sich geändert, aber der Roboter ist gleich geblieben.
- Analogie: Sie haben einen Koch darauf trainiert, ein Steak auf einem Gasherd zu braten. Dann versetzen Sie ihn in eine Küche mit einem Elektroherd. Der Koch (die KI) ist derselbe, aber der Herd (die Umgebung) ist ein anderer.
- Details: Die Startposition hat sich geändert, die Physik hat sich geändert (Wind, Schwerkraft) oder die Belohnung hat sich geändert (vielleicht zahlt der Chef jetzt nur noch, wenn das Steak in unter 5 Minuten fertig ist).
Interne Verschiebungen (Der Roboter hat sich geändert): Die Welt ist gleich geblieben, aber das Gehirn oder die Sensoren des Roboters haben sich geändert.
- Analogie: Sie haben einen Koch auf einem Gasherd trainiert. Dann setzen Sie dem Koch eine Sonnenbrille auf, die alles blau erscheinen lässt. Oder Sie gaben dem Koch ein neues Rezeptbuch, durch das er das alte vergessen hat.
- Details: Die Kamera des Roboters hatte einen Defekt (Observation Shift / Beobachtungsverschiebung), oder die Entscheidungssoftware des Roboters wurde komprimiert, um Speicherplatz zu sparen, was die Art und Weise verändert hat, wie er denkt (Policy Shift / Strategieverschiebung).

2. Wann fand der Wechsel statt? (Die Zeitgrenze)

Das Paper betrachtet auch, wann die Änderung im Verhältnis zum Lernprozess stattfindet:

Explizite Grenze (Das „Einfrieren“): Sie trainieren den Roboter, drücken auf „Speichern“ und testen ihn dann in einer neuen Welt. Der Roboter kann nicht mehr lernen; er muss nur noch raten. Das ist so, als würde man eine Fahrprüfung in einem Auto machen, das man noch nie gefahren ist.
Implizite Grenze (Das „Driften“): Der Roboter lernt, während sich die Welt um ihn herum langsam verändert. Die Änderung geschieht ohne ein klares „Stopp“-Signal. Das ist so, als würde man ein Auto fahren, während die Fahrbahnoberfläche langsam von Asphalt zu Schlamm wird, während man noch fährt.
Hybrid: Eine Mischung aus beidem. Man friert den Roboter ein, um ihn zu testen, lässt ihn aber weiterlernen, während sich die Welt ständig verschiebt.

Das Experiment: Die Theorie testen

Um zu beweisen, dass ihr System funktioniert, erstellten die Autoren ein einfaches Grid-World-Spiel (wie ein riesiges Schachbrett) und trainierten eine Standard-KI (DQN), um darin zu navigieren. Dann brachen sie absichtlich verschiedene Teile des Systems einzeln, um zu sehen, wie die KI reagierte.

Sie fanden heraus, dass unterschiedliche Brüche zu unterschiedlichen Arten von Fehlern führen:

Wenn sie den Startpunkt verschoben (Extern), verirrte sich die KI sofort.
Wenn sie die Physik änderten (Extern), versuchte die KI weiterhin, durch Wände zu laufen.
Wenn sie die Belohnung änderten (Extern), hörte die KI auf zu versuchen, weil sie nicht mehr wusste, was sie tun sollte.
Wenn sie die Kameraperspektive änderten (Intern), konnte die KI den Pfad nicht mehr erkennen.
Wenn sie die Präzision des Gehirns änderten (Intern), machte die KI dumme Fehler, die sie zuvor nie gemacht hatte.

Die wichtigste Erkenntnis: Man kann nicht einfach sagen „Die KI ist robust“. Man muss fragen: „Robust gegen was?“ Eine KI kann großartig darin sein, eine neue Karte zu handhaben (Extern), aber schrecklich darin, wenn ihre Kamera beschlagen ist (Intern).

Die neue Scorecard: Messung der Erholung

Das Paper führt auch eine neue Art ein, die Leistung einer KI zu bewerten. Anstatt nur auf die Endpunktzahl zu schauen, messen sie:

Der Absturz (The Crash): Wie stark brach die Leistung in dem Moment ein, als die Änderung eintrat?
Die Tiefe (The Depth): Wie tief fiel sie ab?
Die Geschwindigkeit (The Speed): Wie schnell hat die KI die neuen Regeln verstanden und kehrte zum Normalzustand zurück?
Die Erholung (The Recovery): Hat sie jemals wieder ihr ursprüngliches Leistungsniveau erreicht?

Dies hilft Forschern zu sehen, ob eine KI nur „hart im Nehmen“ ist oder ob sie tatsächlich „anpassungsfähig“ ist.

Fazit

Dieses Paper erfindet keinen neuen Roboter oder einen neuen magischen Algorithmus. Stattdessen bietet es eine gemeinsame Sprache und eine strukturierte Landkarte, um zu verstehen, warum KI versagt, wenn sich die Welt verändert.

Indem die Autoren das Problem in Interne vs. Externe Ursachen und Explizite vs. Implizite Zeitpunkte unterteilen, geben sie Forschern einen klaren Weg, Probleme zu diagnostizieren. Es ist wie ein Mechaniker, der, anstatt nur zu sagen „das Auto ist kaputt“, auf ein spezifisches Teil (den Motor, die Reifen oder den Kraftstoff) zeigen und genau erklären kann, wie es versagt hat. Diese Klarheit ist der erste Schritt zum Bau von KI, die tatsächlich mit der chaotischen, sich verändernden realen Welt umgehen kann.

Technisches Resümee: Eine vereinheitlichte kausal-ursächliche Taxonomie von Verteilungsverschiebungen im Reinforcement Learning

1. Problemstellung

Reinforcement-Learning-Systeme (RL) degradieren häufig, wenn die Betriebsbedingungen von den Trainingsumgebungen abweichen – ein Phänomen, das als Verteilungsverschiebung (Distributional Shift) bekannt ist. Während eine umfangreiche Literatur die spezifischen Manifestationen dieses Problems behandelt – wie etwa Out-of-Distribution (OOD)-Generalisierung, nicht-stationäre Umgebungen und Offline-zu-Online-Mismatches –, mangelt es an einer vereinheitlichten strukturellen Aufarbeitung. Bestehende Arbeiten behandeln die Verteilungsverschiebung oft als generischen Mismatch oder konzentrieren sich ausschließlich auf Minderungsstrategien, ohne den kausalen Ursprung der Verschiebung innerhalb des Agent-Umwelt-Interaktionsprozesses explizit zu identifizieren.

Im überwachten Lernen (Supervised Learning) ist die Verteilungsverschiebung durch die Faktorisierung gemeinsamer Verteilungen gut verstanden (z. B. Covariate Shift vs. Concept Drift). In RL hingegen werden Daten durch eine geschlossene Schleife, eine sequentielle Interaktion, generiert, die durch einen Partiellem Beobachtbaren Markov-Entscheidungsprozess (POMDP) gesteuert wird. Aktuelle Definitionen in RL stützen sich oft auf beobachtbare Diskrepanzen (z. B. Trajektorien-Divergenz oder Zustandsbesuchsunterschiede), anstatt die Verschiebung in die spezifischen generativen Komponenten (Zustand, Beobachtung, Policy, Transition, Belohnung) zu zerlegen. Dies verschleiert die Unterscheidung zwischen umweltgetriebenen Änderungen und agentengetriebenen Änderungen, was die Diagnose und die Auswahl geeigneter Anpassungsstrategien erschwert.

2. Methodik

Die Autoren schlagen eine vereinheitlichte kausal-ursächliche Taxonomie vor, die die Verteilungsverschiebung in RL reformuliert, indem sie die Prinzipien des Datensatz-Shifts aus dem überwachten Lernen auf den generativen Interaktionsprozess von RL überträgt.

2.1 Generative Dekomposition

Die Methodik beginnt mit der Modellierung der Agent-Umwelt-Interaktion in einem POMDP-Setting. Die gemeinsame Verteilung eines einzelnen Interaktionsschritts wird in fünf interdependenten Komponenten faktorisiert:

Zustandsverteilung: $p(s)$
Beobachtungsabbildung: $p(o|s)$
Policy: $\pi(a|o)$
Transitionsdynamik: $p(s'|s, a)$
Belohnungsmechanismus: $p(r|s, a, s')$

Die Autoren stellen eine strukturelle Brücke zum überwachten Lernen her, indem sie diese Variablen in einen Input $X = (s, o)$ und einen Output $Y = (a, s', r)$ gruppieren, was die Anwendung der kausalen Dekomposition ermöglicht.

2.2 Die zweidimensionale Taxonomie

Die vorgeschlagene Taxonomie charakterisiert Verteilungsverschiebungen entlang zweier komplementärer Dimensionen:

A. MDP-Komponenten-Aspekt (Ursprung der Verschiebung)
Diese Dimension lokalisiert die Verschiebung in spezifische Komponenten des generativen Prozesses und unterscheidet zwischen:

Externen (umweltgetriebenen) Verschiebungen: Änderungen in $p(s)$ , $p(s'|s, a)$ oder $p(r|s, a, s')$ . Diese entstehen aus Änderungen der Umweltdynamik, der Anfangszustände oder der Belohnungsstrukturen.
Internen (agentengetriebenen) Verschiebungen: Änderungen in $p(o|s)$ (Beobachtungsabbildung) oder $\pi(a|o)$ (Policy). Diese entstehen aus Änderungen der Wahrnehmung, Repräsentation oder der Entscheidungsmechanismen des Agenten.

B. Grenzverschiebung-Aspekt (Zeitliche Manifestation)
Diese Dimension charakterisiert, wie sich die Verschiebung über die Zeit manifestiert, definiert durch die „verschobene Zeitgrenze“:

Explizite Grenze: Eine klare Trennung zwischen Training und Evaluierung (z. B. eingefrorene Policy). Verschiebungen treten auf, wenn die Evaluierungsumwelt von der Trainingsumwelt abweicht (ID/OOD-Generalisierung).
Implizite Grenze: Kontinuierliches Lernen, bei dem sich der generative Prozess der Umgebung im Laufe der Zeit ändert, ohne dass eine eingefrorene Policy vorliegt (Nicht-Stationarität).
Hybride Grenze: Ein Setting mit einer definierten Trainings-Evaluierungs-Trennung, in dem während der Interaktion auch implizite Verschiebungen auftreten.

2.3 Erweiterung auf Multi-Agenten-RL (MARL)

Das Framework erweitert sich auf dezentrales MARL, indem es die sich entwickelnden Policies anderer Agenten als externe Verschiebungen klassifiziert. Aus der Perspektive eines einzelnen Agenten verändern die sich ändernden Verhaltensweisen von Teamkollegen die effektiven Transitionsdynamiken und Belohnungsstrukturen, was eine umweltgetriebene Änderung darstellt, selbst wenn die physische Welt statisch bleibt.

2.4 Evaluationsframework

Um die Auswirkungen dieser Verschiebungen zu quantifizieren, führen die Autoren ein Evaluationsframework ein, das aus fünf Metriken besteht:

Unmittelbare Verschiebungsauswirkung (Immediate Shift Impact): Der instantane Leistungsabfall.
Schlimmster Fall der Degradation (Worst-Case Degradation): Der maximale Leistungsverlust.
Erholungsgeschwindigkeit (Recovery Speed): Die Anzahl der Zeitschritte, die benötigt werden, um einen Bruchteil der Leistungsfähigkeit vor der Verschiebung wiederzuerlangen.
Erholungsqualität (Recovery Quality): Das Verhältnis der durchschnittlichen Leistung nach der Verschiebung zur Baseline vor der Verschiebung.
Anpassungseffizienz (Adaptation Efficiency):of: Eine zusammengesetzte Metrik, die Erholungsqualität und Geschwindigkeit ausbalanciert.

3. Kernbeiträge

Vereinheitlichte strukturelle Formulierung: Die Arbeit liefert eine fundierte Formulierung, die die probabilistische Grundlage des Datensatz-Shifts im überwachten Lernen mit dem generativen Interaktionsprozess in RL verbindet und zeigt, dass beide eine gemeinsame Kettenregel-Faktorisierung zulassen.
Kausal-ursächliche Taxonomie: Sie leitet eine Taxonomie ab, die Verschiebungen basierend auf ihrem Ursprung (Intern vs. Extern) und ihrer zeitlichen Grenze (Explizit, Implizit, Hybrid) unterscheidet. Dies erklärt, wie Standard-RL-Settings (ID/OOD, Nicht-Stationarität) aus spezifischen Änderungen im generativen Prozess entstehen.
Analytischer Rahmen für bestehende Methoden: Die Taxonomie dient als Linse zur Kategorisierung bestehender Literatur (z. B. Domain Randomization, Meta-RL, Offline-RL) und zeigt auf, dass die meisten Methoden externe Verschiebungen adressieren, während interne Verschiebungen (durch die Policy induziert) weniger explizit behandelt werden.
Evaluationsmetriken: Die Einführung eines Frameworks zur Quantifizierung der Verschiebungsauswirkung und der Agenten-Anpassung über die aggregierte Leistung hinaus, wobei zwischen Robustheit, Erholungsdynamik und nachhaltiger Leistung unterschieden wird.

4. Ergebnisse

Die Autoren führten eine kontrollierte empirische Studie unter Verwendung eines Deep Q-Networks (DQN) in einer Gridworld-Umgebung durch, um die Taxonomie zu validieren. Sie führten fünf spezifische Verschiebungen ein:

Extern: Zustandsverteilungsschiebung ( $p(s)$ ), Transitionsdynamik-Verschiebung ( $p(s'|s, a)$ ) und Belohnungsmechanismus-Verschiebung ( $p(r|s, a, s')$ ).
Intern: Beobachtungsabbildungs-Verschiebung ( $p(o|s)$ ) und durch die Policy induzierte Verschiebung ( $\pi(a|o)$ ).

Ergebnisse:

Distinkte Degradationsmuster: In einem expliziten-Boundary-Setting (eingefrorene Policy) führten alle Verschiebungen zu einem Leistungszusammenbruch, wobei die Art des Scheiterns variierte. Beispielsweise führten Zustandsverteilungsschiebungen zu sofortigem Versagen aufgrund ungesehener Startregionen, während Beobachtungsschiebungen die gelernte Wahrnehmungs-Aktions-Abbildung unterbrachen.
Variabilität der Anpassung: In einem impliziten-Boundary-Setting (kontinuierliches Lernen) zeigten Agenten unterschiedliche Erholungsprofile. Externe Verschiebungen wie Änderungen der Transitionsdynamik verursachten instabile Fluktuationen, während interne Verschiebungen (insbesondere Beobachtungsabbildung und Policy-Quantisierung) zu schwerwiegenden, oft nicht umkehrbaren Degradationen führten.
Sensitivität der Metriken: Die vorgeschlagenen Evaluationsmetriken konnten erfolgreich zwischen Verschiebungen unterscheiden, die einen sofortigen Zusammenbruch verursachten, und solchen, die eine teilweise Erholung ermöglichten, sowie zwischen Verschiebungen, die heilbar waren, und solchen, die die Leistung dauerhaft verschlechterten.

Die Ergebnisse zeigen, dass die Behandlung der Verteilungsverschiebung als monolithisches Phänomen die spezifischen Ursachen des Scheiterns verschleiert. Unterschiedliche kausale Ursprünge erzeugen unterschiedliche Degradations- und Erholungssignaturen, was die Notwendigkeit einer Analyse auf Komponentenebene validiert.

5. Bedeutung und Ansprüche

Das Paper beansprucht, eine fundierte Basis für die Analyse der Robustheit unter Verteilungsverschiebung in RL zu liefern. Seine Bedeutung liegt in:

Vereinheitlichung: Es vereint die komponentenbasierte Verschiebung-Analyse aus dem überwachten Lernen mit dem generativen Interaktionsprozess in RL.
Diagnostische Klarheit: Durch die Verankerung der Verschiebung in der kausal-ursächlichen Struktur trennt es die Quelle des Mismatchs von seinen beobachtbaren Effekten und ermöglicht so eine präzisere Diagnose des Grundes für das Scheitern eines Agenten.
Strategische Ausrichtung: Es legt nahe, dass Anpassungsstrategien auf die spezifische Art der Verschiebung abgestimmt sein müssen (z. B. erfordert eine agentengetriebene Verschiebung eine andere Minderung als eine umweltgetriebene Verschiebung).
Systematische Basis: Es etabliert eine systematische Basis für den Vergleich bestehender Methoden und das Design zukünftiger Robustheitsstrategien, indem es über Benchmark-orientierte Evaluationen hinausgeht und zu einem strukturellen Verständnis des Problems führt.

Die Autoren positionieren diese Arbeit nicht als neuen Algorithmus oder eine neue Benchmark-Suite, sondern als ein konzeptionelles Framework, das das „Warum“ und „Wo“ der Verteilungsverschiebung klärt und somit gezieltere und effektivere Lösungen für die Zukunft ermöglicht.