Technisch Samenvatting: Een Verenigde Causale-Oorsprong Taxonomie van Distributionele Verschuivingen in Reinforcement Learning

1. Probleemstelling

Reinforcement learning (RL)-systemen degraderen frequent wanneer de operationele omstandigheden afwijken van de trainingsomgevingen, een fenomeen dat bekend staat als distributionele verschuiving (distributional shift). Hoewel er uitgebreide literatuur bestaat die specifieke manifestaties van dit probleem behandelt — zoals Out-of-Distribution (OOD) generalisatie, niet-stationaire omgevingen en offline-naar-online mismatches — ontbreekt een verenigde structurele verklaring. Bestaande werken behandelen distributionele verschuiving vaak als een generieke mismatch of richten zich uitsluitend op mitigatiestrategieën, zonder expliciet de causale oorsprong van de verschuiving binnen het interactieproces tussen agent en omgeving te identificeren.

In supervised learning is distributionele verschuiving goed begrepen via de factorisatie van gezamenlijke distributies (bijv. covariate shift versus concept drift). Echter, in RL worden gegevens gegenereerd door een gesloten-lus, sequentiële interactie die wordt beheerst door een Partially Observable Markov Decision Process (POMDP). Huidige definities in RL vertrouwen vaak op observeerbare discrepanties (bijv. trajectdivergentie of staat-visitatie mismatches) in plaats van de verschuiving te deconstrueren in de specifieke generatieve componenten (toestand, observatie, beleid, transitie, beloning) die deze hebben veroorzaakt. Dit vertroebelt het onderscheid tussen omgevingsgestuurde veranderingen en agent-gestuurde veranderingen, wat de diagnose en de selectie van passende adaptatiestrategieën bemoeilijkt.

2. Methodologie

De auteurs stellen een Verenigde Causale-Oorsprong Taxonomie voor die distributionele verschuiving in RL herformuleert door de principes van dataset-verschuiving uit supervised learning over te dragen naar het generatieve interactieproces van RL.

2.1 Generatieve Decompositie

De methodologie begint met het modelleren van de agent-omgeving interactie in een POMDP-setting. De gezamenlijke distributie van een enkele interactiestap wordt gefactoriseerd in vijf onderling afhankelijke componenten:

1. Toestandsdistributie: $p(s)$
2. Observatie-mapping: $p(o|s)$
3. Beleid (Policy): $\pi(a|o)$
4. Transitiedynamiek: $p(s'|s, a)$
5. Beloningsmechanisme: $p(r|s, a, s')$

De auteurs vestigen een structurele brug naar supervised learning door deze variabelen te groeperen in een input $X = (s, o)$ en een output $Y = (a, s', r)$, waardoor de toepassing van causale decompositie mogelijk wordt.

2.2 De Twee-Dimensionale Taxonomie

De voorgestelde taxonomie kenmerkt distributionele verschuivingen langs twee complementaire dimensies:

A. MDP-Component Aspect (Oorsprong van de Verschuiving)
Deze dimensie lokaliseert de verschuiving naar specifieke componenten van het generatieve proces, waarbij onderscheid wordt gemaakt tussen:

• Externe (Omgevingsgestuurde) Verschuivingen: Veranderingen in $p(s)$, $p(s'|s, a)$, of $p(r|s, a, s')$. Deze ontstaan uit veranderingen in de dynamiek van de omgeving, initiële toestanden of beloningsstructuren.
• Interne (Agent-gestuurde) Verschuivingen: Veranderingen in $p(o|s)$ (observatie-mapping) of $\pi(a|o)$ (beleid). Deze ontstaan uit veranderingen in de perceptie, representatie of besluitvormingsmechanismen van de agent.

B. Grensverschuiving Aspect (Temporele Manifestatie)
Deze dimensie kenmerkt hoe de verschuiving zich door de tijd manifesteert, gedefinieerd door de "verschoven-tijd grens":

• Expliciete Grens: Een duidelijke scheiding tussen training en evaluatie (bijv. bevroren beleid). Verschuivingen treden op wanneer de evaluatie-omgeving verschilt van de trainingsomgeving (ID/OOD generalisatie).
• Impliciete Grens: Continu leren waarbij het generatieve proces van de omgeving in de loop van de tijd verandert zonder bevroren beleid (niet-stationariteit).
• Hybride Grens: Een setting met een gedefinieerde training-evaluatie splitsing waarbij verschuivingen ook impliciet optreden tijdens de interactie.

2.3 Extensie naar Multi-Agent RL (MARL)

Het framework breidt zich uit naar gedecentraliseerde MARL door de evoluerende beleidsregels van andere agenten te classificeren als externe verschuivingen. Vanuit het perspectief van een enkele agent veranderen de veranderende gedragingen van teamgenoten de effectieve transitiedynamiek en beloningsstructuren, wat een omgevingsgestuurde verandering vormt, zelfs als de fysieke wereld statisch blijft.

2.4 Evaluatieframework

Om de impact van deze verschuivingen te kwantificeren, introduceren de auteurs een evaluatieframework bestaande uit vijf metrieken:

1. Onmiddellijke Impact van Verschuiving: De instantane prestatiedaling.
2. Worst-Case Degradatie: Het maximale prestatieverlies dat wordt waargenomen.
3. Herstel Snelheid: De tijdstappen die nodig zijn om een fractie van de pre-shift prestaties te herwinnen.
4. Herstel Kwaliteit: De ratio van de post-shift gemiddelde prestatie ten opzichte van de pre-shift baseline.
5. Adaptatie Efficiëntie: Een samengestelde metriek die herstelkwaliteit en snelheid balanceert.

3. Belangrijkste Bijdragen

1. Verenigde Structurele Formulering: Het artikel biedt een principiële formulering die de probabilistische fundering van dataset-verschuiving in supervised learning verbindt met het generatieve interactieproces in RL, waarbij wordt aangetoond dat beide een gedeelde ketenregel-factorisatie toelaten.
2. Causale-Oorsprong Taxonomie: Het leidt een taxonomie af die verschuivingen onderscheidt op basis van hun oorsprong (Intern versus Extern) en hun temporele grens (Expliciet, Impliciet, Hybride). Dit verklaart hoe standaard RL-settings (ID/OOD, niet-stationariteit) voortkomen uit specifieke veranderingen in het generatieve proces.
3. Analytisch Framework voor Bestaande Methoden: De taxonomie dient als een lens om bestaande literatuur te categoriseren (bijv. domain randomization, meta-RL, offline RL), waarbij wordt onthuld dat de meeste methoden externe verschuivingen aanpakken, terwijl interne verschuivingen (door beleid geïnduceerd) minder expliciet worden geadresseerd.
4. Evaluatiemetrieken: De introductie van een framework om de impact van verschuiving en de adaptatie van de agent te kwantificeren voorbij de geaggregeerde prestaties, waarbij onderscheid wordt gemaakt tussen robuustheid, hersteldynamiek en duurzame prestaties.

4. Resultaten

De auteurs voerden een gecontroleerde empirische studie uit met een Deep Q-Network (DQN) in een gridworld-omgeving om de taxonomie te valideren. Zij introduceerden vijf specifieke verschuivingen:

• Extern: Toestandsdistributie verschuiving ($p(s)$), Transitiedynamiek verschuiving ($p(s'|s, a)$), en Beloningsmechanisme verschuiving ($p(r|s, a, s')$).
• Intern: Observatie-mapping verschuiving ($p(o|s)$) en Beleid-geïnduceerde verschuiving ($\pi(a|o)$).

Bevindingen:

• Distinctieve Degradatiepatronen: Onder een expliciete-grens (bevroren beleid) setting, veroorzaakten alle verschuivingen een prestatiecollaps, maar de aard van de fout varieerde. Zo leidden toestandsdistributie-verschuivingen tot onmiddellijk falen door ongeziene startregio's, terwijl observatie-verschuivingen de geleerde perceptie-actie mapping verbroken.
• Variabiliteit in Adaptatie: Onder een impliciete-grens (continual learning) setting, vertoonden agenten verschillende herstelprofielen. Externe verschuivingen zoals veranderingen in transitiedynamiek veroorzaakten instabiele fluctuaties, terwijl interne verschuivingen (specifiek observatie-mapping en beleids-kwantisatie) leidden tot ernstige, vaak onherstelbare degradatie.
• Gevoeligheid van Metrieken: De voorgestelde evaluatiemetrieken slaagden erin om onderscheid te maken tussen verschuivingen die een onmiddellijke collaps veroorzaakten versus verschuivingen die een gedeeltelijk herstel toelieten, en tussen verschuivingen die herstelbaar waren versus die permanent de prestaties degradeerden.

De resultaten tonen aan dat het behandelen van distributionele verschuiving als een monolithisch fenomeen de specifieke oorzaken van falen verhult. Verschillende causale oorsprongen produceren verschillende degradatie- en herstelsignaturen, wat de noodzaak voor een analyse op componentniveau valideert.

5. Betekenis en Claims

Het artikel claimt een principiële basis te bieden voor het analyseren van robuustheid onder distributionele verschuiving in RL. De betekenis ligt in:

• Unificatie: Het verenigt component-niveau verschuivingsanalyse uit supervised learning met het generatieve interactieproces van RL.
• Diagnostische Helderheid: Door verschuiving te funderen in de causale-oorsprong structuur, scheidt het de bron van de mismatch van de observeerbare effecten, wat een preciezere diagnose mogelijk maakt van waarom een agent faalt.
• Strategische Afstemming: Het suggereert dat adaptatiestrategieën moeten zijn afgestemd op het specifieke type verschuiving (bijv. een door de agent gestuurde verschuiving vereist een andere mitigatie dan een door de omgeving gestuurde verschuiving).
• Systematische Basis: Het vestigt een systematische basis voor het vergelijken van bestaande methoden en het ontwerpen van toekomstige robuustheidsstrategieën, waarbij men verder gaat dan benchmark-georiënteerde evaluaties naar een structureel begrip van het probleem.

De auteurs positioneren dit werk niet als een nieuw algoritme of benchmark-suite, maar als een conceptueel framework dat het "waarom" en "waar" van distributionele verschuiving verheldert, waardoor gerichtere en effectievere oplossingen in de toekomst mogelijk worden.