Technische Samenvatting: Integratie van Causale DAGs in Deep RL met MOSE

Probleemstelling

Online versterkingsleer (RL) algoritmen zijn fundamenteel afhankelijk van de Markov-eigenschap, die ervan uitgaat dat de toekomst conditioneel onafhankelijk is van het verleden, gegeven de huidige toestand. Echter, in real-world toepassingen met ruwe observaties (bijvoorbeeld sensorstromen, videoframes), vormen de geobserveerde variabelen vaak geen inherente Markoviaanse toestand, omdat systeemdynamica kunnen afhangen van een onbekende hoeveelheid historische context.

Hoewel bestaande literatuur over causale RL causale Gerichte Acyclische Grafieken (DAGs) gebruikt om leren te versnellen of robuuste beloningen te ontwerpen, gaan deze methoden doorgaans uit van het feit dat een geldige, vooraf gespecificeerde Markoviaanse toestandsrepresentatie al beschikbaar is. Er blijft een kritieke kloof bestaan: gegeven een longitudinale causale graaf over geobserveerde variabelen, bestaat er geen vastgestelde procedure om een toestandsrepresentatie te construeren die bewezen voldoet aan de Markov-eigenschap. Bovendien, in de context van Deep RL, faalt het simpelweg construeren van een theoretisch "minimale" Markoviaanse toestand vaak om de empirische prestaties te verbeteren, omdat neurale netwerken moeite kunnen hebben om te generaliseren vanuit zulke schaarse representaties als gevolg van overfitting en een gebrek aan redundante kenmerken die functiebenadering ondersteunen.

Methodologie

Het artikel stelt een tweeledige aanpak voor: een theoretische procedure voor het construeren van minimale toestanden uit bekende causale grafen, en een heuristische methode (MOSE) voor deep RL wanneer de graaf onbekend is of om de stabiliteit van het leren te verbeteren.

1. Constructie van Minimale Markoviaanse Toestand uit Causale DAGs

De auteurs leggen een formele verbinding tussen tijdreeks-causale DAGs en Markov Beslissingsprocessen (MDP's).

• Theoretisch Kader: Met behulp van Structurele Causale Modellen (SCM's) uitgebreid naar tijdreeksen, definieert het artikel een "Full Time Graph" waarbij knopen variabelen op specifieke tijdstappen voorstellen en randen causale afhankelijkheden met tijdvertragingen voorstellen.
• Grafisch Criterium: Stelling 4.1 biedt vier noodzakelijke en toereikende voorwaarden voor een reeks variabele sets $\{S_t\}$ om een geldige toestandsruimte te vormen:
  1. Opname van Ouders van Beloning: Alle ouders van de beloningsvariabele $R_t$ moeten zijn opgenomen in $S_t$.
  2. Uitgebreide Opname van Ouders van Volgende Toestand: Alle ouders (op tijden $\le t$) van de "uitgebreide volgende-toestand-set" (de sluiting van $S_{t+1}$ onder ouders op hetzelfde tijdstip) moeten zijn opgenomen in $S_t$.
  3. Geen Ancestrale Herintrede: Zodra een variabele uit de toestandsconstructie wordt verwijderd, kunnen zijn voorouders niet op een later tijdstip opnieuw de toestand betreden.
  4. Persistentie: Als een variabele op twee verschillende tijdstippen in de toestand voorkomt, moet deze in alle tussenliggende toestanden voorkomen.
• Algoritme F.1: Er wordt een achterwaartse constructie-algoritme voorgesteld om een bewezen minimale toestandsreeks te genereren die voldoet aan bovenstaande criteria. Beginnend vanaf het einde van de horizon, selecteert het iteratief de noodzakelijke ouders van de beloning en de volgende toestand, waarbij wordt gewaarborgd dat er geen overbodige variabelen worden opgenomen terwijl de Markov-eigenschap en de optimale waarde behouden blijven.

2. Multi-Order State Exposure (MOSE)

Omdat minimale representaties kunnen leiden tot slechte generalisatie in deep RL (door scherpe minima en gebrek aan statistische ruimte), stellen de auteurs MOSE voor.

• Mechanisme: In plaats van een enkele minimale toestand of een vaste venster van geschiedenis aan de Q-functie te voeden, voert MOSE meerdere orden van historische toestandsconstructies simultaan in. Specifiek, voor een vensterlengte $W$, werkt het algoritme de waardenfunctie iteratief bij met invoer variërend van de huidige observatie ($l=0$) tot het volledige venster ($l=W$).
• Redenering: De lager-ordelijke, niet-Markoviaanse invoer fungeren als gestructureerde ruis die het verlieslandschap herschikt. Dit biedt een geleidelijke, informatieve gradiënt van suboptimale naar optimale representaties, fungerend als een regularisator vergelijkbaar met data-augmentatie of multi-view learning.
• Causal-MOSE: Een uitbreiding waarbij de minimale Markoviaanse toestand (afgeleid van de causale DAG) wordt opgenomen naast de multi-order invoer. Dit combineert de theoretische garantie van de minimale kern met de empirische voordelen van redundantie.

Belangrijkste Bijdragen

1. Constructie van Minimale Markoviaanse Toestand: Het artikel biedt een grafisch criterium en een constructief achterwaarts algoritme (Algoritme F.1) om een bewezen minimale toestandsruimte af te leiden uit een bekende longitudinale causale DAG. Dit overbrugt de kloof tussen causale ontdekking en MDP-toestandsdefinitie.
2. Multi-Order State Exposure (MOSE): Een heuristische methode voor toestandsconstructie die geen voorafgaande kennis van de causale DAG vereist. Het toont aan dat het blootstellen van deep RL-agenten aan meerdere temporele vensters van geschiedenis de prestaties verbetert ten opzichte van zowel naïeve frame-stacking als minimale causale representaties.
3. Causal-MOSE: Een hybride aanpak die aantoont dat het combineren van de minimale Markoviaanse toestand met multi-order blootstelling prestaties oplevert die gelijk zijn aan of beter zijn dan MOSE alleen, waarmee de bruikbaarheid van causale structuur wordt gevalideerd wanneer deze beschikbaar is.

Experimentele Resultaten

De auteurs evalueerden hun methoden op drie synthetische Data Generating Processes (DGPs) en het Atari-spel GOPHER.

• Synthetische DGPs: Met behulp van Lineaire Additieve Ruismodellen (ANM) en Post-Niet-Lineaire (PNL) modellen met variërende MDP-orden ($W=2, 5, 10$), presteerde MOSE consequent beter dan:
  • Vensterbeleid: Standaard frame-stacking (concatenatie van vaste $W$ frames).
  • Ouders van Beloning: Het gebruik van alleen ouders van de beloning als toestand.
  • DAG-State: De minimale toestand geconstrueerd door Algoritme F.1.
  • Belangrijkste Bevinding: De minimale toestand (DAG-State) alleen verbeterde de prestaties niet ten opzichte van vensterbeleid en degradeerde deze soms, wat bevestigt dat theoretische minimaliteit niet gelijkstaat aan empirische optimaliteit in deep RL.
• Prestaties van Causal-MOSE: In Lineaire ANM-omgevingen presteerde Causal-MOSE (minimale toestand + MOSE) consequent beter dan MOSE alleen, wat suggereert dat de minimale toestand een betrouwbare kern biedt waarop het netwerk kan bouwen.
• Atari (GOPHER): MOSE presteerde beter dan het standaard Rainbow-algoritme (dat 4-frame-stacking gebruikt) over 1 miljoen trainingsstappen. Dit geeft aan dat in hoogdimensionale pixel-omgevingen niet alle gestapelde frames evenveel bijdragen aan controle, en dat adaptieve toestandsselectie de sample-efficiëntie verbetert.
• Ablaties: Experimenten bevestigden dat de winst niet te wijten was aan een toename van gradiëntstappen per batch (optimalisatie-artefacten), maar eerder aan de rijkere toestandsrepresentaties die door MOSE worden geboden.

Betekenis en Beweringen

Het artikel vestigt een kernprincipe voor causale deep RL: minimale toereikendheid is niet voldoende, en gecontroleerde redundantie is noodzakelijk om het voordeel van causale toestandsinformatie te ontsluiten.

De auteurs betogen dat hoewel causale grafen een principiële manier bieden om de minimale variabelen te identificeren die nodig zijn voor de Markov-eigenschap, diepe neurale netwerken profiteren van de "statistische ruimte" die wordt geboden door redundante, niet-Markoviaanse invoer. Deze redundante invoer helpt het netwerk om overfitting aan schijnbare correlaties te voorkomen en faciliteert betere generalisatie.

Het werk draagt een theoretische fundering bij voor het construeren van geldige MDP-toestanden uit causale grafen en een praktische heuristiek (MOSE) die deze causale inzichten bruikbaar maakt in moderne deep RL. De auteurs merken op dat hun aanpak uitgaat van toegang tot een grond-waarheid longitudinale causale graaf; het leren van dergelijke grafen uit hoogdimensionale, niet-stationaire data blijft een open uitdaging voor toekomstig werk.