Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

1. Probleemstelling

Visuele Reinforcement Learning (RL)-agenten leren beleidsregels rechtstreeks vanuit pixelobservaties, maar zijn zeer kwetsbaar voor dynamische visuele verstoringen (zoals regen, sneeuw, bewegingsonscherpte, sensorruis en veranderende achtergronden). Bestaande benchmarks vertrouwen vaak op statische achtergrondafleidingen of enkele vaste corrupties, waardoor ze het niet-stationaire, tijdvariërende karakter van realistische omgevingen niet vastleggen, waar corruptietypes onvoorspelbaar wisselen (bijvoorbeeld weer dat van regen naar mist verandert).

Het artikel identificeert twee kritieke faalmodi in huidige methoden:

1. Model-vrije methoden: Encoders verwarren taakrelevante statische kenmerken met corruptie-artefacten, wat leidt tot beleidsverwarring wanneer voorgrondtexturen worden verduisterd.
2. Model-gebaseerde methoden (Wereldmodellen): Op reconstructie gebaseerde doelstellingen (zoals in DreamerV3) dwingen de latente staat om corruptiespecifieke kenmerken te coderen om de reconstructiefout te minimaliseren. Bij dynamische schakeling "verstrengelt" deze verstoring zich in de latente representatie, verontreinigt dit de geimagineerde rollouts die worden gebruikt voor planning en veroorzaakt dit catastrofale prestatiedalingen.

Bestaande oplossingen zoals data-augmentatie of het leren van invariant representaties falen omdat ze óf nog steeds verontreinigde pixels aan de agent doorgeven, óf informatie die op pixelniveau verloren is gegaan (bijvoorbeeld verduisterde voorgronden) niet kunnen herstellen.

2. Methodologie: ACO-MoE

De auteurs stellen Agent-Centric Observations with Mixture-of-Experts (ACO-MoE) voor, een plug-and-play voorverwerkingsframework dat is ontworpen om waarneming te ontkoppelen van verstoring voordat de RL-agent de invoer verwerkt.

Kerncomponenten:

• Plug-and-Play Voorverwerker: ACO-MoE zit tussen de omgeving en de RL-ruggengraat (encoder). Het neemt een verontreinigde observatie $x_t$ en geeft een schone, agent-gerichte observatie $\tilde{x}_t$ terug.
• Mixture-of-Experts (MoE) Architectuur:
  • Gedeelde Encoder: Haalt multi-schaal kenmerken uit de verontreinigde invoer.
  • Router: Een lichtgewicht module die dynamisch één van de $|K|$ gespecialiseerde experts selecteert op basis van de invoerkenmerken. Cruciaal is dat deze werkt zonder orakellabels van het corruptietype tijdens inferentie.
  • Herstel-Experts: Elke expert is gespecialiseerd in een specifiek degradatietype (bijvoorbeeld regen, onscherpte, ruis).
• Dual-Stream Output: Elke geselecteerde expert produceert twee outputs:
  1. RGB Residu: Herstelt de verontreinigde voorgrondpixels.
  2. Voorgrondmasker: Segmenteert de agent en taakrelevante objecten van de achtergrond.
• Agent-gerichte Samenstelling: De uiteindelijke observatie wordt samengesteld door het herstelde voorgrondbeeld te compositeren op een uniform zwarte achtergrond. Dit elimineert achtergrondafleiding en zorgt ervoor dat de RL-agent alleen de taakrelevante staat ziet.
• Trainingsstrategie: De MoE wordt offline voorgetraind op gepaarde schone/verontreinigde data met pseudo-maskers. Tijdens RL-training is de ACO-MoE-module bevroren, wat observatiedrift voorkomt en stabiele beleidslearning garandeert.

3. Theoretische Analyse

Het artikel biedt een formele informatie-theoretische analyse om de aanpak te rechtvaardigen:

• Propositie 5.1 (Representatieverontreiniging): Het bewijst dat voor op reconstructie gebaseerde wereldmodellen het minimaliseren van reconstructiefout de latente representatie $Z_t$ onvermijdelijk dwingt om de corruptiemodus $K_t$ te coderen. Specifiek: $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$. Nauwkeurige reconstructie impliceert hoge verstrengeling met ruis.
• Corollarium 5.2 (Voorgrond als IB-Anker): Het toont aan dat het extraheren van de schone voorgrond $F_t$ fungeert als een Information Bottleneck (IB)-surrogaat. Aangezien de voorgrond een deterministische functie is van de staat $S_t$ en onafhankelijk is van de exogene verstoring $K_t$, bereikt het gebruik van $F_t$ als invoer ($Z_t = F_t$) exacte onnuttigheidsinvariantie ($I(Z_t; K_t | Y_t) = 0$) terwijl taak-sufficientie behouden blijft.

4. Benchmark: Visual Degraded Control Suite (VDCS)

Om dit probleem systematisch te evalueren, introduceren de auteurs VDCS, een uitbreiding van de DeepMind Control Suite (DMC).

• Dynamische Verstoringen: In tegenstelling tot statische benchmarks, gebruikt VDCS Markov-schakelende dynamica om niet-stationaire overgangen tussen corruptietypes (bijvoorbeeld regen $\to$ sneeuw $\to$ onscherpte) binnen één episode te simuleren.
• Degradaties: Omvat 7 fysieke degradaties (Regen, Mist, Sneeuw, Bewegingsonscherpte, Gaussische Ruis, Slecht Licht, JPEG) en 2 achtergrondafleidingen (Video, Kleur).
• Ernst: Corrupties hebben tijdsgecorreleerde ernstniveaus, wat realistische persistentie nabootst.

5. Belangrijkste Resultaten

Experimenten werden uitgevoerd op VDCS en de DMControl Generalization Benchmark (DMC-GB) met zowel model-vrije (DrQ-v2) als model-gebaseerde (DreamerV3, TD-MPC2) ruggengraten.

• Prestaties op VDCS:
  • ACO-MoE bereikt een 78,5% relatieve verbetering ten opzichte van de beste baseline (SimGRL) gemiddeld.
  • Het herstelt 95,3% van de schone prestaties van DreamerV3 onder uitdagende Markov-schakelende corrupties.
  • Specifieke winsten zijn enorm op taken die gevoelig zijn voor verlies van textuur: finger_turn_hard (+207%), cheetah_run (+126%) en hopper_hop (+105%).
• Generalisatie (DMC-GB):
  • Bereikt State-of-the-Art (SOTA) op DMC-GB (Video Hard en Color Hard), en presteert 6,2% respectievelijk 17,4% beter dan de op één na beste methode.
  • Toont robuustheid zelfs wanneer het corruptietype tijdens inferentie niet expliciet bekend is.
• Ablatiestudies:
  • MoE vs. Enkele Expert: Gespecialiseerde experts presteren beter dan één groot netwerk, wat het voordeel van routing bewijst.
  • Dual-Stream: Zowel RGB-herstel als voorgrondmaskering zijn essentieel; het verwijderen van een van beide veroorzaakt aanzienlijke prestatiedalingen.
  • Bevroren vs. Gezamenlijk: Het bevroren houden van de voorverwerker is kritiek; het finetunen ervan tijdens RL leidt tot instabiliteit en prestatie-inzakking.
• Efficiëntie: ACO-MoE voegt minimale latentie toe (~20ms/stap op RTX 5090) in vergelijking met testtijd-adaptatiemethoden zoals FTR, die vertrouwen op zware segmentatiemodellen (SAM).

6. Betekenis en Bijdragen

1. Nieuwe Benchmark (VDCS): Vestigt een strenge standaard voor het evalueren van visuele RL onder niet-stationaire, fysiek realistische verstoringen, en gaat voorbij aan statische achtergrondafleidingen.
2. Theoretisch Inzicht: Bewijst formeel dat reconstructiedoelstellingen in wereldmodellen structureel incompatibel zijn met robuustheid tegen dynamische corrupties, wat de verschuiving naar agent-gerichte voorverwerking motiveert.
3. Robuust Framework (ACO-MoE): Introduceert een nieuwe, architectuur-onafhankelijke oplossing die waarneming ontkoppelt van verstoring. Het werkt naadloos met zowel model-vrije als model-gebaseerde agenten zonder wijzigingen aan het RL-algoritme zelf.
4. Praktische Impact: De methode herstelt bijna schone prestaties in sterk gedegradeerde omgevingen, waardoor visuele RL levensvatbaarder wordt voor implementatie in de echte wereld, waar sensorruis en omgevingsveranderingen onvermijdelijk zijn.

Kortom, dit werk verschuift het paradigma van "leren om ruis te negeren" naar "het agent-gerichte perspectief herstellen", en biedt een theoretisch onderbouwde en empirisch superieure oplossing voor robuuste visuele controle.