Data Deletion Can Help in Adaptive RL

Hier volgt een gedetailleerde technische samenvatting van het artikel "Data Deletion Can Help in Adaptive RL" van Budhraja et al.

1. Probleemstelling

Het artikel adresseert de uitdaging van Adaptief Versterkend Leren (RL) in de praktijk. In tegenstelling tot standaard RL, waar trainings- en testomgevingen identiek zijn, vereist adaptief RL dat een agent generaliseert naar onbekende maar vergelijkbare omgevingen.

• Kader: De auteurs maken gebruik van het Contextual Markov Decision Process (cMDP)-kader. Een cMDP is een familie van MDP's geïndexeerd door een laagdimensionale context $c$ (bijvoorbeeld zwaartekracht, massa, wrijving) die de overgangsdynamiek beïnvloedt.
• De Uitdaging: De ware context $c$ is bekend tijdens het trainen maar onbekend op het tijdstip van testen.
• Standaard Aanpak: Het probleem wordt typisch opgesplitst in twee delen:
  1. Universeel Beleid ($K$): Getraind om optimale acties te nemen gegeven de staat en de ware context.
  2. Contextschatting ($\phi$): Getraind om de context $\hat{c}$ te schatten op basis van waargenomen trajecten van staat-actie.
  3. Adaptief Beleid: Gedefinieerd als $\pi = K(\hat{c})$.
• Het Probleem: Bij meertraps training worden data verzameld met steeds betere beleidsregels. Oudere trajecten worden gegenereerd door suboptimale beleidsregels en komen uit een verdeling die aanzienlijk verschilt van het inzetscenario (waar de schatter imperfect is). Deze verdelingsmismatch tussen trainingsdata en de realiteit bij inzet verslechtert de prestaties van de contextschatting.

2. Methodologie: Willekeurige Dataverwijdering

De auteurs stellen een eenvoudige, tegenintuïtieve techniek voor genaamd Random Data Deletion (Willekeurige Dataverwijdering) om de prestaties van de contextschatting te verbeteren.

• Het Algorithm:
  1. Train een universeel beleid $K$ en een initiële contextschatting $\phi$.
  2. Verzamel trajecten met het huidige adaptieve beleid $K(\phi)$.
  3. Voeg deze trajecten toe aan een databuffer.
  4. Cruciale Stap: Na elke trainingsronde, verwijder willekeurig een fractie $(1 - \alpha)$ van de trajecten die momenteel in de buffer zitten.
  5. Hertrain de schatter $\phi$ op de overgebleven data.
• Werkingsmechanisme:
  • Omdat data over meerdere ronden wordt verzameld, correspondeert oudere data met eerdere, minder capabele beleidsregels.
  • Willekeurige verwijdering creëert een impliciete exponentiële afname voor oudere data. Trajecten uit vroege ronden hebben een lagere overlevingskans dan die uit recente ronden.
  • Dit filtert effectief "oude" data (die verdelingsmismatch veroorzaakt) terwijl data-diversiteit behouden blijft (in tegenstelling tot het simpelweg bewaren van alleen de nieuwste data, wat mogelijk geen volledige dekking biedt).
• Theoretische Rechtvaardiging:
  • De auteurs analyseren dit via Geregulariseerde Empirische Risicominimalisatie (ERM) met een mismatch tussen de trainingsverdeling ($P_{train}$) en de testverdeling ($P_{test}$).
  • Ze bewijzen dat onder milde voorwaarden (specifiek voor convexe verliesfuncties) het verwijderen van één willekeurig uniform datapunt de verwachte testverlies verlaagt als de verdelingsmismatch significant is.
  • Voor Ridge-regressie leiden ze een kwantitatieve voorwaarde af: Verwijdering is gunstig wanneer de Signaal-Ruisverhouding (SNR) voldoende laag is en de regularisatiecoëfficiënt gematigd is. De SNR-drempel meet direct de vereiste omvang van de verdelingsmismatch opdat verwijdering nuttig is.

3. Belangrijkste Bijdragen

1. Nieuwe Techniek: Introductie van Random Data Deletion als methode om adaptieve RL-beleidsregels te verbeteren.
2. Empirische Validatie: Demonstratie van prestatiewinsten bij Multi-Layer Perceptrons (MLP's) en Recurrente Neurale Netwerken (RNN's zoals LSTM/GRU).
3. Efficiëntie: Aantonen dat dataverwijdering kleinere modellen (bijvoorbeeld een MLP met 5x minder parameters) in staat stelt om betere prestaties te leveren dan grotere, bredere modellen die zonder verwijdering zijn getraind.
4. Theoretische Analyse: Verschaffen van een theoretisch kader dat uitlegt waarom verwijdering helpt, door dit te koppelen aan verdelingsmismatch en regularisatie in convexe optimalisatiesettingen.

4. Experimentele Resultaten

De auteurs evalueerden de methode op Classical Control-benchmarks (Pendulum, LunarLander, Acrobot, MountainCar) en Brax Locomotion-benchmarks (Ant, HalfCheetah), met variërende contexten zoals zwaartekracht, massa en wrijving.

• Prestatiewinsten:
  • MLP's: Verminderden de robustheidsgap (afstand tot het optimale beleid met "ware context") met maximaal 30%.
  • RNN's (LSTM/GRU): Verminderden de robustheidsgap gemiddeld met 6%.
• Model-efficiëntie:
  • Een Smalle MLP (8.322 parameters) getraind met dataverwijdering presteerde beter dan een Brede MLP (47.426 parameters) getraind zonder verwijdering.
  • RNN's (LSTM/GRU) presteerden over het algemeen beter dan de Brede MLP, ondanks aanzienlijk minder parameters.
• Ablatiestudies:
  • Vergelijking met Stale Deletion (alleen de oudste data verwijderen) en Uniform Deletion (willekeurig stalen voor training maar alle data bewaren).
  • Random Deletion was superieur voor RNN's, terwijl Uniform Deletion het beste werkte voor Smalle MLP's. Stale deletion presteerde slecht, wat bevestigt dat wat oudere data noodzakelijk is voor diversiteit.
  • De optimale dataretentie ($\alpha$) bleek rond de 0,8 (20% verwijderen) of 0,5 (50% verwijderen) te liggen, afhankelijk van de architectuur en omgeving.

5. Betekenis en Conclusie

Dit werk daagt de conventionele wijsheid uit dat "meer data altijd beter is" in RL. Het demonstreert dat in adaptieve settings oude data schadelijk kan zijn door verdelingsverschuivingen veroorzaakt door het evoluerende beleid.

• Praktische Impact: De methode biedt een rekenkundig goedkope, op hyperparameters instelbare manier om RL-generalisatie te verbeteren zonder de onderliggende architectuur of beloningsfunctie te wijzigen.
• Theoretisch Inzicht: Het overbrugt de kloof tussen praktische heuristieken en theoretisch begrip, en toont aan dat dataverwijdering fungeert als een regularisator tegen verdelingsmismatch.
• Breder Toepassingsgebied: De bevindingen suggereren dat in elk leerscenario waarin de trainingsverdeling afwijkt van de inzetverdeling (wat gebruikelijk is bij online leren en sim-naar-real-overdracht), het selectief verwijderen van oude data de generalisatie kan verbeteren.

Kortom, het artikel stelt vast dat het willekeurig verwijderen van een fractie van de trainingsdata een krachtige, eenvoudige en theoretisch onderbouwde strategie is om de robuustheid en efficiëntie van adaptieve RL-agenten in tijdsvariërende omgevingen te verbeteren.