Technische Samenvatting: Schaalbaar On-Policy Reinforcement Learning via Adaptieve Batch-Schaling

1. Probleemstelling

De heersende wijsheid in Reinforcement Learning (RL) stelt dat training met grote batches fundamenteel onverenigbaar is met dit vakgebied. In tegenstelling tot supervised learning, waar het vergroten van batchgroottes de schatting van gradiënten stabiliseert en het trainen van enorme modellen mogelijk maakt (Scaling Laws), vertrouwen RL-praktici doorgaans op bescheiden batchgroottes (bijv. 256–1024). Deze beperking wordt toegeschreven aan de inherente niet-stationariteit van de data-distributie in RL; naarmate het beleid ($\pi_\theta$) wordt bijgewerkt, verschuift de data-distributie, wat een afweging tussen bias en variantie creëert.

Het heersende standpunt suggereert dat het vergroten van batchgroottes boven een kritieke drempel leidt tot afnemende meerwaarde of prestatiedaling. Grote batches worden geacht agents te laten overfitten op tijdelijke, instabiele trajecten tijdens de vroege, volatiele fasen van training. Bijgevolg geeft de standaardpraktijk de voorkeur aan kleine batches om modelplasticiteit te behouden en aan te passen aan verschuivende distributies, zelfs bij gebruik van schaalbare architecturen. Dit artikel daagt de statische aard van dit inzicht uit en betoogt dat de mate van niet-stationariteit niet constant is, maar evolueert gedurende de training.

2. Methodologie: Adaptieve Batch-Schaling (ABS)

De auteurs stellen Adaptieve Batch-Schaling (ABS) voor, een kader dat de effectieve batchgrootte dynamisch aanpast op basis van de stabiliteit van het lerende beleid. De kernhypothese is dat RL-training uit twee distincte regimes bestaat:

1. Vroege Fase (Hoge Niet-Stationariteit): Gekenmerkt door snelle gedragsveranderingen. Kleine batches zijn vereist om plasticiteit te behouden en overfitting op instabiele trajecten te voorkomen.
2. Late Fase (Bijna-Stationariteit): Naarmate het beleid convergeert, stabiliseert de data-distributie. Grote batches worden dan gunstig om gradiëntruis te onderdrukken en precieze convergentie mogelijk te maken.

Belangrijkste Componenten

• Gedragsdivergentie ($\delta_\pi$): Een nieuwe metriek die wordt geïntroduceerd om de niet-stationariteit van het beleid te kwantificeren. Het meet het aandeel toestanden waarbij de voorkeursactie verandert tussen het huidige beleid ($\pi_\theta$) en het vorige beleid ($\pi_{\theta_{old}}$) op een referentiebatch.
  • Formeel: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • Een hoge $\delta_\pi$ duidt op hoge volatiliteit (vroege fase); een lage $\delta_\pi$ duidt op stabiliteit (late fase).
• Dynamisch Schalingschema: De effectieve batchgrootte ($|B|$) wordt omgekeerd evenredig geschaald met de gedragsdivergentie.
  • De rollout-lengte ($L_{adapt}$) wordt logaritmisch aangepast tussen een minimum ($L_{min}$) en maximum ($L_{max}$) op basis van de genormaliseerde divergentie.
  • Wanneer $\delta_\pi$ hoog is (snelle verandering), wordt $L_{adapt}$ ingesteld op $L_{min}$ (kleine batch).
  • Wanneer $\delta_\pi$ laag is (stabiel), schaalt $L_{adapt}$ naar $L_{max}$ (grote batch).
• Integratie: De methode is geïntegreerd met het Parallelised Q-Network (PQN)-algoritme. De berekening van Gedragsdivergentie is uitsluitend afhankelijk van forward passes, waardoor het computatie-efficiënter is dan methoden die backward passes vereisen (bijv. Gradient Noise Scale).

3. Belangrijkste Bijdragen

1. Kwantificering van RL-Niet-Stationariteit: De introductie van Gedragsdivergentie als een praktische, forward-pass-metriek om veranderingen op actie-niveau tussen opeenvolgende beleidsupdates te meten.
2. Kader voor Adaptieve Batch-Schaling: Een eenvoudig maar effectief algoritme dat batchgroottes (rollout-lengtes) dynamisch schaalt als reactie op beleidsstabiliteit, en zo de kloof overbrugt tussen de behoefte aan plasticiteit in de vroege training en stabiliteit in de late training.
3. Verificatie van Schaalbaarheid: Empirisch bewijs dat ABS prestatieverbeteringen mogelijk maakt met grotere batchgroottes op de ALE-benchmark, met name in combinatie met grotere netwerkarchitecturen (bijv. ResNet-achtige multi-skip-modellen), een schaalbaar gedrag dat eerder als onbereikbaar werd beschouwd in RL.

4. Experimentele Resultaten

De methode werd geëvalueerd op de Atari-57- en Atari-10-benchmarks met het PQN-algoritme, en uitgebreid naar continue besturing (MuJoCo) en off-policy instellingen (BTR).

• Prestaties versus Vaste Batches: ABS presteerde beter dan standaard PQN en vaste kleine/grote batch-baselines in de meeste omgevingen. Het behaalde hogere scores in de vroege fase (door kleine batches) en lagere variantie in de late fase (door grote batches).
• Vergelijking met GNS: ABS presteerde beter dan de Gradient Noise Scale (GNS)-benadering in zowel sample-efficiëntie als uiteindelijke prestaties, terwijl het aanzienlijk computatie-efficiënter was omdat het extra backward passes vermijdt.
• Schaalbaarheid met Grote Modellen: Bij toepassing op grotere architecturen (PQN-L en PQN-XL) verbeterde ABS consequent de prestaties. Cruciaal: terwijl het gebruik van een vaste grote batch de prestaties op grote modellen verslechterde, ontsloot ABS (schaling van klein naar groot) het potentieel van deze modellen en behaalde de beste prestaties. Dit bevestigt een positieve correlatie tussen modelgrootte en de effectiviteit van adaptieve batching.
• Generalisatie:
  • Continue Besturing: Toegepast op PPO op MuJoCo met KL-divergentie als proxy voor niet-stationariteit, verbeterde ABS de sample-efficiëntie en uiteindelijke prestaties.
  • Off-Policy RL: Toegepast op BTR met minimale wijziging (vervanging van rollout-lengte door een bereik van batchgroottes), verbeterde ABS de prestaties in 4 van de 5 Atari-5-omgevingen.

5. Betekenis en Claims

Het artikel claimt de "heersende wijsheid" uit te dagen dat training met grote batches onverenigbaar is met RL. Door aan te tonen dat niet-stationariteit een evoluerende eigenschap is in plaats van een vaste beperking, tonen de auteurs aan dat grotere netwerken en grotere batchgroottes de beste prestaties kunnen bereiken in RL wanneer adaptief worden beheerd.

De betekenis van dit werk ligt in het potentieel om het schaalpotentieel van reinforcement learning te ontsluiten, waardoor RL-agents met hoge capaciteit dezelfde voordelen van training met grote batches kunnen benutten die succes hebben gedreven in supervised learning (bijv. LLM's en Vision Transformers). De auteurs positioneren ABS als een fundamentele stap naar schaalbaar RL, en overbruggen de prestatiekloof tussen RL en supervised learning op grote schaal.

Beperkingen & Toekomstige Richtingen:
De auteurs merken op dat, hoewel het huidige werk zich richt op on-policy algoritmen, toekomstig werk onder meer het uitbreiden van ABS naar offline RL, valideren op Transformer-gebaseerde architecturen, en integreren van de methode in Large Language Model-afstemmingstechnieken (bijv. GRPO) voor schaalbaar RLHF omvat.