Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning

Titel: Freshness-Aware Prioritized Experience Replay (FreshPER) voor LLM/VLM Versterkingsleer

1. Het Probleem: Prioriteitveroudering bij LLM's

Versterkingsleer (RL) heeft aanzienlijke successen geboekt in het na-traineren van Large Language Models (LLM's) en Vision-Language Models (VLM's), voornamelijk met behulp van on-policy algoritmen zoals PPO, GRPO en REINFORCE++. Een fundamenteel nadeel van deze aanpak is echter dat alle verzamelde trajecten (rollouts) na één gradient-update worden verworpen. Dit leidt tot een zeer lage sample-efficiëntie, wat problematisch is voor "agentic" taken waar multi-turn interacties met een omgeving (zoals webzoeken of toolgebruik) rekenkundig duur zijn.

In klassieke RL lost Prioritized Experience Replay (PER) dit op door verouderde ervaringen op te slaan en te prioriteren op basis van hun leerwaarde (bijv. TD-error). Echter, het direct toepassen van standaard PER op LLM's faalt vanwege het fenomeen prioriteitveroudering (priority staleness):

• Snelle beleidsevolutie: LLM's met miljarden parameters ondergaan enorme veranderingen in hun outputverdeling na slechts enkele gradient-steps.
• Verouderde prioriteiten: Een traject dat ooit een hoge prioriteit had (bijv. een hoge beloning of grote TD-error), kan na verloop van tijd volledig verouderd zijn omdat het huidige beleid ($\pi_\theta$) sterk is afgeweken van het gedragbeleid ($\pi_\mu$) dat het traject genereerde.
• Gevolg: Standaard PER blijft verouderde, hoge-prioriteit trajecten selecteren, wat de training destabiliseert en de prestaties verslechtert in plaats van verbetert.

2. Methodologie: FreshPER

De auteurs stellen FreshPER voor, een methode die PER combineert met een multiplicatieve exponentiële verouderingsfactor (age decay) om prioriteitveroudering te mitigeren.

Kernconcepten:

• Theoretische Basis: De methode is gebaseerd op de analyse van de Effective Sample Size (ESS). Wanneer het huidige beleid $\pi_\theta$ divergeert van het gedragbeleid $\pi_\mu$, neemt de ESS exponentieel af naarmate de Kullback-Leibler (KL) divergentie toeneemt.
  • De auteurs leiden af dat de ESS begrensd wordt door $ESS \leq n \cdot e^{-D_{KL}}$.
  • Omdat de KL-divergentie groeit met het aantal verstreken gradient-steps ($\Delta$), wordt de effectiviteit van een steekproef exponentieel kleiner naarmate deze ouder wordt.
• De Prioriteitsfunctie: De nieuwe prioriteit $p_i$ voor een traject $i$ wordt berekend als:
  $$p_i = p_i^{base} \times \exp\left(-\frac{\Delta_i}{\tau}\right)$$
  Waarbij:
  • $p_i^{base}$: De oorspronkelijke prioriteit (bijv. op basis van beloningsgrootte $|r_i|$ of TD-error).
  • $\Delta_i$: De "leeftijd" van het traject (aantal gradient-steps sinds verzameling).
  • $\tau$: Een hyperparameter (age decay constant) die de snelheid van de veroudering bepaalt.
• Implementatie:
  • Het systeem gebruikt een replay buffer op de CPU die trajecten opslaat met hun log-probabiliteiten en beloningen.
  • Een asynchrone thread ververst de prioriteiten in de buffer bij elke iteratie door de verouderingsfactor toe te passen.
  • Training gebeurt via een hybride cyclus: eerst on-policy updates met verse data, gevolgd door meerdere off-policy updates met geprioriteerde batches uit de buffer.
  • Belangrijke sampling weights (IS) worden gebruikt om de bias van het geprioriteerd sampling te corrigeren.

3. Belangrijkste Bijdragen

1. Eerste succesvolle toepassing van PER op LLM/VLM RL: Het paper demonstreert voor het eerst dat traject-level Prioritized Experience Replay effectief kan zijn voor taal- en visuele modellen, mits het probleem van prioriteitveroudering wordt opgelost.
2. Freshness-Aware Age Decay: De introductie van een theoretisch onderbouwde exponentiële verouderingsfactor die de ESS-decay compenseert. Dit zorgt ervoor dat oude, zelfs zeer hoge-prioriteit trajecten, uiteindelijk worden gedeprioritiseerd ten gunste van nieuwere data.
3. Complete Pipeline: Implementatie binnen het ROLL-framework, inclusief asynchrone prioriteitsverversing en integratie met bestaande RL-algoritmen (REINFORCE++, PPO, GRPO).

4. Resultaten

De methode is geëvalueerd op acht verschillende taken (tekst- en visueel) met modellen van 0.5B, 3B en 7B parameters.

• Prestatieverbetering: FreshPER overtreft consistent zowel on-policy baselines als standaard PER (zonder veroudering).
  • +46% verbetering op NQ Search (agente zoeken).
  • +367% verbetering op Sokoban (planning en redenering).
  • +133% verbetering op VLM FrozenLake (visuele navigatie).
• Falen van Standaard PER: Standaard PER zonder veroudering presteerde vaak slechter dan de on-policy baseline en leidde tot catastrofale falen op complexe taken zoals Sokoban en NQ Search, wat de noodzaak van veroudering bevestigt.
• Stabiliteit: FreshPER behoudt piekprestaties gedurende de hele training, terwijl on-policy methoden vaak na een piek weer achteruitgaan (degradatie).
• Ablatie-studies:
  • De parameter $\tau$ is taakafhankelijk: snelle beleidswisselingen (Sokoban) vereisen agressieve veroudering (kleine $\tau$), terwijl langzamere taken (FrozenLake) een zachtere veroudering toestaan.
  • De methode werkt zowel voor tekst-only LLM's als multimodale VLM's.

5. Significatie en Conclusie

Dit werk toont aan dat klassieke technieken voor sample-efficiëntie uit de RL-wereld (zoals Experience Replay) zeer waardevol kunnen zijn in het tijdperk van LLM's, mits ze worden aangepast aan de unieke dynamiek van grote taalmodellen. De snelle drift van het beleid bij LLM's maakt standaard PER onbruikbaar, maar door veroudering expliciet te modelleren via exponentiële decay, kan men de kosten van dure multi-turn interacties drastisch verlagen en de leerprestaties op complexe agentic taken aanzienlijk verbeteren.

De code is open source beschikbaar gesteld, wat de weg vrijmaakt voor bredere adoptie van off-policy RL in de LLM-community.